∑
Attention
/ Code Lab
▧ 手撕Attention.ipynb
本地交互 · 无需联网
查看原代码 ↗
READ THE CODE. SEE THE COMPUTATION.
让张量流动起来。
跟随你的代码,亲手改变输入,观察每一步如何改变输出。
原始 Attention:
(16, 64, 512)
· 8 heads
数值实验:缩小尺寸,沿用原代码的运算顺序
含独立的 LayerNorm 实验
01
Attention 逐行
02
形状与内存
03
LayerNorm