∑
Attention / Code Lab
▧ 手撕Attention.ipynb本地交互 · 无需联网
READ THE CODE. SEE THE COMPUTATION.

让张量流动起来。

跟随你的代码,亲手改变输入,观察每一步如何改变输出。

原始 Attention:(16, 64, 512) · 8 heads
数值实验:缩小尺寸,沿用原代码的运算顺序
含独立的 LayerNorm 实验