把多头注意力的代码变成可以逐步操作、实时重算的实验室：修改输入与参数，观察张量形状、注意力权重和输出如何变化。

打开完整交互实验室 · 下载 HTML，离线使用

实验内容

• Attention 逐行：从输入与 Q / K / V 投影开始，依次观察拆头、转置、缩放点积、因果 Mask、Softmax、加权 V、合头与输出投影。
• 形状与内存：追踪张量维度和底层排列，理解 view、transpose 与 contiguous 的作用。
• LayerNorm：独立观察归一化过程，修改输入、γ、β 和 eps，比较计算结果。

在线体验

下方可直接操作。需要更大的显示空间时，请使用上方“打开完整交互实验室”。

说明

本页保留原 HTML 文件，不改动其中的代码和教学数据。原始代码来自《手撕Attention.ipynb》；浏览器中的小尺寸教学实验使用 JavaScript 重算，不执行 Python，也不进行模型训练。教学数值不等同于原笔记本的随机运行结果。