百合乡建设中！

从优化方法与反馈来源两个维度，梳理 PPO、DPO、ReMax、GRPO、DAPO、DPOP、TDPO、ORPO、SimPO、KTO，以及 RLHF、RLAIF、Constitutional AI，结合公式、例子和时间线澄清常见误区。

通过可操作的张量、矩阵与代码逐行追踪多头注意力，探索 Q/K/V、因果 Mask、Softmax、形状与内存，并独立实验 LayerNorm。支持在线体验和 HTML 离线使用。

从猜数字和天气编码理解信息量，串起信息熵、交叉熵与 KL 散度，统一 bits 与 nats 的计算，并联系 GRPO、DAPO 中的 KL 正则化。