杭百5

Arkalin — Thu, 15 Oct 2026 16:42:28 GMT

大语言模型对齐学习笔记：从 PPO、DPO 到 GRPO 与 DAPO

Arkalin — Thu, 15 Oct 2026 11:28:04 GMT

从优化方法与反馈来源两个维度，梳理 PPO、DPO、ReMax、GRPO、DAPO、DPOP、TDPO、ORPO、SimPO、KTO，以及 RLHF、RLAIF、Constitutional AI，结合公式、例子和时间线澄清常见误区。

Arkalin — Thu, 15 Oct 2026 10:35:08 GMT

通过可操作的张量、矩阵与代码逐行追踪多头注意力，探索 Q/K/V、因果 Mask、Softmax、形状与内存，并独立实验 LayerNorm。支持在线体验和 HTML 离线使用。

Arkalin — Thu, 15 Oct 2026 10:30:06 GMT

从猜数字和天气编码理解信息量，串起信息熵、交叉熵与 KL 散度，统一 bits 与 nats 的计算，并联系 GRPO、DAPO 中的 KL 正则化。