分类
强化学习
Post Log — 2026
Agentic RL 的基本概念与应用强化学习后训练
从 POMDP 形式化出发讲清 Agentic RL 与推理 RL 的本质区别：模型从「在文本里想」变成「在环境里试」。覆盖训练链条、六大核心挑战，以及搜索、网页、GUI、代码四类应用的代表工作。
GRPO 变体谱系：DAPO、GSPO、GFPO 各自改了什么强化学习后训练
以 GRPO 为基准，沿「奖励作用粒度、采样策略、裁剪设计」三条轴拆解 DAPO、GSPO、GFPO：DAPO 打四个工程补丁，GSPO 把比率升级到序列级，GFPO 过滤掉不值得学的响应。
详解 GRPO：损失函数怎么算，序列平均与批次平均差在哪强化学习后训练
拆解 GRPO 损失的计算链条，厘清一个核心不对称：组内优势是序列级标量，重要性比率是 token 级因子——模型知道回答整体好不好，却不知道是哪个 token 导致的。兼谈序列平均与批次平均两种归一化的区别与长度偏差。
详解 PPO：损失函数逐项拆解与 GAE 的 λ 权衡强化学习后训练
从一条 rollout 轨迹出发，逐步算出 PPO 损失函数的三个部件；GAE 把所有 n-step 优势估计按 λ 加权混合，λ=0 信裁判（低方差高偏差），λ=1 信样本（高方差低偏差），关键步骤配可核对的数字算例。
PPO 是 on-policy 还是 off-policy：importance sampling 到底在修正什么强化学习后训练
从数据生命周期的角度厘清 PPO 的 on-policy 属性。importance sampling 不是兼容旧数据的改造，而是多 epoch 复用同一批数据时对分布偏移的局部修正；裁剪则是给这个修正划定可信范围。
从 Trust Region 到 PPO：策略更新到底被约束了什么强化学习后训练
从经典优化中的信赖域方法讲起，经 TRPO 的 KL 硬约束与 Fisher 信息矩阵，到 PPO 用裁剪替代约束的简化思路。术语与记号在首次出现处就地解释，关键步骤配可核对的数字算例。
PPO、DPO 与 GRPO：统一目标函数下的三种策略优化方案强化学习后训练
从同一个带 KL 正则的奖励最大化目标出发，推导并比较 PPO、DPO、GRPO。术语与记号在首次出现处就地解释，关键步骤配可核对的数字算例，并给出各方法的已知失效模式。