分类
后训练
Post Log — 2026
对齐后训练的典型问题：原因、症状与对策后训练训练工程
输出变长、过度拒答、复读机、奖励黑客……对齐训练后模型的种种"病"大多源于同一条主线：优化目标与真实目标的错位。本文详解十三种典型问题的症状、病因与对策，并给出一张三层排查速查表。
LoRA 微调：原理、参数怎么选、常见坑与解法后训练训练工程
LoRA 把全参微调变成"冻结主干、只训两条低秩旁路"，可训练参数和显存省一个数量级以上。本文讲清低秩假设背后的原理、r/α/目标模块/学习率四个旋钮怎么选，以及性能天花板、训练不稳定、与量化结合的坑等常见问题的解法。
SFT 的灾难性遗忘：为什么会忘、怎么防后训练训练工程
指令微调之后"更听话但变笨了"是普遍现象：代码、常识、多语言等预训练能力悄悄退化。本文拆解遗忘的三个机制（分布收窄、梯度漂移、窄域过拟合），对照四条防线（数据混合、正则冻结、权重插值、先续训后微调），并给出一张可落地的决策清单。
多轮对话指令微调：Loss Mask 应该遮住哪些 token后训练训练工程
Instruction Tuning 用多轮对话数据训练时，损失不能平均摊在每个 token 上：模型只该学 assistant 的输出。本文讲清 Loss Mask 的四个决策点（用户轮、system prompt、assistant 轮与 EOS、角色标记），以及实现上最容易翻车的对齐与逐段拼接。
Agentic RL 的基本概念与应用强化学习后训练
从 POMDP 形式化出发讲清 Agentic RL 与推理 RL 的本质区别：模型从「在文本里想」变成「在环境里试」。覆盖训练链条、六大核心挑战，以及搜索、网页、GUI、代码四类应用的代表工作。
GRPO 变体谱系：DAPO、GSPO、GFPO 各自改了什么强化学习后训练
以 GRPO 为基准，沿「奖励作用粒度、采样策略、裁剪设计」三条轴拆解 DAPO、GSPO、GFPO：DAPO 打四个工程补丁，GSPO 把比率升级到序列级，GFPO 过滤掉不值得学的响应。
详解 GRPO：损失函数怎么算，序列平均与批次平均差在哪强化学习后训练
拆解 GRPO 损失的计算链条，厘清一个核心不对称：组内优势是序列级标量，重要性比率是 token 级因子——模型知道回答整体好不好，却不知道是哪个 token 导致的。兼谈序列平均与批次平均两种归一化的区别与长度偏差。
详解 PPO：损失函数逐项拆解与 GAE 的 λ 权衡强化学习后训练
从一条 rollout 轨迹出发，逐步算出 PPO 损失函数的三个部件；GAE 把所有 n-step 优势估计按 λ 加权混合，λ=0 信裁判（低方差高偏差），λ=1 信样本（高方差低偏差），关键步骤配可核对的数字算例。
PPO 是 on-policy 还是 off-policy：importance sampling 到底在修正什么强化学习后训练
从数据生命周期的角度厘清 PPO 的 on-policy 属性。importance sampling 不是兼容旧数据的改造，而是多 epoch 复用同一批数据时对分布偏移的局部修正；裁剪则是给这个修正划定可信范围。
从 Trust Region 到 PPO：策略更新到底被约束了什么强化学习后训练
从经典优化中的信赖域方法讲起，经 TRPO 的 KL 硬约束与 Fisher 信息矩阵，到 PPO 用裁剪替代约束的简化思路。术语与记号在首次出现处就地解释，关键步骤配可核对的数字算例。
PPO、DPO 与 GRPO：统一目标函数下的三种策略优化方案强化学习后训练
从同一个带 KL 正则的奖励最大化目标出发，推导并比较 PPO、DPO、GRPO。术语与记号在首次出现处就地解释，关键步骤配可核对的数字算例，并给出各方法的已知失效模式。