Post Log — 2026
LLM 采样与解码策略综述：确定性解码、温度缩放、截断方法与自适应控制大模型训练工程
从 logits 到 token 的处理流水线讲起，逐个拆开确定性解码（Greedy / Beam Search）、温度缩放、截断类方法（Top-k、Top-p、Min-p、Top-nσ、Typical、Epsilon/Eta、Tail-free、p-LESS）、重复抑制（Repetition/Presence/Frequency Penalty、no_repeat_ngram、DRY、XTC）、自适应控制（Mirostat）与投机解码，最后落到采样阶段的计算开销、kernel 实现与参数配置建议。
LLM Quantization（大模型量化）：GPTQ、AWQ、SmoothQuant 的核心思路大模型训练工程
先用最直白的例子讲清三个方法在干什么——GPTQ 量化一个、补偿其他；AWQ 保护重要权重；SmoothQuant 平滑 Activation——再逐步加深：为什么要 Hessian、为什么叫 Activation-aware、那个数学变换为什么是无损的，最后落到 kernel 级工程与三者对比。
量化开销对比：各家方案的矩阵乘账本与省账手段大模型训练工程
量化省显存是明账，但量化之后的矩阵乘是怎么算的？两条路线——原生整数 GEMM 的修正项账、4-bit 反量化的融合 kernel——逐个拆 W8A8 / W4A16 / FP8 / LLM.int8 的额外开销，再讲透优化主线：把 Dequant 折进 GEMM kernel，解包直接产出 Tensor Core fragment、scale 与权重同布局、权重只读一遍、CUDA Graph 省 launch。
对齐后训练的典型问题：原因、症状与对策后训练训练工程
输出变长、过度拒答、复读机、奖励黑客……对齐训练后模型的种种"病"大多源于同一条主线：优化目标与真实目标的错位。本文详解十三种典型问题的症状、病因与对策，并给出一张三层排查速查表。
LoRA 微调：原理、参数怎么选、常见坑与解法后训练训练工程
LoRA 把全参微调变成"冻结主干、只训两条低秩旁路"，可训练参数和显存省一个数量级以上。本文讲清低秩假设背后的原理、r/α/目标模块/学习率四个旋钮怎么选，以及性能天花板、训练不稳定、与量化结合的坑等常见问题的解法。
SFT 的灾难性遗忘：为什么会忘、怎么防后训练训练工程
指令微调之后"更听话但变笨了"是普遍现象：代码、常识、多语言等预训练能力悄悄退化。本文拆解遗忘的三个机制（分布收窄、梯度漂移、窄域过拟合），对照四条防线（数据混合、正则冻结、权重插值、先续训后微调），并给出一张可落地的决策清单。
多轮对话指令微调：Loss Mask 应该遮住哪些 token后训练训练工程
Instruction Tuning 用多轮对话数据训练时，损失不能平均摊在每个 token 上：模型只该学 assistant 的输出。本文讲清 Loss Mask 的四个决策点（用户轮、system prompt、assistant 轮与 EOS、角色标记），以及实现上最容易翻车的对齐与逐段拼接。
并行训练：切数据、切参数、切时间、切序列、切专家训练工程
五种并行（DP/TP/PP/SP/EP）的本质是同一个问题——单卡装不下、算不动——的五种切法：切 batch、切权重矩阵、切层、切序列、切专家。每种切法换来不同的通信形态（all-reduce、all-gather、点对点、all-to-all）与通信账本；文末附全称速查表，并按「先 DP，再 TP/PP，最后 SP/EP」给出组合选型。
量化粒度：一个 scale 管多大一片地方大模型训练工程
从「量化到底在干什么」讲起——用一行 5 个权重手把手走通 q = round(x/s)，中间补上对称 vs 非对称量化（零点 z 什么时候免费、什么时候刚需），再逐个拆开三种粒度：per-tensor 一把尺子量全张量、per-channel 每个输出通道一把、group-wise 每 128 个元素一把。为什么尺子切得越细越准、per-channel 为什么在硬件上几乎免费、4-bit 为什么必须切到组。
Agentic RL 的基本概念与应用强化学习后训练
从 POMDP 形式化出发讲清 Agentic RL 与推理 RL 的本质区别：模型从「在文本里想」变成「在环境里试」。覆盖训练链条、六大核心挑战，以及搜索、网页、GUI、代码四类应用的代表工作。
训练显存账本：参数、梯度、优化器状态各占多少大模型训练工程
以混合精度 + Adam 训练为基准，逐项核算「每个参数背 16 字节」的来龙去脉：优化器状态占 75%，参数与梯度各占 12.5%；并对比纯 FP32、8-bit Adam、Adafactor 与 ZeRO 分片等口径，单开一节用 Megatron 公式逐项估算激活显存（随序列长度平方增长）。
FlashAttention：快不是靠少算，是靠少搬模型结构
FlashAttention 的全部机制只有三条：分块做 online softmax（前向不造 N×N 矩阵）、反向重算（不存 S 和 P）、单 kernel 融合（一次读写）。这篇把三条逐一拆开，重点讲透分块合并时「打折」这一步从哪来、为什么不能省，再给一段可跑的 PyTorch 代码逐行认领，最后算清 HBM 读写为什么能从 Θ(N²) 降到 Θ(N)。
GRPO 变体谱系：DAPO、GSPO、GFPO 各自改了什么强化学习后训练
以 GRPO 为基准，沿「奖励作用粒度、采样策略、裁剪设计」三条轴拆解 DAPO、GSPO、GFPO：DAPO 打四个工程补丁，GSPO 把比率升级到序列级，GFPO 过滤掉不值得学的响应。
详解 GRPO：损失函数怎么算，序列平均与批次平均差在哪强化学习后训练
拆解 GRPO 损失的计算链条，厘清一个核心不对称：组内优势是序列级标量，重要性比率是 token 级因子——模型知道回答整体好不好，却不知道是哪个 token 导致的。兼谈序列平均与批次平均两种归一化的区别与长度偏差。
详解 PPO：损失函数逐项拆解与 GAE 的 λ 权衡强化学习后训练
从一条 rollout 轨迹出发，逐步算出 PPO 损失函数的三个部件；GAE 把所有 n-step 优势估计按 λ 加权混合，λ=0 信裁判（低方差高偏差），λ=1 信样本（高方差低偏差），关键步骤配可核对的数字算例。
PPO 是 on-policy 还是 off-policy：importance sampling 到底在修正什么强化学习后训练
从数据生命周期的角度厘清 PPO 的 on-policy 属性。importance sampling 不是兼容旧数据的改造，而是多 epoch 复用同一批数据时对分布偏移的局部修正；裁剪则是给这个修正划定可信范围。
从 Trust Region 到 PPO：策略更新到底被约束了什么强化学习后训练
从经典优化中的信赖域方法讲起，经 TRPO 的 KL 硬约束与 Fisher 信息矩阵，到 PPO 用裁剪替代约束的简化思路。术语与记号在首次出现处就地解释，关键步骤配可核对的数字算例。
PPO、DPO 与 GRPO：统一目标函数下的三种策略优化方案强化学习后训练
从同一个带 KL 正则的奖励最大化目标出发，推导并比较 PPO、DPO、GRPO。术语与记号在首次出现处就地解释，关键步骤配可核对的数字算例，并给出各方法的已知失效模式。
从 ReLU 到 SwiGLU：FFN 的门是怎么装上的模型结构
SwiGLU 不是换了个激活函数，是给 FFN 装了个门——内容路做菜、门路上菜，看菜下饭。这篇按「是什么 → 为什么 → 划算吗」讲清楚，参数账用 Llama 的 11008 真算一遍，代码就十行。
从 MHA 到 MQA 到 GQA：KV 头是怎么一步步省下来的模型结构
MHA 每个 Q 头配一份 KV，MQA 把所有头的 KV 合成一份，GQA 折中成每组一份。这篇按演进顺序讲清楚每一步省下了什么、付出了什么，以及为什么主流模型最后都停在分组共享上。
RoPE：位置不是加进去的，是旋转出来的模型结构
RoPE 的全部数学只有四个公式——频率 ω、角度 θ=mω、二维旋转、R(m)ᵀR(n)=R(n−m)。逐条讲透第四条为什么是核心，代码逐行对应公式编号，最后用 d=4 的手算数字把数学和代码焊在一起。
RMSNorm：归一化只需要缩放，不需要中心化模型结构
从 LayerNorm 到 RMSNorm：μ 和 β 是如何被证明可以扔掉的——公式推导、两行实现、以及在 Llama 里的位置。