分类
训练工程
Post Log — 2026
LLM 采样与解码策略综述：确定性解码、温度缩放、截断方法与自适应控制大模型训练工程
从 logits 到 token 的处理流水线讲起，逐个拆开确定性解码（Greedy / Beam Search）、温度缩放、截断类方法（Top-k、Top-p、Min-p、Top-nσ、Typical、Epsilon/Eta、Tail-free、p-LESS）、重复抑制（Repetition/Presence/Frequency Penalty、no_repeat_ngram、DRY、XTC）、自适应控制（Mirostat）与投机解码，最后落到采样阶段的计算开销、kernel 实现与参数配置建议。
LLM Quantization（大模型量化）：GPTQ、AWQ、SmoothQuant 的核心思路大模型训练工程
先用最直白的例子讲清三个方法在干什么——GPTQ 量化一个、补偿其他；AWQ 保护重要权重；SmoothQuant 平滑 Activation——再逐步加深：为什么要 Hessian、为什么叫 Activation-aware、那个数学变换为什么是无损的，最后落到 kernel 级工程与三者对比。
量化开销对比：各家方案的矩阵乘账本与省账手段大模型训练工程
量化省显存是明账，但量化之后的矩阵乘是怎么算的？两条路线——原生整数 GEMM 的修正项账、4-bit 反量化的融合 kernel——逐个拆 W8A8 / W4A16 / FP8 / LLM.int8 的额外开销，再讲透优化主线：把 Dequant 折进 GEMM kernel，解包直接产出 Tensor Core fragment、scale 与权重同布局、权重只读一遍、CUDA Graph 省 launch。
对齐后训练的典型问题：原因、症状与对策后训练训练工程
输出变长、过度拒答、复读机、奖励黑客……对齐训练后模型的种种"病"大多源于同一条主线：优化目标与真实目标的错位。本文详解十三种典型问题的症状、病因与对策，并给出一张三层排查速查表。
LoRA 微调：原理、参数怎么选、常见坑与解法后训练训练工程
LoRA 把全参微调变成"冻结主干、只训两条低秩旁路"，可训练参数和显存省一个数量级以上。本文讲清低秩假设背后的原理、r/α/目标模块/学习率四个旋钮怎么选，以及性能天花板、训练不稳定、与量化结合的坑等常见问题的解法。
SFT 的灾难性遗忘：为什么会忘、怎么防后训练训练工程
指令微调之后"更听话但变笨了"是普遍现象：代码、常识、多语言等预训练能力悄悄退化。本文拆解遗忘的三个机制（分布收窄、梯度漂移、窄域过拟合），对照四条防线（数据混合、正则冻结、权重插值、先续训后微调），并给出一张可落地的决策清单。
多轮对话指令微调：Loss Mask 应该遮住哪些 token后训练训练工程
Instruction Tuning 用多轮对话数据训练时，损失不能平均摊在每个 token 上：模型只该学 assistant 的输出。本文讲清 Loss Mask 的四个决策点（用户轮、system prompt、assistant 轮与 EOS、角色标记），以及实现上最容易翻车的对齐与逐段拼接。
并行训练：切数据、切参数、切时间、切序列、切专家训练工程
五种并行（DP/TP/PP/SP/EP）的本质是同一个问题——单卡装不下、算不动——的五种切法：切 batch、切权重矩阵、切层、切序列、切专家。每种切法换来不同的通信形态（all-reduce、all-gather、点对点、all-to-all）与通信账本；文末附全称速查表，并按「先 DP，再 TP/PP，最后 SP/EP」给出组合选型。
量化粒度：一个 scale 管多大一片地方大模型训练工程
从「量化到底在干什么」讲起——用一行 5 个权重手把手走通 q = round(x/s)，中间补上对称 vs 非对称量化（零点 z 什么时候免费、什么时候刚需），再逐个拆开三种粒度：per-tensor 一把尺子量全张量、per-channel 每个输出通道一把、group-wise 每 128 个元素一把。为什么尺子切得越细越准、per-channel 为什么在硬件上几乎免费、4-bit 为什么必须切到组。
训练显存账本：参数、梯度、优化器状态各占多少大模型训练工程
以混合精度 + Adam 训练为基准，逐项核算「每个参数背 16 字节」的来龙去脉：优化器状态占 75%，参数与梯度各占 12.5%；并对比纯 FP32、8-bit Adam、Adafactor 与 ZeRO 分片等口径，单开一节用 Megatron 公式逐项估算激活显存（随序列长度平方增长）。