分类

大模型

5 篇

Post Log — 2026

  • LLM 采样与解码策略综述：确定性解码、温度缩放、截断方法与自适应控制大模型训练工程

    从 logits 到 token 的处理流水线讲起，逐个拆开确定性解码（Greedy / Beam Search）、温度缩放、截断类方法（Top-k、Top-p、Min-p、Top-nσ、Typical、Epsilon/Eta、Tail-free、p-LESS）、重复抑制（Repetition/Presence/Frequency Penalty、no_repeat_ngram、DRY、XTC）、自适应控制（Mirostat）与投机解码，最后落到采样阶段的计算开销、kernel 实现与参数配置建议。

  • LLM Quantization（大模型量化）：GPTQ、AWQ、SmoothQuant 的核心思路大模型训练工程

    先用最直白的例子讲清三个方法在干什么——GPTQ 量化一个、补偿其他；AWQ 保护重要权重；SmoothQuant 平滑 Activation——再逐步加深：为什么要 Hessian、为什么叫 Activation-aware、那个数学变换为什么是无损的，最后落到 kernel 级工程与三者对比。

  • 量化开销对比：各家方案的矩阵乘账本与省账手段大模型训练工程

    量化省显存是明账，但量化之后的矩阵乘是怎么算的？两条路线——原生整数 GEMM 的修正项账、4-bit 反量化的融合 kernel——逐个拆 W8A8 / W4A16 / FP8 / LLM.int8 的额外开销，再讲透优化主线：把 Dequant 折进 GEMM kernel，解包直接产出 Tensor Core fragment、scale 与权重同布局、权重只读一遍、CUDA Graph 省 launch。

  • 量化粒度：一个 scale 管多大一片地方大模型训练工程

    从「量化到底在干什么」讲起——用一行 5 个权重手把手走通 q = round(x/s)，中间补上对称 vs 非对称量化（零点 z 什么时候免费、什么时候刚需），再逐个拆开三种粒度：per-tensor 一把尺子量全张量、per-channel 每个输出通道一把、group-wise 每 128 个元素一把。为什么尺子切得越细越准、per-channel 为什么在硬件上几乎免费、4-bit 为什么必须切到组。

  • 训练显存账本：参数、梯度、优化器状态各占多少大模型训练工程

    以混合精度 + Adam 训练为基准，逐项核算「每个参数背 16 字节」的来龙去脉：优化器状态占 75%，参数与梯度各占 12.5%；并对比纯 FP32、8-bit Adam、Adafactor 与 ZeRO 分片等口径，单开一节用 Megatron 公式逐项估算激活显存（随序列长度平方增长）。