🍥

辰远

天将降大任于斯人也

技术框架

PagedAttention：局部更慢，系统为何更快

PagedAttention 的注意力 kernel 本身并不一定更快，却让 vLLM 获得更高服务吞吐。本文从 KV cache 的动态增长出发，解释分页、块表、按需分配与写时复制如何把显存管理变成推理系统的核心能力。

大模型架构学习

DPO：奖励模型去哪了

DPO 把奖励模型与 PPO 改写成一个成对分类损失，但偏好并未消失，而是藏进了策略相对参考模型的概率变化。本文从四个对数概率出发，解释它为何简单、为何有效，以及离线偏好优化的边界。

大模型架构学习

FlashAttention：不是少算，而是少搬

FlashAttention 没有近似注意力，也没有消除二次计算；它通过分块、在线 softmax 与重计算避免物化巨大的注意力矩阵。本文从 GPU 内存层级解释它为何更快，以及 FA2、FA3 如何继续榨出硬件效率。

大模型架构学习

Mamba：少记，为什么反而可能更懂长序列

Mamba 不保存完整 KV cache，而是用选择性状态空间把历史压进固定状态。本文从选择性、扫描算法与实证边界解释它为何成为 Transformer 之外的重要路线。

大模型架构学习

DeepSeek-V2/V3：大模型的两张账，为什么 MLA 与 MoE 要一起看

DeepSeek-V2/V3 同时压缩 KV cache 与稀疏激活专家。本文从推理时真正搬运的数据出发，拆解 MLA、解耦 RoPE、DeepSeekMoE 与 V3 的无辅助损失负载均衡。