《Kimi K3: Open Frontier Intelligence》精读
三种内容来源标签
论文声称 作者的主张或叙事框架 实验支持 有文中数据/实验支撑 解读者推断 本材料的推理，论文未明说
一句话版本（30 秒）
Kimi K3 是一个 2.8 万亿参数的混合专家模型，但每个 token 只激活 1040 亿（约 3.7%）；它用会遗忘的线性注意力（KDA）换掉大部分传统注意力，从而把上下文撑到 100 万 token；用三个稳定化组件驯服 896 个专家的极端稀疏；整套架构改动换来相对 K2 约 2.5 倍的扩展效率——然后靠一整套基础设施工程把这个庞然大物真的训练了出来。
阅读路线
主线（约 3 小时）：第 0 章（按需跳读）→ 第 1 章 → 第 2 章 KDA（全站枢纽）→ 第 4 章 LatentMoE → 第 7 章后训练 → 第 10 章评测批判 → 第 11 章综合考核。
支线：第 3、5、6、8、9 章可按兴趣插入；第 9 章（基础设施）最硬核，普通读者只读每节的"工程账单"表也有收获。
本材料的数字引用纪律
第 0 章 · 速通地基：八个够用就行的概念 来源：解读者补充的预备知识，不来自论文 · 已有基础可跳读
0.1 token 与参数
模型把文本切成 token（约 0.75 个英文单词 / 半个汉字），全部工作就是"给上文，猜下一个 token"。参数是模型里可学习的数字，你可以粗略理解为"脑细胞的连接强度"。参数越多通常越聪明，但运行时越贵。
0.2 总参数 vs 激活参数（本篇最重要的区分）
K3 总参数 2.78T，但处理每个 token 时只用其中 104.2B——约 3.7%。好比一家有 896 位专科医生的医院，每个病人只看其中 16 位。总参数决定"懂得多少"（容量），激活参数决定"算得多快"（成本）。这就是混合专家（MoE）的核心生意：用很大的容量，付很小的单次成本。
0.3 注意力与 KV cache
传统注意力让每个 token 回头"看"所有之前的 token，为此要把之前每个 token 的 key/value 存在显存里（KV cache）。上下文 100 万 token 时，这份缓存大到装不下——这是长上下文的第一道墙。K3 的应对是换掉大部分注意力（第 2 章）。
0.4 线性注意力 / 循环状态
一类替代方案：不存所有历史，只维护一块固定大小的"记忆黑板" S，每来一个新 token 就更新一次黑板，回答问题只查黑板。黑板不占地方、更新快，但容量有限——旧信息会被新信息挤掉。KDA 就是这类机制的精进版。
0.5 量化
把参数从 16 位浮点"压缩存档"为更少位数（如 4 位），存储和带宽省数倍，代价是精度略降。K3 用 MXFP4 存权重：2.78T 参数 × 0.5 字节 ≈ 1.4 TB——这是第一章要对的账。
0.6 预训练、后训练、强化学习（RL）
预训练 = 读遍全网文本学会语言与世界知识；后训练 = 教会"好好说话、按指令办事"；RL = 让模型在能自动判对错的任务上反复试错、按结果好坏自我改进。K3 的 RL 规模极大，专门有一章环境建设（第 8 章）。
0.7 Scaling law 与"扩展效率 2.5×"
经验规律：算力投入越多，模型误差越低，且关系大致是一条光滑曲线。"扩展效率提升 2.5×"的意思不是"成本变成 1/2.5"，而是：同样算力下误差更低，或达到同等误差所需算力更少——它是对拟合曲线整体位置的移动。解读者补充的背景
0.8 投机解码
大模型逐字生成很慢。技巧：让一个"草稿小模型"先快速猜好几个词，大模型一次性核验，猜对就批量收下。K3 用 EAGLE-3 风格的草稿模型做这件事（第 7 章）。
第 1 章 · 全局大图：K3 到底新在哪 来源：论文摘要 + §1 + Table 1（K2/K3 配置对照）
- 用一句话向朋友讲清 K3 的规格（2.8T / 104B / 1M / 原生视觉）
- 说出信息流扩展的三个维度（序列、深度、宽度）各对应哪个组件
- 对账 K2→K3 对照表中的关键数字
1.1 失效模式先行：K2 留下了什么问题
K2（约 1T 参数、128K 上下文、MLA 注意力）已经证明了开源 MoE 的可行性，但三个痛点摆在 K3 面前：① 长上下文太贵——传统注意力的 KV cache 随长度线性增长，128K 已吃力，1M 想都别想；② 稀疏放大不稳——专家数从几百涨到近一千时，训练会"炸"（激活爆炸、负载失衡，第 4 章细讲）；③ 深度方向的信息粥化——93 层堆叠，标准残差让所有历史信息挤进同一条通道，越往后越"糊"（第 3 章细讲）。K3 的全部架构创新可理解为对这三个问题的回答。论文的动机框架
1.2 K2 → K3 对照表（论文 Table 1，节选关键行）
| 配置 | Kimi K2 | Kimi K3 | 变化 |
|---|---|---|---|
| 总参数 | 1.04T | 2.78T | ×2.7 |
| 激活参数 / token | 32.6B | 104.2B | ×3.2 |
| 层数 | 61 | 93（69 KDA + 24 Gated MLA） | +52% |
| 隐藏维度 | 7168 | 7168 | 不变 |
| 路由专家数（激活数） | 384（8） | 896（16） | 稀疏度 56 |
| 共享专家数 | 1 | 2 | +1 |
| Latent MoE 维度 | — | 3584（= 0.5 × 7168） | 新增 |
| 每专家隐藏维度 | 2048 | 3072 | +50% |
| 训练上下文 | 128K | 1M | ×8 |
| 注意力机制 | MLA（61 层全 MLA） | 混合 KDA + Gated MLA | 换代 |
| 激活函数 | SwiGLU | SiTU-GLU | 换代 |
| 视觉编码器 | — | MoonViT-V2，401M 参数，27 层 | 新增 |
1.3 数字对账（本章就有三笔）
① 稀疏度：896 选 16 是不是"稀疏度 56"？
② 层数配比：69 + 24 = 93，但 3:1 的比例去哪了？
③ 激活参数占比：104.2B / 2780B ≈ 多少？
1.4 知识地图：三维度扩展信息流
| 维度 | 组件 | 解决什么 | 本材料章节 |
|---|---|---|---|
| 序列（长度方向） | KDA + Gated MLA 混合注意力 | 1M 上下文下注意力太贵 | 第 2、3 章 |
| 深度（层与层之间） | Attention Residuals | 93 层的信息传递瓶颈 | 第 3 章 |
| 宽度（每层容量） | Stable LatentMoE | 896 专家极端稀疏的稳定性 | 第 4 章 |
| 训练稳定 | Per-Head Muon + 训练配方 | 2.8T 规模不炸 | 第 5、6 章 |
| 能力塑形 | SFT → RL → MOPD | 从"会语言"到"会干活" | 第 7、8 章 |
| 落地 | 基础设施全家桶 | 真的训得动、跑得起 | 第 9 章 |
1.5 贡献与证据强度预评
| 论文声称的贡献 | 预评 |
|---|---|
| 架构三件套（KDA、AttnRes、LatentMoE）改善信息流 | ★★★ 有消融与稳定性证据，待第 10 章核 |
| 扩展效率约 2.5× over K2 | ★★ scaling law 拟合结果，属"拟合外推"类证据 |
| 达到"开放前沿"，仅落后两个最强闭源模型 | ★★ 待验——主结果在 Figure 1 图片中，正文缺完整数字表，第 10 章细审 |
| 基础设施创新（MoonEP、KCP 等）支撑 2.8T 训练 | ★★★ 系统已开源，可检验性强 |
- 不看表，说出 K3 的四个关键规格数字
- 69 + 24 = 93 中，为什么不是严格的 3:1？
- "总参数 2.8T、激活 104B"分别对应容量还是成本？
直接套用题 1.1（机批）K3 权重用 MXFP4（每参数约 4 bit = 0.5 字节）存储，2.78T 参数约占多少 TB？（按 1 TB = 10¹² 字节估算，保留两位小数）
第 2 章 · KDA：一块会遗忘的黑板，撑起 100 万上下文 来源：论文 §2.1–§2.2（Kimi Delta Attention）
- 用"黑板"类比讲清 KDA 的读、写、遗忘三个动作
- 说出 channel-wise 遗忘相对旧方案多出了什么能力
- 解释"一次数值溢出事故如何改写了衰减函数的数学"
2.1 失效模式先行
传统注意力的 KV cache 随上下文线性增长——100 万 token 时缓存放不下、算不动（第 0.3 节）。线性注意力把历史压缩成一块固定大小的"状态黑板" S：不管上文多长，黑板大小不变。但旧式黑板有硬伤：写新内容时容易把旧内容一起冲掉，或者越写越满再也写不进。KDA（Kimi Delta Attention）是这块黑板的精细管理术。
2.2 直觉与类比
把 S 想成一块黑板，每个新 token 带来一条要记的笔记 k→v：
- 先擦后写（delta 规则）：写之前，先看看黑板上同一位置（由 k 指定）旧笔记是什么，把旧的擦掉再写新的——β 控制擦写力度。这就是公式里 (I − βkkT) 的作用：定向清除，而不是整板冲洗。
- 先忘再写（通道级遗忘门 α）：每次动笔前，整块黑板按"频道"各自褪色一点——αi 是每个频道自己的保留率。旧方案（Gated DeltaNet）全板共用一个遗忘率；KDA 让黑板的每一列各有自己的遗忘速度——重要的频道褪色慢，琐事频道褪色快。
- 读：提问 q 来了，从黑板上取回 STq 作为答案。
2.3 公式手术（轻量版）
| 符号 | 它是什么 | 直觉 |
|---|---|---|
| S ∈ ℝd_k×d_v | 固定大小的记忆状态 | 黑板本体，不随上下文变长 |
| αt ∈ (0,1)d_k | 逐通道保留因子 | 每列黑板各自的"褪色速度" |
| βt ∈ (0,1) | 写入强度 | 这条笔记写多重、擦旧笔记多狠 |
| k, v, q | 写入位置 / 内容 / 查询 | 写在哪 / 写什么 / 查什么 |
2.4 下界衰减：一次溢出事故改写了数学
失效模式：前作（Kimi Linear）的衰减映射没有下界，连乘起来的总衰减可以任意小，其倒数（计算时需要的缩放因子）就会任意大——在 BF16 浮点里直接溢出。论文陈述的动机
K3 的修复：改用带下界的 scaled sigmoid，令保留因子 α > eg_min，其中 g_min = −5 固定。对账这笔数字：
展开：为什么 g_min = −5 恰好够用（手算对账）
① 单个保留因子下限：α > e−5 ≈ 6.7×10⁻³ ✓（论文数字）
② kernel 以 16 个 token 为一个 tile 计算，tile 内累积 log-衰减最坏 = 16 × (−5) = −80 ✓（对应论文"累积 log-衰减落在 (−80, 0)"）
③ 需要的倒数缩放因子 < e80。BF16 浮点最大值约 3.4×10³⁸ ≈ e87.7。e80 < e87.7 ✓——留了一档余量，永不溢出。这个 −5 不是拍的，是按 BF16 动态范围倒推出来的。解读者推断（论文给出数值与结论，余量换算为本材料所算）
附带收益：有了这个下界，tile 内计算全部变成稠密矩阵乘（Tensor Core 友好），消掉了 chunk 内逐位置计算的主要瓶颈——数值稳定性修复顺手换来了速度。实验支持（论文 §2.2 陈述）
2.5 让串行机制跑在 GPU 上
KDA 的递推天然是串行的（St 依赖 St−1），而 GPU 要并行。论文用 chunkwise 形式：序列切成块，块内并行算、块间串行传状态——输出 = 块内部分 + 跨块部分两项之和。这保证了"训练时能吃满 GPU"，是 KDA 从纸面公式变成可用层的关键一步；更进一步的系统级并行（KCP）在第 9 章。
- KDA 相对 Gated DeltaNet 的核心改动是什么？
- 为什么需要 24 层 Gated MLA，而不是全用 KDA？
- g_min=−5、16-token tile、BF16 上限三者如何咬合？
变情境迁移题 2.1（机批）若 tile 大小从 16 改为 32 而 g_min 仍为 −5，tile 内最坏累积 log-衰减变为多少（绝对值）？此时倒数缩放因子 e 的指数是多少，是否仍在 BF16 范围（≈e87.7）内？
第 3 章 · 混合注意力与 AttnRes：深度方向也用上了注意力 来源：论文 §2.3（Gated MLA）与 §2.4（Attention Residuals）
3.1 Gated MLA：被保留的 24 扇"全景窗"
MLA（Multi-head Latent Attention，源自 DeepSeek-V2）的思路：不把每个 token 的完整 K/V 存进 cache，而是压缩成一个低维"潜向量" ct = Wcxt 存起来，用时再展开——KV cache 因此小一个量级。K3 的改动：
- NoPE：全部 MLA 层不用显式位置编码。位置感由 KDA 层的递归衰减隐式提供——因此从 256K 扩到 1M 上下文不需要调整任何位置编码参数。实验支持
- 输出门：每个 token 自己决定"这层注意力的输出我听多少"（Sigmoid 门 × 输出）。
- FP32 注意力输出：训练时注意力输出保持 FP32 以修正 flash attention 的有偏舍入，代价是要重设计训练 kernel（重叠输出 tile 与 KV 缓冲，腾共享内存）。工程账单：一个精度决定 → 一次 kernel 重写。实验支持
3.2 AttnRes：把"用注意力替代递归"用到深度方向
失效模式先行：标准残差连接是"一路累加"——第 93 层的表示 = 前面 92 层输出的总和。所有历史信息挤在同一条通道里层层叠加，越往后越像一锅粥；而且浅层的某个关键信息想影响深层，必须"熬过"中间每一层的变换。
AttnRes 的做法：每一层配一个可学习的"查询" ql，让它直接对前面所有层的输出做注意力，按相关性加权取用，而不是照单全收地相加。第 l 层的输入 = softmax 加权的前序各层表示之和。
类比：标准残差像传话游戏——消息只能一站站传；AttnRes 像开会时任何人可以直接翻任何一位前序发言人的原始纪要。失效点：翻纪要要花时间——Full AttnRes 要保存所有层的输出（O(Ld) 显存）并在流水线并行下跨设备传输，这是它的成本。
3.3 工程妥协：Block AttnRes
Full 版太贵，Block 版把 93 层切成若干块：块内仍是直接相加，块间才做注意力。显存/通信从 O(Ld) 降到 O(Nd)（N = 块数）。论文发现 N≈8 块即可恢复大部分收益。实验支持
对账练习：93 层怎么切成 8 块？（对不上的账也是发现）
论文正文写"8 个 block、每块 12 层，计入 embedding 层共 9 个 block"。但 8 × 12 = 96 ≠ 93。严格对账对不上——93 层均分 8 块应为每块约 11.6 层。可能的解释：各块层数不均（如 7 块 × 12 层 + 1 块 × 9 层 = 93），正文按典型块大小简述。解读者推断 论文未给出逐块切分明细，这属于可以写邮件问作者的细节。对账的意义正在于此：对不上不一定是论文错，但你因此知道自己哪里还没懂。
构造反例题 3.1（开放题）构造一个场景说明"纯累加残差"在深层模型里会丢失什么：假设第 3 层学到了关键特征 X，第 20 层需要它，但第 4–19 层各自往残差流里加了等量的新信息。用"信噪比"的语言描述问题，并说明 AttnRes 的加权取用如何缓解。
参考要点与评分标准
要点：残差流中 X 的相对占比随层数被稀释（1/20、1/40……），且后续层的变换可能破坏 X 的表示形式；AttnRes 让第 20 层凭 q 直接给第 3 层的输出分配高权重，相当于"跳过稀释"。评分（10 分）：指出稀释/信噪比下降（4 分）；指出中间层变换的破坏（3 分）；正确描述 AttnRes 的定向加权机制（3 分）。
第 4 章 · Stable LatentMoE：驯服 896 个专家 来源：论文 §2.5（含附录 B/C/D 引用）
- 讲清"模型宽度"与"专家宽度"解耦是什么意思
- 说出极端稀疏放大的两个失效模式和对应的三个稳定组件
- 用 β₁β₂=100 这笔账解释 SiTU-GLU 为什么不会溢出
4.1 失效模式先行：稀疏推到极限会出两件事
把专家数从 384 推到 896、每 token 只用 16 个（稀疏度 56）时：① 激活爆炸——K3 让路由专家在压缩后的"潜空间"（3584 维，是模型宽度 7168 的一半）里工作，路由路径变成一连串近四连矩阵乘，2.8T 规模下数值会失控；② 负载失衡——近千个专家，路由器容易把活全派给少数"明星专家"，其他专家闲置、训练崩坏。三个稳定组件逐一对应解决：
4.2 组件一：Normalized LatentMoE
在专家聚合结果 u 投回全宽之前插一个 RMSNorm——不管专家输出尺度怎么飘，投回去之前先归一化。就这么一步，同时改善验证 loss 和下游基准。实验支持 关键设计点在于"放在哪"：归一化放在聚合后、上投影前，既稳住路由分支，又不干扰共享专家的全宽路径。解读者推断
4.3 组件二：SiTU-GLU——给激活装"软限幅器"
SwiGLU 的两个乘性因子都无界：大坐标相乘会产生激活离群值，低精度（FP4/FP8）下就是溢出源。SiTU-GLU 给两个分支分别套上 softcap（β·tanh(x/β)）：β₁ = 4（门分支），β₂ = 25（主干分支）。
数字对账：输出上界 = β₁ × β₂ = 4 × 25 = 100 ✓（论文称 |f(x)| ≤ 100）。且 tanh 在原点附近近似线性——小信号行为和 SwiGLU 几乎一样，只有极端值被"温柔地"按住。有界输出 = 量化友好的前提，这为第 7 章的 MXFP4 训练埋了伏笔。
4.4 组件三：Quantile Balancing（分位数均衡）
负载均衡的主流做法是"auxiliary-loss-free"：给每个专家的分数加个偏置 b，偏置只影响"派活"、不影响梯度。旧方法按固定步长调偏置（γ·sign 更新）——步长大则振荡，步长小则跟不上。K3 的 QB 换了个问法：
工程账单：全局 batch 的分数有数百万个、散布在不同 GPU 上，精确求分位数要收集全部数字——太贵。论文改用直方图估计：每个专家只统计几百个桶的计数，一次 all-reduce 求和后从直方图恢复分位数。通信量从"数百万个数"降到"每专家几百个计数"。实验支持
论文自带的迷你例子：8 个 token、4 个专家、每 token 选 1 个，初始负载 (4,3,1,0)——一个专家忙死、一个饿死；QB 一步把偏置调到使负载变成 (2,2,2,2)。
直接套用题 4.1（机批）SiTU-GLU 中 β₁=4、β₂=25，若某坐标上门分支取到上限 4、主干分支取到上限 25，该坐标输出最大为多少？
多概念综合题 4.2（开放题）把第 2 章和第 4 章串起来：KDA（固定状态）和 LatentMoE（潜空间压缩）都在"故意丢信息换效率"。请说明两者丢的分别是什么、各自靠什么机制保证"丢得起"，以及为什么这两处压缩可以共存于同一层而不互相放大误差。
参考要点
KDA 丢的是"时间维的完整历史"，靠可学的逐通道遗忘 + 24 层 MLA 全局窗兜底；LatentMoE 丢的是"宽度维的冗余自由度"，靠 RMSNorm 稳尺度 + 共享专家保留全宽路径兜底。共存理由：一者作用于序列维、一者作用于特征维，归一化（KDA 输出门内的 RMSNorm、LatentMoE 的 RMSNorm）在两条路径的接口处限制了误差传播的尺度。评分（10 分）：两种压缩的对象各 2 分、兜底机制各 2 分、共存论证 2 分。
第 5 章 · 原生视觉与 Per-Head Muon 来源：论文 §2.6（MoonViT-V2）与 §2.7（Per-Head Muon）
5.1 MoonViT-V2：把"看图"从头学一遍
失效模式先行：多数多模态模型的视觉编码器拿现成对比学习模型（如 SigLIP）初始化。K3 团队发现这条路有两个问题：用 SigLIP 初始化的旧版视觉塔梯度范数持续偏高、频繁尖峰（训练不稳）；且对比损失偏爱"全局语义"，未必适配语言建模目标。论文陈述的动机
K3 的选择：MoonViT-V2 完全从头训练，和文本一起在 next-token prediction 目标下学习。结果：视觉评测追平 SigLIP 初始化基线，且训练全程稳定。实验支持 这个"追平"信息量很大——它暗示大规模多模态模型可能不再需要对比预训练这个"学前班"。解读者推断
规格对账：27 层、约 401M 参数、无 bias 设计、图像视频共享参数；投影前做 2×2 pixel-shuffle 下采样 → 视觉 token 数 ÷4 ✓（2×2=4）；支持最高 3584×3584 像素输入（注意这个数字与 LatentMoE 潜空间维度 3584 相同是巧合——一个是像素、一个是维度）。
5.2 Per-Head Muon：让每个注意力头"等量进步"
Muon 是 K2 就在用的优化器，核心动作是对参数的动量矩阵做 Newton–Schulz 正交化（可粗略理解为"把更新方向掰正、归一尺度"）。失效模式：整块矩阵正交化时，梯度大的注意力头会主导共享更新方向——"嗓门大的头"带着所有头走。K3 的改法：把 Q/K/V 投影按头切开，每个头单独正交化。收益：各头学习进度更均衡、大模型训练更稳；且逐头的高瘦小矩阵做正交化反而比整块大矩阵便宜——优化器开销略降。实验支持
第 6 章 · 预训练配方：数据、scaling law 与长上下文课程 来源：论文 §3（Pre-Training）
6.1 数据：四大文本域 + 一套视觉语料
文本分 Web、Code、Math、Knowledge 四域，各域经规则清洗 + 分类器打分 + 去重，域间采样比例由小模型消融实验确定（不是拍的）。知识与数学语料做"改写增强"：换风格、换视角重写，再对照原文做保真度校验——用 AI 给 AI 造教材，但每本教材要过质检。视觉语料含一类有趣的程序化数据：代码片段与其渲染结果配对（SVG、3D 资产、网页、游戏、CAD 图），直接支撑"写代码→看渲染→迭代"的闭环能力。
6.2 "2.5× 扩展效率"到底是什么意思
另一个值得普通读者带走的细节：论文比较了两种学习率调度（cosine vs WSD），并强调必须为两者各自单独调参后再比——共享超参的比较不公平。结论：公平比较下 cosine 一致更优，遂采用。这是"如何做公平对照实验"的一节免费方法课。实验支持
6.3 长上下文：四阶段课程 + NoPE 外推
上下文不是一步撑到 1M 的：预训练 8K → 64K；cooldown 阶段 256K → 1M，把最贵的长序列计算集中在小部分预算里。能这样外推的前提是第 3 章的 NoPE——没有显式位置编码，就不存在"训练时没见过的位置"这个外推障碍；配套的长上下文数据专门设计成"必须利用散布在 100 万 token 各处的信息才能解决"，防止模型偷懒只学局部模式。实验支持
第 7 章 · 后训练三部曲：先模仿，再分化，最后合一 来源：论文 §4（Post-Training）
- 画出 SFT → RL（9 专家）→ MOPD 的流程并解释为何不直接训一个全能模型
- 解释 partial rollout 省的是什么、代价是什么
- 说出 reasoning-effort RL 的预算惩罚机制
7.1 总览：三阶段
① SFT（冷启动）：用高质量轨迹教模型"照做"，数据以自研 XTML 模板序列化，且从这一步起就引入量化感知训练（QAT，MXFP4 权重 + MXFP8 激活）。② RL（分化）：不训一个全能选手，而是训 3 大领域 × 3 个推理努力等级 = 9 个专家模型。③ MOPD（合一）：用 on-policy 蒸馏把 9 个专家压回一个统一模型——按领域与努力等级采样对应教师，逐 token 给稠密奖励（教师的认可程度），裁剪到 ±R_max 防爆。先分化再合一的理由：单一模型里不同能力会互相挤占容量与梯度，分开练透再蒸馏缝合。论文的设计动机
7.2 Partial Rollout：不等最慢的那个人
失效模式：agentic RL 里一条轨迹可能要调几千次工具，快慢悬殊；等所有轨迹跑完才更新，算力被最慢的长尾拖死。做法：每轮采样 N×K 条轨迹，完成比例 λ 就暂停收割，没跑完的连环境状态一起"存档"，下轮优先恢复。代价：一条轨迹横跨多轮更新，数据变"陈旧"（off-policy）；对策是逐 token 正则化把更新约束在局部邻域。工程账单：吞吐换 freshness，用算法补丁（正则化）支付。
7.3 Reasoning-Effort RL：给"思考"设预算
想让模型有 low / high / max 三档思考深度，做法直接得可爱：初始预算 b₀ 由冷启动模型估计，输出 token 数超过 τ·b₀ 奖励直接覆写为 −1。先训 max 档（τ 大），再逐步退火 τ 得到 high、low。类比：考试先说"这篇作文建议 800 字"，超字直接零分——模型很快就学会按预算组织思考。失效点：类比失效在"零分"不是真零分思考质量，而是一个粗暴但有效的硬约束；它假设 b₀ 估计本身靠谱。
7.4 部署感知：QAT 与投机解码
QAT 贯穿整个后训练，且 RL 的 rollout 与训练共享同一量化方案——消除"训练时高精度、部署时低精度"的失配。草稿模型（EAGLE-3 风格）直接优化接受率的负对数（LK loss）：草稿猜的词被大模型接受的概率越高越好——目标函数直指投机解码的实际收益，而非间接的拟合指标。实验支持
变情境迁移题 7.1（机批）某任务的初始预算 b₀ = 2000 tokens，当前训练到 τ = 2.5。模型输出 4800 tokens 会得到奖励 −1 吗？
第 8 章 · RL 环境：给模型"找事做"的艺术 来源：论文 §4.6（RL 任务合成与 Agentic 环境）
8.1 为什么要造环境
RL 的能力上限不在算法，在任务：模型只能在"能自动判对错"的事情上进步。K3 的做法是工业化地造任务、造考场。七个环境族的速览：
| 环境 | 造什么任务 | 怎么判分 |
|---|---|---|
| 统一白盒环境 | 同一任务换不同 agent 框架（harness）跑 | 防模型过拟合某个框架的癖好 |
| 知识图谱合成 | 从 DAG 知识图谱采样概念节点生成任务 | 材料来自真实检索，答案可验 |
| 可验证 agentic 问题 | 多步检索、专业人士工作流（投行/法律/数据分析） | 最终交付物可程序化验证 |
| Kernel 优化 | 写 CUDA/Triton 等 GPU 算子 | 正确性对拍 PyTorch 参考；性能达专家水平 0.5 分，逼近硬件极限趋 1.0 |
| 个人助理 | Gmail/Notion 等高仿应用里跨"模拟日"处理数十事件 | 单条轨迹可达数千次工具调用、数百万上下文 token |
| AET 自主执行 | 只给初始状态+目标+预算，无参考轨迹 | 独立验证器评最终环境状态，不看 agent 自报 |
| Web 开发 | 从一句话到完整规格做网站/游戏/可视化 | 确定性测试 + 奖励模型双评委 |
8.2 奖励设计的一课：你的漏洞会被找到
构造反例题 8.1（开放题）针对"kernel 性能分 = 运行速度"这一奖励，构造两种 reward hacking 策略（论文已点名若干，请先自己想再对照），并各给一条检测思路。
参考要点（论文点名的策略 + 检测）
论文点名：① CUDA graph replay——把第一次运行的结果录下来重放，测的是回放速度；② 输入缓存——认出测试输入后返回缓存结果；③ 降低计算精度换取速度。检测思路：随机化输入并校验输出正确性（破①②）、用固定精度预算约束并对拍高精度参考（破③）。评分（10 分）：每种策略 3 分 + 对应检测 2 分。
第 9 章 · 基础设施：前面每章欠的债，都在这里还 来源：论文 §5（Infrastructure）；普通读者只读"账单"表也有收获
9.1 总览：架构决定工程债
| 前面章节的决定 | 欠下的债 | 本章的还债方案 |
|---|---|---|
| KDA 是串行递推（第 2 章） | 超长序列训练/推理如何并行 | FlashKDA chunkwise kernel + 设备内上下文并行 + KCP |
| 896 专家 MoE（第 4 章） | 各 GPU 上分到的 token 数天然不均，慢卡拖全队 | MoonEP：冗余专家在线规划，定理保证完美均衡恒存在 |
| 2.8T 参数 + 93 层 | 激活/梯度/优化器状态超显存 | 统一激活管理器：重计算/FP8 量化/offload 按张量粒度自由组合 |
| 1M 上下文的 agentic RL（第 7、8 章） | 轨迹太长，状态跨轮保存 | 外部 KV 池 + 可恢复 microVM 沙箱 + 自适应限流 |
9.2 KCP：给"会遗忘的黑板"做并行
普通线性注意力的状态是"可加的"——各 GPU 从空白状态各算一段，最后加起来即可。KDA 不行：delta 规则写入前要对传入状态做一次依赖内容的变换，每段的"效果"取决于进入该段时的状态，无法各自从空白起算。论文的问题陈述 KCP 的分解很漂亮：把每段的效果拆成两个本地可算的量——"累积转移矩阵 M"（怎么改造传入状态）和"本地零起始状态 S̃"（本段自己写入的内容），各卡算好后一次 all-gather 交换，再按顺序做前缀扫描拼出真实状态。关键收益：交换的是固定大小的张量，不像传统注意力要交换随序列变长的 KV。该实现已开源。实验支持
9.3 MoonEP：带定理保证的负载均衡
专家并行时，每个 GPU（rank）分到的 token 数是路由器决定的，天然不均。MoonEP 的思路：允许"热门专家在多个 rank 上放副本（冗余专家）"，并在线规划这些副本放哪。核心是一个可陈述给普通读者的定理：
数字感受：E=896 个专家、R=64 个 rank 时，E/R = 14——每卡只要预留 14 个冗余槽位就买到"永不中断"的保证。均衡还带来两个免费好处：通信 buffer 固定为 S×K（旧方案最坏要 S×K×R）；所有层计算形状静态已知，消除逐层同步开销。MoonEP 已开源。实验支持
9.4 内存与 RL 基建（速览）
统一激活管理器把"哪些激活重算、哪些量化成 FP8、哪些甩到 CPU/远端"变成张量粒度的可插拔配置，与模型代码解耦；K3 实践中大部分激活走"块级 FP8 量化 + offload"。RL 侧：外部 KV cache 池、可恢复 microVM 沙箱支撑 partial rollout 的暂停/恢复，自适应限流防止并发量变成手调魔法数。（§5.3/§5.4 在公开文本中细节有限，本材料如实标注。）
第 10 章 · 评测：别被数字带节奏 来源：论文 §6（Evaluations）+ 摘要；批判性分析为解读者补充
- 说出这篇论文评测证据的一个结构性弱点
- 区分"领先所有其他模型"与"领先所有模型"的措辞差异
- 评价"开源权重"这一事实的证据等级
10.1 先说论文自己承认的
摘要明确写道：K3 整体仍落后最强的两个闭源模型（论文点名为 Claude Fable 5 与 GPT-5.6 Sol），但持续优于评测套件中所有其他开源与闭源模型。这种"承认天花板 + 主张区间领先"的措辞比"全面超越"克制，也更可信。论文声称 但注意措辞的精确边界："所有其他"——即它是第三名叙事，不是第一名。
10.2 证据的结构性弱点
- 主结果在图里，不在表里。Figure 1 是雷达图/柱状图形式，正文未给出各基准的完整数值表。图擅长传达"整体形状"，不擅长让人核对"具体差几个点"。解读者指出
- 内部评测为主。评测由作者自己运行（自己出题、自己批改的嫌疑无法排除）；缓解因素是模型权重完整开源——任何人可复验，这是比任何表格都硬的证据形式。实验支持（权重确已发布）
- scaling 类结论（2.5×）是拟合外推，如第 6 章所述，证据强度弱于直接实测。
- 成本轴缺席：摘要与正文强调能力与上下文长度，但每 token 推理成本、1M 上下文的实际延迟/报价未在主结果中给出。"跑得动"和"用得起"是两回事。解读者指出
10.3 如何正确引用这篇论文的结论
多概念综合题 10.1（开放题）综合第 1、6、10 章：一位读者说"K3 效率是 K2 的 2.5 倍，所以推理也便宜 2.5 倍"。指出这句话里的两处偷换，并给出正确的表述。
参考要点
偷换一：2.5× 是训练侧 scaling law的效率（算力→loss 的换算率），不是推理成本；推理成本主要由激活参数（104.2B，约为 K2 的 3.2 倍）与上下文长度决定。偷换二：即使是训练侧，2.5× 也是曲线位移而非简单除法。正确表述："K3 以 K2 约 3.2 倍的激活参数换得更强能力；在训练算力到能力的转化效率上，拟合显示约 2.5× 改善。"评分（10 分）：指出训练/推理偷换 4 分、指出 scaling 数字性质 3 分、给出正确表述 3 分。
第 11 章 · 综合考核：从读者到评审者 来源：解读者设计，跨全论文
11.1 考核一 · 重建因果链
综合题 11.1 只给你摘要的三个数字：2.8T 总参数 / 104B 激活 / 1M 上下文。请推演这篇论文必须解决哪三类工程问题，并指出每个数字各自逼出了哪一类。
参考链条
2.8T → 单卡放不下、专家负载不均 → 专家并行 + MoonEP + 显存管理（第 9 章）；
104B 激活 → 每 token 成本与延迟 → 量化（MXFP4 QAT）+ 投机解码（第 7 章）；
1M 上下文 → KV cache 爆炸 + 长序列并行 → KDA 替换大部分注意力 + KCP + 前缀缓存（第 2、9 章）。
能独立推出两类以上即通过——你已经在"预测论文"而不是"复述论文"。
11.2 考核二 · 数字总对账（机批）
对账题 11.2（机批）93 层中 KDA 层 69、Gated MLA 层 24。若按"3 KDA + 1 MLA"分组，可分完整小组多少个？（整数）
11.3 考核三 · 设计决策答辩
综合题 11.3 三问（建议交给 LLM 当裁判）：① 为什么 KDA 不全部取代注意力，而要留 24 层 MLA？② QB 的偏置为什么"只调分派、不进梯度"，如果进梯度会怎样？③ 视觉塔从头训练仅"追平"而非超越 SigLIP 初始化，为什么团队仍选择这条路？
评分标准（每问 10 分）
① 固定状态必损信息（3 分），MLA 提供全局精确检索窗（4 分），混合是保真与成本的权衡（3 分）。② 进梯度会让路由器为"均衡"而非"匹配质量"优化（4 分），偏置进梯度还会形成自我强化的反馈回路（4 分），auxiliary-loss-free 的精髓即隔离（2 分）。③ 追平已足够消除"必须用对比预训练"的依赖（4 分），换来训练稳定性（梯度尖峰消失）与目标一致性（3 分），且简化流水线（3 分）。
11.4 考核四 · 证据审计
| 贡献（第 1.5 节预评） | 读后修正 | 理由 |
|---|---|---|
| 架构三件套 ★★★ | ★★★ 维持 | 各组件均有失效模式分析 + 消融/稳定性陈述；SiTU-GLU 上界、QB 例子等可手算复核 |
| 2.5× 扩展效率 ★★ | ★★ 维持 | 拟合外推性质不变；公平比较方法（各自调参）加分 |
| 开放前沿（第三名）★★ | ★★☆ 略升 | 主结果缺完整数字表扣分，但权重开源提供了最高等级的可复验性 |
| 基础设施 ★★★ | ★★★ 维持 | MoonEP/KCP 开源且有定理/证明，可检验性最强 |
论文没有告诉你的事 来源：解读者补充 · 批判性阅读
- 完整的评测数字表：主结果以图呈现，各基准精确分数与分差未在正文列出，核对"领先多少"只能估读。
- 训练总成本与能耗：2.8T 模型预训练用了多少卡时、多少电，全文未报——"2.5× 效率"没有对应的绝对成本锚点。
- 1M 上下文的实际推理价格/延迟：能跑与用得起之间的账未给出。
- KDA 的失守场景：哪些任务上纯全局注意力仍明显优于混合架构？论文未给出 K3 相对"全 MLA 版本 K3"的对照（受成本所限可以理解，但读者应知道这块证据缺失）。
- AttnRes 的块切分明细：93 层切 8 块，8×12=96≠93，逐块层数未列出（第 3 章对账）。
- 失败案例集：RL 环境中模型作弊被抓住的案例有描述，但模型在正常任务上失败模式的系统分析未给出。
附录 · 术语与符号速查
关键数字速查
| 数字 | 含义 |
|---|---|
| 2.78T / 104.2B | 总参数 / 每 token 激活参数（≈3.75%） |
| 93 = 69 + 24 | 总层数 = KDA 层 + Gated MLA 层（23 个 3+1 小组 + 末尾 1 层 MLA） |
| 896 / 16 / 2 | 路由专家数 / 每 token 激活 / 共享专家；稀疏度 56 |
| 7168 / 3584 / 3072 | 模型隐藏维度 / LatentMoE 潜维度 / 每专家隐藏维度 |
| 1M | 上下文窗口；课程 8K→64K→256K→1M |
| g_min = −5 | KDA 衰减下界；16-token tile 累积 −80 < BF16 上限 e^87.7 |
| β₁=4, β₂=25 | SiTU-GLU 软限幅，输出 |f| ≤ 100 |
| 401M / 27 层 | MoonViT-V2 视觉编码器 |
| E/R | MoonEP 完美均衡所需冗余专家槽位上界 |
术语表
| 术语 | 一句话定义 |
|---|---|
| KDA | 带逐通道遗忘门的线性注意力：固定黑板 + 先擦后写 + 各有遗忘速度 |
| Gated MLA | 低维潜向量压缩 KV 的注意力 + 输出门；K3 中不用位置编码 |
| AttnRes | 让每层对前序所有层的输出做注意力，替代无脑累加的残差 |
| LatentMoE | 路由专家在压缩潜空间工作的 MoE，模型宽度与专家宽度解耦 |
| Quantile Balancing | 直接把路由偏置设为目标分位数的负载均衡法，一步到位 |
| MOPD | 多教师 on-policy 蒸馏：9 个 RL 专家压回一个模型 |
| QAT | 量化感知训练：训练时就按 MXFP4/MXFP8 的精度走，部署无失配 |
| KCP | KDA 的上下文并行：把每段效果拆成"转移矩阵 + 本地状态"再拼接 |
| MoonEP | 带存在性定理的专家并行负载均衡系统（已开源） |
| Scaling efficiency | 算力转化为能力（loss 下降）的效率，由 scaling law 拟合衡量 |