↓ 跳过正文

LLM

全图 · LLM 主线 29 / 113 篇已发

从语言建模到真实系统，14 章 113 篇，沿具体问题理解机制、例子与工程取舍

一、语言建模 7 / 7

二、表示与分词 9 / 9

三、Transformer 架构 10 / 10

四、训练数据 3 / 10

五、训练与规模 0 / 14

六、评测基础 0 / 4

七、后训练与适配 0 / 10

八、推理能力与计算预算 0 / 7

九、提示与上下文 0 / 5

十、检索增强 0 / 9

十一、工具与 Agent 0 / 8

十二、多模态接口 0 / 4

十三、推理服务 0 / 12

十四、系统选择与迭代 0 / 4

2026

29 抽取与格式：怎样保留文档的可学习结构

2026-11-04·4817 字·10 分钟

LLM LLM 训练数据文档抽取格式规范化

28 怎样判断数据更好：版本、预算与对照实验

2026-10-31·5140 字·11 分钟

LLM LLM 训练数据数据版本对照实验消融实验

27 数据工程全景：原始资料怎样成为训练样本

2026-10-19·5170 字·11 分钟

LLM LLM 训练数据数据工程语料策展采样 Packing 数据血缘

26 训练 vs 推理的成本结构：计算密集 vs 访存密集

2026-09-20·9115 字·19 分钟

LLM LLM 推理训练 Roofline 算术强度显存带宽量化

25 KV Cache：增量复用的本质

2026-09-16·7588 字·16 分钟

LLM LLM KV Cache 推理 Decode 显存 Causal Mask PagedAttention

24 MoE（Mixture of Experts）：稀疏激活与路由策略

2026-09-09·11672 字·24 分钟

LLM LLM MoE 稀疏激活路由 Mixtral DeepSeek 负载均衡

23 FFN/MLP 子层：容量来源与「事实记忆」的直觉

2026-08-30·10009 字·20 分钟

LLM LLM FFN MLP SwiGLU 知识编辑 ROME 可解释性

22 推理是串行的：Prefill 与 Decode 的两阶段

2026-08-23·8973 字·18 分钟

LLM LLM 推理 Prefill Decode KV Cache TTFT TPOT Batching

21 多头注意力的现代变体：MHA → MQA/GQA → MLA

2026-08-16·12575 字·26 分钟

LLM LLM Attention MHA MQA GQA MLA KV Cache 推理优化

20 Attention 在算什么：Q/K/V、Softmax 与 O(N²)

2026-08-09·7931 字·16 分钟

LLM LLM Attention Q/K/V Softmax 自注意力 KV Cache 复杂度 Transformer

19 训练是并行的：Teacher Forcing 与 Causal Mask

2026-08-01·7263 字·15 分钟

LLM LLM Teacher Forcing Causal Mask 并行训练自回归 Exposure Bias Transformer

18 归一化的选择：LayerNorm → RMSNorm，Pre-LN vs Post-LN

2026-07-27·7936 字·16 分钟

LLM LLM 归一化 LayerNorm RMSNorm Pre-Norm 残差流训练稳定性 Transformer