↓ 跳过正文

LLM

全图 · LLM 主线 29 / 113 篇已发

从语言建模到真实系统，14 章 113 篇，沿具体问题理解机制、例子与工程取舍

一、语言建模 7 / 7

二、表示与分词 9 / 9

三、Transformer 架构 10 / 10

四、训练数据 3 / 10

五、训练与规模 0 / 14

六、评测基础 0 / 4

七、后训练与适配 0 / 10

八、推理能力与计算预算 0 / 7

九、提示与上下文 0 / 5

十、检索增强 0 / 9

十一、工具与 Agent 0 / 8

十二、多模态接口 0 / 4

十三、推理服务 0 / 12

十四、系统选择与迭代 0 / 4

2026

17 一个 Transformer Block 的「最小骨架」

2026-07-19·5024 字·11 分钟

LLM LLM Transformer Decoder-Only 残差连接归一化 Pre-Norm FFN 注意力

16 位置编码进化史：从正弦波到 RoPE 旋转位置编码

2026-07-12·5803 字·12 分钟

LLM LLM 位置编码 RoPE 旋转位置编码正弦编码相对位置 Self-Attention Transformer

15 Weight Tying：输入输出的镜像关系

2026-07-03·4482 字·9 分钟

LLM LLM Weight Tying 权重绑定 Embedding Logits Softmax 参数量输出层

14 几何直觉：向量空间中的类比、距离与各向异性

2026-06-27·4979 字·10 分钟

LLM LLM Embedding 词向量余弦相似度词类比各向异性 Anisotropy 向量空间

13 Embedding 查表：离散 ID 到连续语义的惊险一跃

2026-06-23·5079 字·11 分钟

LLM LLM Embedding 词嵌入查找表 One-Hot 分布式表示向量空间 Hidden State

12 词表大小与 Token 危机：算术差、单词反转失败的结构性原因

2026-06-14·4924 字·10 分钟

LLM LLM Tokenizer 词表大小 Vocab Size Token 危机 Glitch Token 分词算术

11 Unigram（SentencePiece）：并非所有切分都是确定的

2026-06-09·4006 字·8 分钟

LLM LLM Tokenizer Unigram SentencePiece Subword Regularization EM Viterbi 分词

10 BPE 与 Byte-level BPE：现代 LLM 如何消灭 UNK

2026-06-06·3967 字·8 分钟

LLM LLM Tokenizer BPE Byte-Level BPE BBPE 子词 UTF-8 OOV

9 子词霸权：为什么 Subword 击败了 Word 和 Char

2026-05-30·3528 字·8 分钟

LLM LLM Tokenizer Subword BPE OOV 分词

8 Tokenizer 的目标函数：效率、覆盖与鲁棒性的不可能三角

2026-05-24·4994 字·10 分钟

LLM LLM Tokenizer BPE 分词词表

7 Temperature、重复惩罚与「胡说八道」的来源

2026-05-17·4511 字·10 分钟

LLM LLM Decoding Temperature 重复惩罚 Hallucination

6 采样策略拆解：Greedy / Beam / Top-k / Top-p

2026-05-10·4691 字·10 分钟

LLM LLM Decoding 采样 Top-P Beam Search