↓ 跳过正文

Tokenizer

2026

12 词表大小与 Token 危机：算术差、单词反转失败的结构性原因

2026-06-14·4924 字·10 分钟

LLM LLM Tokenizer 词表大小 Vocab Size Token 危机 Glitch Token 分词算术

11 Unigram（SentencePiece）：并非所有切分都是确定的

2026-06-09·4006 字·8 分钟

LLM LLM Tokenizer Unigram SentencePiece Subword Regularization EM Viterbi 分词

10 BPE 与 Byte-level BPE：现代 LLM 如何消灭 UNK

2026-06-06·3967 字·8 分钟

LLM LLM Tokenizer BPE Byte-Level BPE BBPE 子词 UTF-8 OOV

9 子词霸权：为什么 Subword 击败了 Word 和 Char

2026-05-30·3528 字·8 分钟

LLM LLM Tokenizer Subword BPE OOV 分词

8 Tokenizer 的目标函数：效率、覆盖与鲁棒性的不可能三角

2026-05-24·4994 字·10 分钟

LLM LLM Tokenizer BPE 分词词表