↓ 跳过正文

分词

2026

12 词表大小与 Token 危机：算术差、单词反转失败的结构性原因

2026-06-14·4924 字·10 分钟

LLM LLM Tokenizer 词表大小 Vocab Size Token 危机 Glitch Token 分词算术

11 Unigram（SentencePiece）：并非所有切分都是确定的

2026-06-09·4006 字·8 分钟

LLM LLM Tokenizer Unigram SentencePiece Subword Regularization EM Viterbi 分词

9 子词霸权：为什么 Subword 击败了 Word 和 Char

2026-05-30·3528 字·8 分钟

LLM LLM Tokenizer Subword BPE OOV 分词

8 Tokenizer 的目标函数：效率、覆盖与鲁棒性的不可能三角

2026-05-24·4994 字·10 分钟

LLM LLM Tokenizer BPE 分词词表