↓ 跳过正文

LLM

2026

12 词表大小与 Token 危机：算术差、单词反转失败的结构性原因

2026-06-14·4924 字·10 分钟

LLM LLM Tokenizer 词表大小 Vocab Size Token 危机 Glitch Token 分词算术

论文里程碑 #5：BLEU

2026-06-09·3745 字·8 分钟

LLM LLM 论文里程碑 BLEU 机器翻译评测指标 N-Gram NLP Papineni

11 Unigram（SentencePiece）：并非所有切分都是确定的

2026-06-09·4006 字·8 分钟

LLM LLM Tokenizer Unigram SentencePiece Subword Regularization EM Viterbi 分词

10 BPE 与 Byte-level BPE：现代 LLM 如何消灭 UNK

2026-06-06·3967 字·8 分钟

LLM LLM Tokenizer BPE Byte-Level BPE BBPE 子词 UTF-8 OOV

论文里程碑 #4：Conditional Random Fields

2026-06-03·4840 字·10 分钟

LLM LLM 论文里程碑 CRF 序列标注判别式模型 Label Bias 结构化预测 Lafferty

9 子词霸权：为什么 Subword 击败了 Word 和 Char

2026-05-30·3528 字·8 分钟

LLM LLM Tokenizer Subword BPE OOV 分词

论文里程碑 #3：Long Short-Term Memory

2026-05-28·4686 字·10 分钟

LLM LLM 论文里程碑 RNN LSTM 梯度消失序列建模 Hochreiter

8 Tokenizer 的目标函数：效率、覆盖与鲁棒性的不可能三角

2026-05-24·4994 字·10 分钟

LLM LLM Tokenizer BPE 分词词表

论文里程碑 #2：A Statistical Approach to Machine Translation

2026-05-21·5441 字·11 分钟

LLM LLM 论文里程碑机器翻译 SMT IBM 噪声信道 EM 算法

7 Temperature、重复惩罚与「胡说八道」的来源

2026-05-17·4511 字·10 分钟

LLM LLM Decoding Temperature 重复惩罚 Hallucination

论文里程碑 #1：Learning Representations by Back-Propagating Errors

2026-05-14·3355 字·7 分钟

LLM LLM 论文里程碑反向传播 Backpropagation Hinton 神经网络

6 采样策略拆解：Greedy / Beam / Top-k / Top-p

2026-05-10·4691 字·10 分钟

LLM LLM Decoding 采样 Top-P Beam Search