↓ 跳过正文

LLM

2026

论文里程碑 #24：Attention Is All You Need

2026-11-11·6129 字·13 分钟

LLM LLM 论文里程碑 Transformer 注意力机制机器翻译

29 抽取与格式：怎样保留文档的可学习结构

2026-11-04·4817 字·10 分钟

LLM LLM 训练数据文档抽取格式规范化

论文里程碑 #23：Deep Residual Learning for Image Recognition

2026-11-02·5869 字·12 分钟

LLM LLM 论文里程碑 ResNet 残差连接深度学习优化与泛化

28 怎样判断数据更好：版本、预算与对照实验

2026-10-31·5140 字·11 分钟

LLM LLM 训练数据数据版本对照实验消融实验

论文里程碑 #22：Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates

2026-10-28·5207 字·11 分钟

LLM LLM 论文里程碑 Unigram 子词正则化 SentencePiece 神经机器翻译

27 数据工程全景：原始资料怎样成为训练样本

2026-10-19·5170 字·11 分钟

LLM LLM 训练数据数据工程语料策展采样 Packing 数据血缘

论文里程碑 #21：Neural Machine Translation of Rare Words with Subword Units

2026-10-16·5813 字·12 分钟

LLM LLM 论文里程碑 BPE 子词神经机器翻译罕见词 OOV

论文里程碑 #20：Layer Normalization

2026-09-20·9342 字·19 分钟

LLM LLM 论文里程碑 LayerNorm RMSNorm 归一化 Pre-LN Jimmy Ba

26 训练 vs 推理的成本结构：计算密集 vs 访存密集

2026-09-20·9115 字·19 分钟

LLM LLM 推理训练 Roofline 算术强度显存带宽量化

论文里程碑 #19：Adam: A Method for Stochastic Optimization

2026-09-16·7668 字·16 分钟

LLM LLM 论文里程碑 Adam 优化器学习率 AdamW Kingma

25 KV Cache：增量复用的本质

2026-09-16·7588 字·16 分钟

LLM LLM KV Cache 推理 Decode 显存 Causal Mask PagedAttention

论文里程碑 #18：Effective Approaches to Attention-based Neural Machine Translation

2026-09-09·10192 字·21 分钟

LLM LLM 论文里程碑 Attention Luong 机器翻译消融实验点积注意力