↓ 跳过正文

LLM

2026

论文里程碑 #20：Layer Normalization

2026-09-20·9342 字·19 分钟

LLM LLM 论文里程碑 LayerNorm RMSNorm 归一化 Pre-LN Jimmy Ba

26 训练 vs 推理的成本结构：计算密集 vs 访存密集

2026-09-20·9115 字·19 分钟

LLM LLM 推理训练 Roofline 算术强度显存带宽量化

论文里程碑 #19：Adam: A Method for Stochastic Optimization

2026-09-16·7668 字·16 分钟

LLM LLM 论文里程碑 Adam 优化器学习率 AdamW Kingma

25 KV Cache：增量复用的本质

2026-09-16·7588 字·16 分钟

LLM LLM KV Cache 推理 Decode 显存 Causal Mask PagedAttention

论文里程碑 #18：Effective Approaches to Attention-based Neural Machine Translation

2026-09-09·10192 字·21 分钟

LLM LLM 论文里程碑 Attention Luong 机器翻译消融实验点积注意力

24 MoE（Mixture of Experts）：稀疏激活与路由策略

2026-09-09·11672 字·24 分钟

LLM LLM MoE 稀疏激活路由 Mixtral DeepSeek 负载均衡

论文里程碑 #17：Neural Machine Translation by Jointly Learning to Align and Translate

2026-08-30·8477 字·17 分钟

LLM LLM 论文里程碑 Attention Bahdanau 机器翻译 Seq2Seq 对齐

23 FFN/MLP 子层：容量来源与「事实记忆」的直觉

2026-08-30·10009 字·20 分钟

LLM LLM FFN MLP SwiGLU 知识编辑 ROME 可解释性

论文里程碑 #16：GloVe: Global Vectors for Word Representation

2026-08-23·7320 字·15 分钟

LLM LLM 论文里程碑 GloVe 词向量 Word2Vec 共现矩阵 Pennington

22 推理是串行的：Prefill 与 Decode 的两阶段

2026-08-23·8973 字·18 分钟

LLM LLM 推理 Prefill Decode KV Cache TTFT TPOT Batching

论文里程碑 #15：Convolutional Neural Networks for Sentence Classification

2026-08-16·9309 字·19 分钟

LLM LLM 论文里程碑 TextCNN CNN 文本分类词向量 Kim

21 多头注意力的现代变体：MHA → MQA/GQA → MLA

2026-08-16·12575 字·26 分钟

LLM LLM Attention MHA MQA GQA MLA KV Cache 推理优化