24 MoE(Mixture of Experts):稀疏激活与路由策略2026-09-09·11672 字·24 分钟LLM LLM MoE 稀疏激活 路由 Mixtral DeepSeek 负载均衡
论文里程碑 #17:Neural Machine Translation by Jointly Learning to Align and Translate2026-08-30·8477 字·17 分钟LLM LLM 论文里程碑 Attention Bahdanau 机器翻译 Seq2Seq 对齐
论文里程碑 #16:GloVe: Global Vectors for Word Representation2026-08-23·7320 字·15 分钟LLM LLM 论文里程碑 GloVe 词向量 Word2Vec 共现矩阵 Pennington
22 推理是串行的:Prefill 与 Decode 的两阶段2026-08-23·8973 字·18 分钟LLM LLM 推理 Prefill Decode KV Cache TTFT TPOT Batching
论文里程碑 #15:Convolutional Neural Networks for Sentence Classification2026-08-16·9309 字·19 分钟LLM LLM 论文里程碑 TextCNN CNN 文本分类 词向量 Kim
21 多头注意力的现代变体:MHA → MQA/GQA → MLA2026-08-16·12575 字·26 分钟LLM LLM Attention MHA MQA GQA MLA KV Cache 推理优化
论文里程碑 #14:Sequence to Sequence Learning with Neural Networks2026-08-09·5612 字·12 分钟LLM LLM 论文里程碑 Seq2Seq LSTM 机器翻译 Encoder-Decoder Sutskever
20 Attention 在算什么:Q/K/V、Softmax 与 O(N²)2026-08-09·7931 字·16 分钟LLM LLM Attention Q/K/V Softmax 自注意力 KV Cache 复杂度 Transformer
论文里程碑 #13:Dropout: A Simple Way to Prevent Neural Networks from Overfitting2026-08-01·8090 字·17 分钟LLM LLM 论文里程碑 Dropout 正则化 过拟合 集成学习 Hinton Srivastava
19 训练是并行的:Teacher Forcing 与 Causal Mask2026-08-01·7263 字·15 分钟LLM LLM Teacher Forcing Causal Mask 并行训练 自回归 Exposure Bias Transformer
论文里程碑 #12:Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank2026-07-27·6690 字·14 分钟LLM LLM 论文里程碑 SST RNTN 情感分析 组合性 句法树 Socher