18 归一化的选择:LayerNorm → RMSNorm,Pre-LN vs Post-LN2026-07-27·7936 字·16 分钟LLM LLM 归一化 LayerNorm RMSNorm Pre-Norm 残差流 训练稳定性 Transformer
论文里程碑 #11:Distributed Representations of Words and Phrases and Their Compositionality2026-07-19·4950 字·10 分钟LLM LLM 论文里程碑 Word2Vec 负采样 子采样 词向量 Skip-Gram Mikolov
经典作品拆解 #11:Behind the Gare Saint-Lazare(圣拉扎尔站后面)2026-07-19·5223 字·11 分钟摄影 摄影 经典作品 摄影史 Henri Cartier-Bresson 决定性瞬间 街头摄影 构图 抓拍
17 一个 Transformer Block 的「最小骨架」2026-07-19·5024 字·11 分钟LLM LLM Transformer Decoder-Only 残差连接 归一化 Pre-Norm FFN 注意力
论文里程碑 #10:Efficient Estimation of Word Representations in Vector Space2026-07-12·4873 字·10 分钟LLM LLM 论文里程碑 Word2Vec 词向量 Skip-Gram CBOW 词类比 Mikolov
经典作品拆解 #10:Pepper No. 30(辣椒30号)2026-07-12·5063 字·11 分钟摄影 摄影 经典作品 摄影史 Edward Weston Pepper No. 30 直接摄影 Group F/64 静物
16 位置编码进化史:从正弦波到 RoPE 旋转位置编码2026-07-12·5803 字·12 分钟LLM LLM 位置编码 RoPE 旋转位置编码 正弦编码 相对位置 Self-Attention Transformer
论文里程碑 #9:Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation2026-07-03·4773 字·10 分钟LLM LLM 论文里程碑 GRU Encoder-Decoder Seq2Seq 机器翻译 RNN Cho
经典作品拆解 #9:Equivalents(等价物)2026-07-03·4700 字·10 分钟摄影 摄影 经典作品 摄影史 Alfred Stieglitz Equivalents 抽象摄影 直接摄影 影调