18 归一化的选择:LayerNorm → RMSNorm,Pre-LN vs Post-LN2026-07-27·7936 字·16 分钟LLM LLM 归一化 LayerNorm RMSNorm Pre-Norm 残差流 训练稳定性 Transformer
17 一个 Transformer Block 的「最小骨架」2026-07-19·5024 字·11 分钟LLM LLM Transformer Decoder-Only 残差连接 归一化 Pre-Norm FFN 注意力