Back
从 LayerNorm 反向传播和平均场尺度分析出发，解释 Post-LN 初始化阶段的层间梯度失衡以及 warmup 的作用。
transformer
layernorm
warmup
optimization
paper-reading