jerry609
文章
数学
算法
碎碎念
照片
搜索
⌘K
切换主题
菜单
文章
数学
算法
碎碎念
照片
其他
友链
归档
标签
Tags
1 posts
#paper-reading
2026-05-21
Post-LN Transformer 为什么需要 Warmup?
从 LayerNorm 反向传播和平均场尺度分析出发,解释 Post-LN 初始化阶段的层间梯度失衡以及 warmup 的作用。
L4 Model