jerry609
文章
数学
算法
碎碎念
照片
搜索
⌘K
切换主题
菜单
文章
数学
算法
碎碎念
照片
其他
友链
归档
标签
Tags
2 posts
#optimization
2026-05-21
Post-LN Transformer 为什么需要 Warmup?
从 LayerNorm 反向传播和平均场尺度分析出发,解释 Post-LN 初始化阶段的层间梯度失衡以及 warmup 的作用。
L4 Model
2026-05-21
从谱半径到随机 Jacobian 连乘
从 Gelfand 谱半径公式、标量随机乘积和 Furstenberg-Kesten 定理出发,把 Transformer 梯度传播写成随机 Jacobian 乘积的指数率问题。
L4 Model