jerry609
文章
数学
算法
碎碎念
照片
搜索
⌘K
切换主题
菜单
文章
数学
算法
碎碎念
照片
其他
友链
归档
标签
Tags
2 posts
#机制分析
2026-05-24
注意力熵与动态拓扑:从信息路由到隧道视野
把自注意力看成输入依赖的动态图,用香农熵刻画信息路由宽度,并解释低熵注意力何时有利、何时会造成隧道视野。
L4 Model
2026-05-24
Softmax 的几何本质:从相对优势到概率单纯形
从平移不变性、log-odds、log-sum-exp、最大熵优化和 Jacobian 出发,看 softmax 如何把 logit 的相对结构变成注意力中的概率竞争。
L4 Model