Page 1 - Showing 8 of 55 posts
View all posts by years →
- 置顶通用领域学习一页纸：核心方法
一个简练的领域学习模板：用问题、对象、边界、例子和最终压缩，把碎片知识整理成可调用的内部模型。
5 min zh-CN - 注意力机制中的 Index：从位置下标到预算检索
从普通 attention 的位置索引、DeepSeek 的 lightning indexer 和 GLM-5/5.1 的 DSA index 配置出发，将 index 理解为读写地址、相关性打分、top-k 路由和训练约束的组合问题。
30 min zh-CN - KV Cache 的 Prefill、Decode、驱逐与量化：从缓存追加到误差形态
从历史 KV、query prefill、逐步 decode、KV 驱逐和 KV 量化出发，将 cache 理解为沿序列追加的可见记忆，并区分集合近似与数值近似。
22 min zh-CN - DeepSeek-V4 的 KV 压缩：从删 token 误解到预算检索
从 CSA、HCA 和 SWA 的分工出发，将 DeepSeek-V4 的百万上下文注意力理解为带预算的检索、压缩与端到端损失最小化问题。
32 min zh-CN - RoPE（旋转位置编码）讲义：从问题到工程实践
一份 41 页 RoPE 讲义，沿着问题、对象、约束、形式定义、引理、定理、例子和工程实践，系统理解旋转位置编码。
9 min zh-CN - Transformer / LLM 机制型论文写作素材库
整理机制解释型 Transformer / LLM 论文的常用叙事、标题、摘要、引言、理论分析、实验验证和结论模板。
23 min zh-CN - 机器学习理论论文 LaTeX 通用素材库
整理机器学习与 Transformer 理论论文常用写法，覆盖研究问题、定义、定理、引理、公式解释、正文过渡与写作检查清单。
17 min zh-CN - RL 对齐算法学习笔记：从 PPO 到 DAPO 的演进全景
一份系统梳理 RL 对齐算法的学习笔记，覆盖 PPO → DPO → GRPO → GSPO → DAPO 的演进脉络、核心对比、工程选型与知识卡片模板。
21 min zh-CN