Now reading 01/10 L3 Training 从 REINFORCE 到 GRPO
形式化建模：RL 是当前策略分布上的 reward-tilting 与 KL 正则投影从策略梯度、轨迹级 KL 正则化和状态级局部策略改进入手，推导 RL 中 reward-tilted Gibbs 分布与 Boltzmann teacher。
2026-06-07 12:00
Deadlines · 截稿
data: ccfddl · built 2026-11-14
Research研究方向
- L6 Agent Agent harness：上下文管理、工具调用的分发与归一化、长时运行的 agent loop。
- L5 Runtime 运行时：沙箱隔离（容器、microVM）、工具网关，以及并发下的正确性。
- L4 Model 模型机制：Attention、KV Cache 的压缩与检索、稀疏自编码器与可解释性。
- L3 Training 后训练：策略梯度、PPO 与 GRPO，用 KL 投影统一看 SFT 和 RL。
- L2 Systems 系统：FUSE 虚拟文件系统、Monorepo 与 Buck2 构建、性能剖析。
News近况
- 2026-11 网站改版：文章按 Agent × Infra 的六层栈重新组织，戴耳机的小白鼠住进来了。
- 2026-06 「形式化建模」两篇：SFT 是前向 KL 投影，RL 是 reward-tilting 与 KL 正则投影。
- 2026-05 写完从 REINFORCE、PPO 到 GRPO 的策略梯度系列。
- 2026-04 RoPE 讲义上线，41 页，附 PDF。
- 2026-03 开始连载「Attention 机制完全指南」，计划 16 讲。
- 2026-03 Harness Engineering 系列：Agent 系统设计、CCContext、Tool Gateway。
- 2025-12 Claude Agent SDK 源码系列，以及 Dicfuse / Buck2 的五篇深度复盘。
- 2025-11 博客从 Hexo 迁移到 Astro。
The Stack写作轨迹
L6 Agent → L1 Math ML ICLR
NeurIPS MLSys OSDI
SOSP Systems
NeurIPS MLSys OSDI
SOSP Systems
Series连载
按顺序读的成组文章 L4 Model L3 Training L6 Agent L2 Systems
Attention 机制完全指南
16 讲，从“为什么需要 Attention”一路讲到工程实现。
- Attention 机制完全指南：16 讲从直觉到工程
- Attention 01：为什么需要 Attention
- Attention 02：从查资料直觉理解 Q K V
从 REINFORCE 到 GRPO
策略梯度、PPO、GRPO，再用 KL 投影统一看 SFT 和 RL。
- 从 REINFORCE 到 PPO
- 从普通 RL 到 GRPO
- 理解 GRPO 的 7 个元维度
Coding Agent 源码拆解
Claude Agent SDK、Claude Code 的工具与上下文，以及 oh-my-codex 的 Ralph Loop。
- Claude Agent SDK 源码与实战（一）：整体架构与快速上手
- Claude Agent SDK 安全篇：权限、Hook 与 Sandbox
- Claude Agent SDK vs Google ADK: 两种 Agent 开发范式的深度对比
FUSE × Buck2 深度复盘
Mega 的虚拟文件系统上，异步阻塞、测试超时、copy-up 与 ESTALE 的排查记录。
- Scorpio：基于 FUSE 的 Monorepo 虚拟文件系统
- 深度复盘：FUSE 文件系统开发中的阻塞陷阱与异步优化
- 深度复盘：Dicfuse 测试超时问题调试全记录
Writing文章
全部 71 篇 →- 07 JUN 2026 · TRAINING 形式化建模：RL 是当前策略分布上的 reward-tilting 与 KL 正则投影 从策略梯度、轨迹级 KL 正则化和状态级局部策略改进入手，推导 RL 中 reward-tilted Gibbs 分布与 Boltzmann teacher。 从 REINFORCE 到 GRPO
- 06 JUN 2026 · TRAINING 形式化建模：SFT 是外部数据分布上的前向 KL 投影 把自回归语言模型写成有限时域决策过程，并推导 SFT 目标在外部数据分布上的前向 KL 分解、最优解和 logits 梯度。 从 REINFORCE 到 GRPO
- 24 MAY 2026 · MODEL 注意力熵与动态拓扑：从信息路由到隧道视野 把自注意力看成输入依赖的动态图，用香农熵刻画信息路由宽度，并解释低熵注意力何时有利、何时会造成隧道视野。
- 24 MAY 2026 · MODEL Softmax 的几何本质：从相对优势到概率单纯形 从平移不变性、log-odds、log-sum-exp、最大熵优化和 Jacobian 出发，看 softmax 如何把 logit 的相对结构变成注意力中的概率竞争。
- 21 MAY 2026 · MODEL Post-LN Transformer 为什么需要 Warmup？ 从 LayerNorm 反向传播和平均场尺度分析出发，解释 Post-LN 初始化阶段的层间梯度失衡以及 warmup 的作用。 ICML ’20
- 21 MAY 2026 · MODEL 从谱半径到随机 Jacobian 连乘 从 Gelfand 谱半径公式、标量随机乘积和 Furstenberg-Kesten 定理出发，把 Transformer 梯度传播写成随机 Jacobian 乘积的指数率问题。
- 15 MAY 2026 · TRAINING 从普通 RL 到 GRPO 把普通 RL、最大熵 RL、Policy Gradient、PPO 和 GRPO 放在同一条主线上，理解回报、熵、概率比、clip、critic 与组内相对优势。 从 REINFORCE 到 GRPO
- 14 MAY 2026 · TRAINING 从 REINFORCE 到 PPO 从 MDP 单步概率出发，推导策略梯度、reward-to-go、baseline、advantage、Actor-Critic、GAE，以及 PPO 的 ratio 与 clip。 从 REINFORCE 到 GRPO
- 13 MAY 2026 · TRAINING 高斯策略 从高斯分布、归一化常数和最大熵原理出发，推导连续动作空间里的高斯策略公式。 从 REINFORCE 到 GRPO
- 11 MAY 2026 · MATH 正态分布公式的理论推导 从误差模型、函数方程、高斯积分和线性变换推导正态分布公式，并解释归一化常数、参数意义和三西格玛法则。
- 10 MAY 2026 · TRAINING 理解 GRPO 的 7 个元维度 从 PPO 的 critic 成本讲起，推导 GRPO 如何用同题多答案的组内相对奖励替代 value baseline，并用 clipping 与 KL 稳定更新。 从 REINFORCE 到 GRPO
- 09 MAY 2026 · MATH 从极大似然到最小二乘 从残差为什么不能直接相加讲起，解释为什么选择平方误差，以及正态误差假设如何通过极大似然推出最小二乘。
- 07 MAY 2026 · MATH LASSO 教材 LASSO 教材 lecture · PDF
- 07 MAY 2026 · MATH 数学工具集合 用可推出性串起现代数学总纲，再把最小二乘、Ridge、LASSO、KKT、对偶间隙等工具整理成路线图。
- 07 MAY 2026 · MATH 数学工具 2：Ridge 问题 把 Ridge regression 写成最小二乘加 L2 正则项的问题，解释它惩罚什么、为什么更稳定、解析解如何推导，以及和 LASSO 的区别。
- 07 MAY 2026 · MODEL SAE 深入理解：从 Superposition 到机制诊断 从重构、稀疏字典、superposition 和干预验证角度理解 Sparse Autoencoder：它如何把混合 activation 转化为可检验的 feature 假设。
- 02 MAY 2026 · MODEL 注意力机制中的 Index：从位置下标到预算检索 从普通 attention 的位置索引、DeepSeek 的 lightning indexer 和 GLM-5/5.1 的 DSA index 配置出发，将 index 理解为读写地址、相关性打分、top-k 路由和训练约束的组合问题。
- 02 MAY 2026 · MODEL KV Cache 的 Prefill、Decode、驱逐与量化：从缓存追加到误差形态 从历史 KV、query prefill、逐步 decode、KV 驱逐和 KV 量化出发，将 cache 理解为沿序列追加的可见记忆，并区分集合近似与数值近似。
- 30 APR 2026 · MODEL DeepSeek-V4 的 KV 压缩：从删 token 误解到预算检索 从 CSA、HCA 和 SWA 的分工出发，将 DeepSeek-V4 的百万上下文注意力理解为带预算的检索、压缩与端到端损失最小化问题。 tech report
- 28 APR 2026 · MODEL RoPE（旋转位置编码）讲义：从问题到工程实践 一份 41 页 RoPE 讲义，沿着问题、对象、约束、形式定义、引理、定理、例子和工程实践，系统理解旋转位置编码。 lecture · PDF
- 28 APR 2026 · MATH 机器学习理论论文 LaTeX 通用素材库 整理机器学习与 Transformer 理论论文常用写法，覆盖研究问题、定义、定理、引理、公式解释、正文过渡与写作检查清单。
- 28 APR 2026 · MODEL Transformer / LLM 机制型论文写作素材库 整理机制解释型 Transformer / LLM 论文的常用叙事、标题、摘要、引言、理论分析、实验验证和结论模板。
- 27 APR 2026 · NOTES 通用领域学习一页纸：核心方法 一个简练的领域学习模板：用问题、对象、边界、例子和最终压缩，把碎片知识整理成可调用的内部模型。
- 15 APR 2026 · TRAINING RL 对齐算法学习笔记：从 PPO 到 DAPO 的演进全景 一份系统梳理 RL 对齐算法的学习笔记，覆盖 PPO → DPO → GRPO → GSPO → DAPO 的演进脉络、核心对比、工程选型与知识卡片模板。
- 08 APR 2026 · TRAINING 强化学习自学教程：从表格方法到大模型对齐 一份教科书级的 RL 全景教程，覆盖 Q-Learning → DQN → PPO → SAC → 离线 RL → 世界模型 → RLHF/DPO/GRPO → Agentic RL。每个概念附直觉解释、公式推导、伪代码和实例。60+ 篇论文附 arXiv 链接。 lecture · PDF
- 02 APR 2026 · AGENT 代码拆解：oh-my-codex 是如何实现 Ralph Loop 的 oh-my-codex 里的 Ralph loop 并不是简单的 while true。代码层面对应的是一个由提示词契约、持久化状态、Turn Hook 与后台 Watcher 共同构成的持久化执行框架。 Coding Agent 源码拆解
- 24 MAR 2026 · MODEL Transformer 逐层解剖：从 Token 到 Logits 的完整维度推导 用矩阵维度追踪一个 token 如何经过 embedding、多层 Attention + FFN、到最终 logits，彻底看清层与层之间传递的到底是什么。
- 23 MAR 2026 · AGENT Transformer 的持续控制状态：KV Cache 与残差流如何塑造 Agent 决策 从现象锚定、反例缩因、toy 直觉到因果干预，拆解 system prompt、tool schema 和 plan 如何持续影响 Agent 决策。
- 18 MAR 2026 · RUNTIME Tool Gateway Runtime：代码中涉及的设计模式与架构模式 结合 dispatch_envelope_demo.py，说明 Adapter、Strategy、Registry、Command、State Machine、Facade 与 Anti-Corruption Layer 在实现中的对应位置，并区分经典设计模式与架构模式。
- 18 MAR 2026 · AGENT Tool Call Dispatch：从 Normalize 到 Gateway Adapter 的统一分发设计 从零构建双层 runtime：一层统一 OpenAI、Claude、Codex 的工具调用信封，一层用 adapter/route 把 Claude、OpenAI、Gemini 等 provider 网关串起来。
- 17 MAR 2026 · AGENT Agent 系统设计：LLM 的固有缺陷与 Harness 工程实践 从精确计算盲区、幻觉、上下文窗口、Harness Engineering、Agent Loop 架构到工具设计——系统梳理 LLM 的固有局限，结合 Anthropic、OpenAI、LangChain 的一线工程实践，给出 Agent 系统的完整设计方案。
- 17 MAR 2026 · AGENT CCContext 深度解析：Coding Agent 的运行内存与数据总线 基于 learn-claude-code 开源项目，从消息存储、Token 账本、原子块压缩到 Re-fetch 兜底——拆解 Coding Agent 上下文管理的核心设计。 Coding Agent 源码拆解
- 17 MAR 2026 · AGENT Harness Engineering：LangChain 不换模型、只改环境，从 Top 30 到 Top 5 拆解 LangChain 在 Terminal Bench 2.0 上从 52.8% 到 66.5% 的全部技术细节——5 个失败模式、4 层中间件、推理三明治策略，以及 OpenAI 和 Anthropic 同时得出的相同结论。
- 16 MAR 2026 · MODEL Attention 01：为什么需要 Attention 从长距离依赖、固定长度瓶颈和动态信息需求出发，理解 Attention 机制到底在解决什么问题。 Attention 机制完全指南
- 16 MAR 2026 · MODEL Attention 02：从查资料直觉理解 Q K V 把 Attention 解释成一次软检索：Query 是你的问题，Key 是索引，Value 是内容。 Attention 机制完全指南
- 16 MAR 2026 · MODEL Attention 03：单头注意力的完整计算流程 从一个 3 词短句出发，手推 Attention 公式的每一步维度和数值。 Attention 机制完全指南
- 16 MAR 2026 · MODEL Attention 04：为什么 QKᵀ 表示词与词的关系 点积的几何意义、为什么不能用 XXᵀ、以及 Attention 学到的'关系'到底是什么。 Attention 机制完全指南
- 16 MAR 2026 · MODEL Attention 05：softmax 为什么会变成注意力权重 非负、归一化、放大差异但不绝对独占——softmax 如何把分数变成信息分配比例。 Attention 机制完全指南
- 16 MAR 2026 · MODEL Attention 机制完全指南：16 讲从直觉到工程 一套完整的 Attention 学习路径，覆盖直觉、公式、变体和工程实现。 Attention 机制完全指南
- 31 JAN 2026 · SYSTEMS ESTALE / StaleNetworkFileHandle Root Cause Analysis 深入分析 ESTALE (errno 116, StaleNetworkFileHandle) 错误在 Antares/Dicfuse 虚拟文件系统中的根本原因、触发链路及修复方案。涵盖 libfuse-fs 的 open_by_handle_at 机制、Dicfuse 目录刷新逻辑，以及短期缓解与长期修复策略。 FUSE × Buck2 深度复盘
- 23 JAN 2026 · SYSTEMS Orion × Buck2：mount_path 语义统一与验证闭环的深度复盘 从 .buckconfig 缺失导致 Cell Resolver 失败，到 mount_path 语义一致化改造的全过程记录 FUSE × Buck2 深度复盘
- 06 JAN 2026 · SYSTEMS 系统设计哲学 把系统当作一套“维持不变量的制度”，而不是一堆“实现功能的代码”。
- 27 DEC 2025 · NOTES 年度文章总结 pg
- 26 DEC 2025 · NOTES 我的2025 记录我的2025年
- 19 DEC 2025 · AGENT 谁在为 Claude Code 买单？解析 AI 时代的开发者价值再分配 以经济学"价值流向稀缺性"为核心，深度解析 Claude Code 等 AI 工具如何重塑软件开发的价值象限、稀缺角色以及 10 倍开发者的底层逻辑。
- 17 DEC 2025 · SYSTEMS 深度复盘：Buck2 SQLite xShmMap 与 OverlayFS Copy-up 故障 一次看似 SQLite xShmMap I/O error 的问题，最终根因是 libfuse-fs 0.1.8 缺少 Layer trait 元数据 API，导致 OverlayFS copy-up 失败。完整复盘触发条件、调用链、根因、修复与验证。 FUSE × Buck2 深度复盘
- 17 DEC 2025 · SYSTEMS 深度复盘：Buck2 在 Antares/Dicfuse 挂载上的构建问题调试全记录 本文详细复盘了 Buck2 在 Antares Overlay FUSE 挂载上构建失败问题的完整调试过程，从问题发现、根因分析到最终解决方案，系统性地总结了 FUSE 文件系统开发中 Layer trait 实现的常见陷阱和最佳实践。 FUSE × Buck2 深度复盘
- 15 DEC 2025 · SYSTEMS 深度复盘：FUSE 文件系统开发中的阻塞陷阱与异步优化 深入分析 Dicfuse × Antares 在高并发构建下的挂载、锁、端口与异步问题，提炼可落地的最佳实践与调试方法论。 FUSE × Buck2 深度复盘
- 15 DEC 2025 · SYSTEMS 深度复盘：Dicfuse 测试超时问题调试全记录 本文详细复盘了 creates_dirs_and_placeholder_overlay 测试超时问题的完整调试过程，从问题发现、根因分析到最终解决方案，系统性地总结了 FUSE 文件系统测试中的常见陷阱和最佳实践。 FUSE × Buck2 深度复盘
- 13 DEC 2025 · RUNTIME 深度复盘：LightweightSandbox 竞态条件调试全记录 一次 heisenbug 的完整调试过程：从 pexpect 空输出到发现全局 ThreadPoolExecutor 共享导致的竞态条件，以及最终的解决方案演进。 postmortem
- 11 DEC 2025 · SYSTEMS ast-grep 源码阅读笔记 花了几天时间把 ast-grep 的源码过了一遍，记录一下核心模块的设计思路和一些有意思的实现细节。 code reading
- 11 DEC 2025 · SYSTEMS Scorpio：基于 FUSE 的 Monorepo 虚拟文件系统 系统拆解 Mega 项目中的 Scorpio 模块：FUSE 原理、Overlay 分层设计、按需加载的实现，以及面向 CI/CD 的 Antares 构建隔离方案。 FUSE × Buck2 深度复盘
- 09 DEC 2025 · SYSTEMS Monorepo 详解：从理念到 Mega 实践 深入理解 Monorepo 的核心价值、技术挑战，以及为什么普通团队需要类似 Google Piper 的基础设施。介绍开源方案 Mega 如何填补这一空白。
- 09 DEC 2025 · SYSTEMS IPC：进程间通信详解 从管道、消息队列到共享内存、Socket 与 RPC，系统性梳理进程间通信（IPC）的核心实现方式、原理与选型。
- 06 DEC 2025 · RUNTIME Claude Agent SDK 安全篇：权限、Hook 与 Sandbox 从安全工程和平台治理的视角，拆解 Claude Agent SDK 里的工具权限系统、Hook 回调机制和 Bash Sandbox 配置，结合源码和实战用法，聊聊怎么在让 Claude 真正“动手”时，做到事前可控、事中可观、事后可查。 Coding Agent 源码拆解
- 06 DEC 2025 · AGENT Claude Code 工具系统：内置工具的实现剖析 深入解析 Claude Code 的内置工具系统，包括 Bash、Grep、Glob、Read、Write、Edit 等核心工具的设计理念与实现细节。 Coding Agent 源码拆解
- 06 DEC 2025 · AGENT Claude Agent SDK vs Google ADK: 两种 Agent 开发范式的深度对比 深入源码对比 Anthropic 的 Claude Agent SDK 与 Google 的 Agent Development Kit (ADK)。从通信架构（IPC vs 直接调用）到沙箱实现（Bash vs Docker），揭示两种截然不同的 Agent 构建哲学。 Coding Agent 源码拆解
- 05 DEC 2025 · AGENT Claude Agent SDK 源码与实战（一）：整体架构与快速上手 从使用者视角出发，先跑通 Claude Agent SDK 的最小示例，再从项目结构和抽象设计上看清这套 Python SDK 在解决什么问题。 Coding Agent 源码拆解
- 05 DEC 2025 · AGENT 2025 AI SDK 调研报告：从直连模型到 Agent 编排 面对琳琅满目的 AI SDK，如何选择？本文通过“三层心智模型”拆解 Claude Agent SDK、OpenAI Agents SDK、Vercel AI SDK 等主流工具的定位与差异，助你做出正确的架构选型。
- 04 DEC 2025 · RUNTIME E2B 源码分析（二）：SDK 设计 从 SDK 视角拆解 E2B 的 JavaScript/Python 客户端：如何封装 Sandbox/Template 抽象、对接控制平面 API 和 ENVD RPC，并在多语言之间保持对称设计。 code reading
- 04 DEC 2025 · RUNTIME E2B 源码分析（一）：架构总览与核心概念 深入剖析 E2B 开源沙箱平台的整体架构、核心组件与技术选型，理解 AI Agent 安全执行环境的设计思路。 code reading
- 03 DEC 2025 · AGENT 翻译：Anthropic——打造高效 Agent 的实践指南 翻译自 Anthropic 工程博客，系统总结了 Agent 的定义、常见架构模式、实用建议与最佳实践。 translation
- 03 DEC 2025 · AGENT 翻译：Anthropic——用 MCP 实现高效 Agent 的代码执行 翻译自 Anthropic 工程博客，介绍如何通过代码执行和 MCP 协议提升 Agent 的效率、节省 Token、增强安全性和可扩展性。 translation
- 03 DEC 2025 · AGENT Anthropic：Claude 高级工具使用详解 翻译自 Anthropic 工程博客，介绍 Claude 的三大高级工具使用特性：工具搜索、编程式工具调用和工具使用示例。 translation
- 03 DEC 2025 · AGENT DeepSeek-V3.2：将思维过程整合到工具使用中 DeepSeek-V3.2 模型实现卓越 Agentic 能力的关键技术突破：思维上下文管理、冷启动机制及大规模 Agentic 任务合成。
- 03 DEC 2025 · AGENT Git Worktrees in AI ERA Git Worktree 是 AI 时代并行开发的关键技术，让你从串行任务切换者转变为并行编排者。
- 03 DEC 2025 · MODEL OpenAI：用 SAE 潜在归因调试模型对齐问题 翻译自 OpenAI Alignment 博客，介绍如何利用 SAE 潜在归因（Latent Attribution）技术定位和调试大模型的对齐问题。 translation
- 03 DEC 2025 · AGENT 翻译：OpenAI：A Practical Approach to Verifying Code at Scale 翻译自 OpenAI Alignment Blog，探讨如何训练专用的 AI 代码审查器，以及在大规模部署中的实践经验。 translation
- 03 DEC 2025 · RUNTIME 沙箱技术（一）：从 chroot 到 Serverless/AI 的统一时间线 梳理从 Unix chroot 到容器、Wasm、Serverless，再到 AI 时代多层沙箱与 Agent 编排的演进脉络。
- 30 NOV 2025 · AGENT Claude Code 生态项目整理 整理自X @axtrur 分享的 Claude Code 生态项目，包含开发工具、转换工具、分析工具等。
- 07 JAN 2025 · SYSTEMS Go Trace + PProf 性能分析理论（一） 深入解析 Go 运行时 GMP 调度模型，通过 trace、pprof 组合分析 P utilization、sched wait、syscall/cgo 等指标，快速定位 CPU 饱和、M 不足、锁竞争等性能瓶颈。
- 没有匹配的文章。换个关键词，或者点 ALL 清除筛选。
71 posts