JERRY ZHANGUCAS · IIEBEIJING

Agent × Infra
全栈研究笔记。 AI Accelerators, LLM Training Infra, Sandbox Runtimes & Agent Harness.

GPU / NPU KERNELS HPC & DISTRIBUTED SYS LLM POST-TRAINING FUSE / RUNTIME

按 L6 Agent → L1 Math 六层栈记录从 GPU/NPU 算子与分布式训练底座、FUSE 文件系统与沙箱运行时,到模型机制与 Agent Harness 的源码拆解与第一性原理推导。

“所以,你要做的,就是增加自己被运气青睐的概率……终极大奖就是寻找到缝隙中那根有可能生长出来的枝杈。你发现了知识表层的裂缝,将它破开,而后洞见了一个崭新的世界。”

— PAUL GRAHAM · 保罗·格雷厄姆
~/jerry609 ♪ PLAYING
RISOBOIL · 10FPS 如其所是
jerry609 > reading-queue > 01 / 10 从 REINFORCE 到 GRPO

L3 Training 2026-06-07

形式化建模:RL 是当前策略分布上的 reward-tilting 与 KL 正则投影

从策略梯度、轨迹级 KL 正则化和状态级局部策略改进入手,推导 RL 中 reward-tilted Gibbs 分布与 Boltzmann teacher。

▶
QUEUE 12:00

Teardown Lab可拆解 GPU / NPU AI 加速器 3D 机台

WEBGL PBR · GPU ⇄ NPU · CLICK 3D PART TO INSPECT
AI Accelerator · B200-SXM Dual-Reticle GPU Teardown
BF16 1,979 TFLOPS PEAK · 8× HBM3E 8.0 TB/S · 10 TB/S NV-HBI · 2.5D CoWoS-L
THROUGHPUT COMPUTE-BOUND
1,680
TFLOPS · BF16 TENSOR CORES
HBM3E BW
6.84 TB/s
ARITH INTENS
344 OP/B
MFU UTIL
84.9%
L2 / SRAM HIT
74%
NVLINK 5.0
288 GB/s
POWER / DIE
845W · 66°C
ROOFLINE · LOG-LOG
1 OP/BRIDGE 2472000 OP/B
BATCH SIZE (B)32
EXPLODE GAP12%
COMPUTE HBM3E/IO CoWoS/UB KV/VEC
GPU · HALF CUTAWAY
DRAG TO ORBIT 3D · SCROLL TO ZOOM · CLICK ANY 3D HARDWARE BLOCK TO ISOLATE
WORKLOADREAL-TIME
CUTAWAYOPEN UP
CAMERA VIEWORBIT
PIPELINE TELEMETRY φ 048°

GPU Prefill (B=32, BF16):大矩阵 GEMM 算术强度 344 OP/B,5th-Gen Tensor Core 与 10 TB/s NV-HBI 桥接进入高 MFU 算力区。

OVERLAYS & STACK MAP

The Stack写作轨迹

L6 AGENT → L1 MATH · CLICK LAYER TO FILTER
ML ICLR
NeurIPS
MLSys OSDI
SOSP
Systems
Fig. 1 68 篇文章按所在栈层(纵轴)与发布日期(横轴)排布,另有 3 篇随笔未计入;右侧是这几层通常投稿的会议,从 ML 一直到系统。点击左侧层名可筛选下方列表。 2025-01 → 2026-06

Research研究方向

L6 → L2
  • L6 Agent Agent harness:上下文管理、工具调用的分发与归一化、长时运行的 agent loop。
  • L5 Runtime 运行时:沙箱隔离(容器、microVM)、工具网关,以及并发下的正确性。
  • L4 Model 模型机制:Attention、KV Cache 的压缩与检索、稀疏自编码器与可解释性。
  • L3 Training 后训练:策略梯度、PPO 与 GRPO,用 KL 投影统一看 SFT 和 RL。
  • L2 Systems 系统与加速:GPU/NPU 算子优化、FUSE 虚拟文件系统、Monorepo 与 Buck2 构建、性能剖析。

Series专题连载

按顺序读的成组文章 · 4 SERIES

Writing文章

全部 71 篇 →
71 posts