数学工具集合#
统计口径：一个工具 = 有明确输入、输出、用途，可以封装成独立函数或模块。
不把“标量、向量、矩阵”这类数据类型算作工具。
这个页面是静态目录版；可勾选的互动版本在 Roadmap 页面 的 数学工具集合 节点里。
主线地图#
这套工具围绕一条从“表示数据”走向“稳定、稀疏、可解释、可计算”的路线展开：
线性代数
↓
↓
最小二乘：
↓
发现问题：不稳定 / 过拟合 / 共线性
↓
Ridge：
↓
进一步问题：想要稀疏 / 特征选择 / 可解释
↓
LASSO：
↓
不光滑优化
↓
次梯度 / KKT / 对偶 / proximal algorithm
↓
sparse coding / dictionary learning / SAE
最核心的记忆法是四句话：
| 阶段 | 一句话 |
|---|---|
| 最小二乘 | 我要拟合好。 |
| Ridge | 我要拟合好，而且系数不要太大。 |
| LASSO | 我要拟合好，而且只用少数特征。 |
| 对偶 / KKT | 我要知道这些约束和惩罚为什么等价，以及最优解长什么样。 |
最终完整路线：
第一版：22 个核心工具#
| # | 工具 | 类型 | 文章 |
|---|---|---|---|
| 1 | 维度检查 | 检查工具 | 待写 |
| 2 | L1 / L2 / L0 / Frobenius 范数 | 度量工具 | 待写 |
| 3 | 残差计算 | 误差工具 | 待写 |
| 4 | 平方误差 | 目标函数 | 待写 |
| 5 | 普通最小二乘法 | 拟合 / 解析求解 | 待写 |
| 6 | 正规方程求解 | 线性方程求解 | 待写 |
| 7 | 伪逆最小二乘 | 最小范数解 | 待写 |
| 8 | Ridge 回归 | 正则化 / 解析求解 | 已写 |
| 9 | LASSO | 稀疏正则化 | 教材 |
| 10 | L0 支持集枚举 | 稀疏优化 | 待写 |
| 11 | 固定支持集最小二乘 | 子问题求解 | 待写 |
| 12 | Soft-thresholding | 算子 | 待写 |
| 13 | L1 近端算子 | 近端工具 | 待写 |
| 14 | 坐标下降 LASSO | 迭代算法 | 待写 |
| 15 | ISTA | 迭代算法 | 待写 |
| 16 | 正交设计 LASSO 闭式解 | 闭式解 | 待写 |
| 17 | LASSO KKT 检查 | 最优性检查 | 待写 |
| 18 | 拉格朗日函数构造 | 约束优化 | 待写 |
| 19 | KKT 条件检查 | 最优性检查 | 待写 |
| 20 | Slater 条件检查 | 强对偶检查 | 待写 |
| 21 | 对偶间隙计算 | 证书工具 | 待写 |
| 22 | LASSO 对偶可行点构造 | 最优性证书 | 待写 |
完整目录：58 个原子工具#
A. 基础线性代数与度量工具：12 个#
| # | 工具 | 输入 | 输出 |
|---|---|---|---|
| 1 | 维度检查 | 对象形状 | 是否匹配 |
| 2 | 转置 | 矩阵或向量 | 转置对象 |
| 3 | 点积 / 内积 | 两个向量 | 标量 |
| 4 | 向量线性组合 | 向量组、系数 | 新向量 |
| 5 | 矩阵乘向量 | 矩阵、向量 | 向量 |
| 6 | 矩阵乘矩阵 | 两个矩阵 | 矩阵 |
| 7 | L2 范数 | 向量 | 长度 |
| 8 | L2 平方范数 | 向量 | 平方长度 |
| 9 | L1 范数 | 向量 | 绝对值和 |
| 10 | L0 非零计数 | 向量 | 非零个数 |
| 11 | Frobenius 范数 | 矩阵 | 元素平方和开根号 |
| 12 | 残差计算 | x, D, h | r = x - Dh |
B. 最小二乘与矩阵求导工具：9 个#
| # | 工具 | 输入 | 输出 |
|---|---|---|---|
| 13 | 平方误差目标构造 | x, D, h | ` |
| 14 | 一维二次函数最小化 | 二次函数参数 | 最优点 |
| 15 | 梯度 / 矩阵求导 | 目标函数 | 梯度表达式 |
| 16 | 普通最小二乘法，OLS | D, x | h* |
| 17 | 正规方程求解 | D, x | D^T D h = D^T x 的解 |
| 18 | 最小二乘投影 / 残差正交检查 | D, x, h | 是否满足正交条件 |
| 19 | Moore-Penrose 伪逆解 | D, x | D^+ x |
| 20 | 固定支持集最小二乘 | D, x, S | 支持集 S 上的最小二乘解 |
| 21 | 多样本最小二乘 | X, D | H* |
C. 正则化与稀疏模型工具：10 个#
| # | 工具 | 输入 | 输出 |
|---|---|---|---|
| 22 | 通用正则化目标构造 | 损失项、正则项、系数 | 正则化目标 |
| 23 | Ridge 回归 | D, x, lambda | h* |
| 24 | LASSO 惩罚形式 | D, x, lambda | 稀疏系数 |
| 25 | LASSO 约束形式 | D, x, tau | 稀疏系数 |
| 26 | 基追踪去噪，BPDN | D, x, epsilon | 稀疏表示 |
| 27 | L0 稀疏优化 / 支持集枚举 | D, x, k | k-稀疏解 |
| 28 | 支持集 / 稀疏度提取 | 系数向量 | 支持集、稀疏度 |
| 29 | 正交设计下的 LASSO 闭式解 | D, x, lambda | 闭式稀疏解 |
| 30 | 多样本 LASSO / 稀疏编码 | X, D, lambda | 稀疏系数矩阵 |
| 31 | 字典学习 | X, k, lambda | 字典 D 与系数 H |
D. 凸优化、非光滑优化与算法工具：11 个#
| # | 工具 | 输入 | 输出 |
|---|---|---|---|
| 32 | 凸集 / 凸函数检查 | 集合或函数 | 是否凸 |
| 33 | 凸性组合规则 | 函数组合 | 是否保持凸性 |
| 34 | 子梯度计算器 | 非光滑函数 | 子梯度集合 |
| 35 | 绝对值函数子梯度 | 标量 | 子梯度 |
| 36 | L1 范数子梯度 | 向量 | 子梯度向量 |
| 37 | LASSO 最优性条件检查 | D, x, h, lambda | 是否最优 |
| 38 | Soft-thresholding 软阈值算子 | z, lambda | S_lambda(z) |
| 39 | L1 近端算子 | z, lambda | prox 结果 |
| 40 | 坐标下降法求 LASSO | D, x, lambda | 稀疏解 |
| 41 | ISTA，迭代软阈值算法 | D, x, lambda, step | 稀疏解 |
| 42 | Lipschitz 步长选择 | 目标函数梯度 | 合法步长 |
E. 拉格朗日、KKT、对偶与证书工具：16 个#
| # | 工具 | 输入 | 输出 |
|---|---|---|---|
| 43 | 拉格朗日函数构造 | 目标、约束、乘子 | 拉格朗日函数 |
| 44 | 等式约束拉格朗日乘子法 | 目标、等式约束 | 候选最优解 |
| 45 | 不等式约束 KKT 求解 | 目标、不等式约束 | KKT 候选解 |
| 46 | 对偶函数构造 | 拉格朗日函数 | 对偶函数 |
| 47 | 对偶问题构造 | 原问题 | 对偶问题 |
| 48 | 弱对偶下界计算 | 对偶可行点 | 原问题下界 |
| 49 | 对偶间隙计算 | 原值、对偶值 | gap |
| 50 | Slater 条件检查 | 凸问题、约束 | 是否满足 Slater |
| 51 | 通用 KKT 系统检查 | 原变量、对偶变量 | 是否满足 KKT |
| 52 | 硬约束到惩罚项转换 | 约束问题 | 惩罚形式 |
| 53 | LASSO 对偶问题构造 | LASSO 原问题 | LASSO 对偶 |
| 54 | LASSO 对偶的投影形式 | 残差、约束集 | 投影表达 |
| 55 | 原变量—对偶变量关系转换 | 原变量、残差 | 对偶变量 |
| 56 | Fenchel 共轭计算 | 函数 | 共轭函数 |
| 57 | Fenchel 对偶构造 | 原问题 | Fenchel 对偶 |
| 58 | 从残差构造对偶可行点 / 最优性证书 | 残差、字典、正则强度 | 对偶可行点 |
工具卡片字段#
每篇工具文章统一保留这些字段：
| 字段 | 内容 |
|---|---|
| 工具名 | 这个工具叫什么 |
| 类型 | 模型、算子、检查器、解析求解、迭代算法或证书 |
| 输入 | 调用这个工具需要什么 |
| 输出 | 工具返回什么 |
| 公式 | 最小核心公式 |
| 依赖工具 | 需要先掌握哪些工具 |
| 用途 | 它通常解决什么问题 |