数学工具集合#

统计口径：一个工具 = 有明确输入、输出、用途，可以封装成独立函数或模块。
不把“标量、向量、矩阵”这类数据类型算作工具。

这个页面是静态目录版；可勾选的互动版本在 Roadmap 页面的 数学工具集合 节点里。

现代数学总纲#

一句话：数学是一套围绕“可推出性”运转的形式系统。它用定义制造对象，用假设限定世界，用证明管理必然结论，用反例划定边界。

\text{数学} = \text{对象集合} + \text{约束条件} \xrightarrow{\vdash} \text{必然结论 / 结构}

运转链条#

层级	内容	作用
0	语言与逻辑	命题演算、一阶逻辑、集合论，提供合法推理的底层语法。
1	对象与定义	圈定研究目标，例如群、流形、随机变量；消除无关因素，保留关键结构。
2	公理与假设	给对象施加基础约束，这是获得结论必须支付的假设代价。
3	命题网络	引理是技术跳板，定理是核心枢纽，推论是自然延伸。
4	反例与边界	证明当前约束不足以推出目标，即 $A \nvdash B$ ，从而划定适用范围。

概念七问#

对象：它研究的具体对象是什么？
动机：为什么要这样定义？
消除：这个定义屏蔽了哪些无关现实细节？
保留：这个定义提取了哪个核心数学结构？
约束：它依赖哪些底层假设？
推出：在这些假设下，能必然推出什么性质？
边界：哪些看似合理的结论推不出，反例是什么？

公式五维#

维度	检查问题
量纲	各项单位或含义是否统一？
尺度	输入等比例放大或缩小时，输出如何响应？
不变量	平移、旋转、仿射变换下，什么保持不变？
优化	公式是否对应某个目标函数的最优解或极值？
信息 / 概率	它是否量化不确定性、熵或代价？

数学价值观#

数学定理的品级，可以看作“假设代价”和“结论强度”之间的权衡。研究经常在做一件事：削弱假设，检查结论还能不能成立。

类型	结构	判断
证明	定义与假设 $\vdash$ 结论	验证结论没有偷加新经验或新信息。
平庸定理	强假设 $\Rightarrow$ 弱结论	条件苛刻，结果有限。
优秀定理	强假设 $\Rightarrow$ 强结论	例如全纯函数推出无限次可微。
伟大定理	弱假设 $\Rightarrow$ 强结论	例如中心极限定理，用较小代价获得普适结构。

四大版图#

分支	对象	约束	可推出性核心
代数学	集合中的元素	结合律、交换律、分配律、逆元是否存在	只假设运算规则，不依赖具体数字长相，能推出多少关于对称性的必然结论。群论由此诞生。
分析学	函数、序列	连续性、可微性、完备性、极限的存在性	约束空间没有“缝隙”，例如实数完备性，能推出函数在局部和全局的演化规律。微积分由此诞生。
几何与拓扑	空间、流形	距离、角度、连续拉伸下保持不变的性质	丢弃具体长短，只保留洞、连通性等拓扑约束，能推出空间本质的结论。拓扑学由此诞生。
概率与统计	随机事件、测度	概率之和为 1、独立性、分布的均值与方差	局部无序时，加上独立同分布这类弱约束，能在宏观上推出稳定的必然秩序。概率论由此诞生。

主线地图#

这套工具围绕一条从“表示数据”走向“稳定、稀疏、可解释、可计算”的路线展开：

线性代数

↓

$x \approx Dh$

↓

最小二乘： $\min_h \|x-Dh\|_2^2$

↓

发现问题：不稳定 / 过拟合 / 共线性

↓

Ridge： $\min_h \|x-Dh\|_2^2+\lambda\|h\|_2^2$

↓

进一步问题：想要稀疏 / 特征选择 / 可解释

↓

LASSO： $\min_h \|x-Dh\|_2^2+\lambda\|h\|_1$

↓

不光滑优化

↓

次梯度 / KKT / 对偶 / proximal algorithm

↓

sparse coding / dictionary learning / SAE

最核心的记忆法是四句话：

阶段	一句话
最小二乘	我要拟合好。
Ridge	我要拟合好，而且系数不要太大。
LASSO	我要拟合好，而且只用少数特征。
对偶 / KKT	我要知道这些约束和惩罚为什么等价，以及最优解长什么样。

最终完整路线：

\text{拟合} \rightarrow \text{稳定} \rightarrow \text{稀疏} \rightarrow \text{可解释} \rightarrow \text{可计算}

第一版：22 个核心工具#

#	工具	类型	文章
1	维度检查	检查工具	待写
2	L1 / L2 / L0 / Frobenius 范数	度量工具	待写
3	残差计算	误差工具	待写
4	平方误差	目标函数	已写
5	普通最小二乘法	拟合 / 解析求解	已写
6	正规方程求解	线性方程求解	待写
7	伪逆最小二乘	最小范数解	待写
8	Ridge 回归	正则化 / 解析求解	已写
9	LASSO	稀疏正则化	教材
10	L0 支持集枚举	稀疏优化	待写
11	固定支持集最小二乘	子问题求解	待写
12	Soft-thresholding	算子	待写
13	L1 近端算子	近端工具	待写
14	坐标下降 LASSO	迭代算法	待写
15	ISTA	迭代算法	待写
16	正交设计 LASSO 闭式解	闭式解	待写
17	LASSO KKT 检查	最优性检查	待写
18	拉格朗日函数构造	约束优化	待写
19	KKT 条件检查	最优性检查	待写
20	Slater 条件检查	强对偶检查	待写
21	对偶间隙计算	证书工具	待写
22	LASSO 对偶可行点构造	最优性证书	待写

完整目录：58 个原子工具#

A. 基础线性代数与度量工具：12 个#

#	工具	输入	输出
1	维度检查	对象形状	是否匹配
2	转置	矩阵或向量	转置对象
3	点积 / 内积	两个向量	标量
4	向量线性组合	向量组、系数	新向量
5	矩阵乘向量	矩阵、向量	向量
6	矩阵乘矩阵	两个矩阵	矩阵
7	L2 范数	向量	长度
8	L2 平方范数	向量	平方长度
9	L1 范数	向量	绝对值和
10	L0 非零计数	向量	非零个数
11	Frobenius 范数	矩阵	元素平方和开根号
12	残差计算	`x, D, h`	`r = x - Dh`

B. 最小二乘与矩阵求导工具：9 个#

#	工具	输入	输出
13	平方误差目标构造	`x, D, h`	`
14	一维二次函数最小化	二次函数参数	最优点
15	梯度 / 矩阵求导	目标函数	梯度表达式
16	普通最小二乘法，OLS	`D, x`	`h*`
17	正规方程求解	`D, x`	`D^T D h = D^T x` 的解
18	最小二乘投影 / 残差正交检查	`D, x, h`	是否满足正交条件
19	Moore-Penrose 伪逆解	`D, x`	`D^+ x`
20	固定支持集最小二乘	`D, x, S`	支持集 `S` 上的最小二乘解
21	多样本最小二乘	`X, D`	`H*`

C. 正则化与稀疏模型工具：10 个#

#	工具	输入	输出
22	通用正则化目标构造	损失项、正则项、系数	正则化目标
23	Ridge 回归	`D, x, lambda`	`h*`
24	LASSO 惩罚形式	`D, x, lambda`	稀疏系数
25	LASSO 约束形式	`D, x, tau`	稀疏系数
26	基追踪去噪，BPDN	`D, x, epsilon`	稀疏表示
27	L0 稀疏优化 / 支持集枚举	`D, x, k`	k-稀疏解
28	支持集 / 稀疏度提取	系数向量	支持集、稀疏度
29	正交设计下的 LASSO 闭式解	`D, x, lambda`	闭式稀疏解
30	多样本 LASSO / 稀疏编码	`X, D, lambda`	稀疏系数矩阵
31	字典学习	`X, k, lambda`	字典 `D` 与系数 `H`

D. 凸优化、非光滑优化与算法工具：11 个#

#	工具	输入	输出
32	凸集 / 凸函数检查	集合或函数	是否凸
33	凸性组合规则	函数组合	是否保持凸性
34	子梯度计算器	非光滑函数	子梯度集合
35	绝对值函数子梯度	标量	子梯度
36	L1 范数子梯度	向量	子梯度向量
37	LASSO 最优性条件检查	`D, x, h, lambda`	是否最优
38	Soft-thresholding 软阈值算子	`z, lambda`	`S_lambda(z)`
39	L1 近端算子	`z, lambda`	prox 结果
40	坐标下降法求 LASSO	`D, x, lambda`	稀疏解
41	ISTA，迭代软阈值算法	`D, x, lambda, step`	稀疏解
42	Lipschitz 步长选择	目标函数梯度	合法步长

E. 拉格朗日、KKT、对偶与证书工具：16 个#

#	工具	输入	输出
43	拉格朗日函数构造	目标、约束、乘子	拉格朗日函数
44	等式约束拉格朗日乘子法	目标、等式约束	候选最优解
45	不等式约束 KKT 求解	目标、不等式约束	KKT 候选解
46	对偶函数构造	拉格朗日函数	对偶函数
47	对偶问题构造	原问题	对偶问题
48	弱对偶下界计算	对偶可行点	原问题下界
49	对偶间隙计算	原值、对偶值	gap
50	Slater 条件检查	凸问题、约束	是否满足 Slater
51	通用 KKT 系统检查	原变量、对偶变量	是否满足 KKT
52	硬约束到惩罚项转换	约束问题	惩罚形式
53	LASSO 对偶问题构造	LASSO 原问题	LASSO 对偶
54	LASSO 对偶的投影形式	残差、约束集	投影表达
55	原变量—对偶变量关系转换	原变量、残差	对偶变量
56	Fenchel 共轭计算	函数	共轭函数
57	Fenchel 对偶构造	原问题	Fenchel 对偶
58	从残差构造对偶可行点 / 最优性证书	残差、字典、正则强度	对偶可行点

工具卡片字段#

每篇工具文章统一保留这些字段：

字段	内容
工具名	这个工具叫什么
类型	模型、算子、检查器、解析求解、迭代算法或证书
输入	调用这个工具需要什么
输出	工具返回什么
公式	最小核心公式
依赖工具	需要先掌握哪些工具
用途	它通常解决什么问题