数学笔记
Math Notes
数学笔记
这里集中放概率统计、线性代数、优化方法和机器学习理论里的数学推导。每篇笔记尽量从一个具体问题出发，把直觉、公式和可复用结论放在同一条线上。
概率与统计
从随机变量、概率密度、正态分布，到极大似然和统计学习。
线性模型
围绕最小二乘、Ridge、LASSO 和正则化展开的建模笔记。
优化工具
记录凸优化、KKT、对偶、近端算法等可复用的数学工具。
最新笔记
按发布时间排列的数学相关内容。
全部博客
- 正态分布公式的理论推导
从误差模型、函数方程、高斯积分和线性变换推导正态分布公式，并解释归一化常数、参数意义和三西格玛法则。
17 min zh-CN - 从极大似然到最小二乘
从残差为什么不能直接相加讲起，解释为什么选择平方误差，以及正态误差假设如何通过极大似然推出最小二乘。
10 min zh-CN - LASSO 教材
LASSO 教材
2 min zh-CN - 数学工具集合
用可推出性串起现代数学总纲，再把最小二乘、Ridge、LASSO、KKT、对偶间隙等工具整理成路线图。
13 min zh-CN - 数学工具 2：Ridge 问题
把 Ridge regression 写成最小二乘加 L2 正则项的问题，解释它惩罚什么、为什么更稳定、解析解如何推导，以及和 LASSO 的区别。
4 min zh-CN
概率与统计
从随机变量、概率密度、正态分布，到极大似然和统计学习。
线性模型
围绕最小二乘、Ridge、LASSO 和正则化展开的建模笔记。
优化工具
记录凸优化、KKT、对偶、近端算法等可复用的数学工具。