数学基础模块

本模块包含深度学习所需的数学基础知识，按专题组织。

目录结构

1-数学基础/
├── README.md              # 本文件
├── 线性代数/              # 向量/矩阵/特征值/SVD
├── 微积分/                # 导数/梯度/链式法则
├── 概率统计/              # 分布/贝叶斯/MLE
├── 信息论/                # 熵/交叉熵/KL散度
└── 最优化/                # 梯度下降/Adam/拉格朗日

---

知识点速查

知识点	掌握程度	学习优先级	面试频率
向量/矩阵运算	★★★★★	P0	★★★★★
范数(L1/L2/Frobenius)	★★★★★	P0	★★★★★
导数/偏导数	★★★★★	P0	★★★★☆
链式法则	★★★★★	P0	★★★★★
梯度下降	★★★★★	P0	★★★★☆
Adam优化器	★★★★★	P0	★★★★☆
概率分布	★★★★☆	P0	★★★★☆
最大似然估计	★★★★☆	P0	★★★★☆
KL散度	★★★★☆	P1	★★★☆☆
交叉熵	★★★★☆	P0	★★★★☆
特征值/特征向量	★★★☆☆	P1	★★★☆☆
SVD分解	★★★☆☆	P1	★★★☆☆
矩阵微分	★★★☆☆	P1	★★☆☆☆
贝叶斯公式	★★★★☆	P1	★★★☆☆
拉格朗日乘子	★★★☆☆	P2	★★☆☆☆

---

数学在DL中的应用映射

数学概念                    →  DL应用
─────────────────────────────────────────────
向量/矩阵乘法              →  神经网络计算
范数                       →  正则化/Loss
导数/偏导数                →  梯度计算
链式法则                   →  反向传播
矩阵分解(SVD)              →  降维/初始化理论
特征值                     →  谱范数/稳定性分析
概率分布                   →  输出层/Loss函数
最大似然估计               →  交叉熵理论基础
KL散度                     →  VAE/知识蒸馏/Diffusion
熵                        →  交叉熵/信息瓶颈
梯度下降                   →  优化器基础
Adam                       →  自适应优化
拉格朗日乘子               →  SVM/对比学习约束

---

学习建议

如果时间有限

优先掌握：矩阵运算、梯度推导、Adam优化器、交叉熵、MLE

如果时间充裕

系统学习所有内容，重点突破：矩阵微分、贝叶斯推断、SVD应用

练习方式

1. 手推公式：每个核心公式都要手推一遍
2. NumPy实现：用NumPy验证理论
3. 面试真题：收集并练习相关面试题

---

与其他模块的关系

数学基础
    ├── → 机器学习（所有ML算法的理论基础）
    ├── → 深度学习（反向传播/优化器的核心）
    ├── → LLM（交叉熵loss/MLE/注意力机制）
    └── → 前沿方向（扩散模型/对比学习等）

---

数学是所有AI/ML的基础，建议投入足够时间打好根基