AI知识体系知识图谱

全局依赖关系

本图谱展示知识点之间的前置依赖关系
A → B 表示 "A是B的基础"

═══════════════════════════════════════════════════════════════

                    数学基础
                        │
        ┌───────────────┼───────────────┐
        │               │               │
        ▼               ▼               ▼
    线性代数        概率统计        优化理论
        │               │               │
        │               │               │
        ▼               ▼               ▼
    矩阵运算 ←──→  随机变量    ←──→ 梯度下降
        │               │               │
        │               │               │
        ▼               ▼               ▼
    神经网络 ←────────────────────→ 优化器
                        │
                        │
═══════════════════════════════════════════════════════════════

                    机器学习
                        │
        ┌───────────────┼───────────────┐
        │               │               │
        ▼               ▼               ▼
    监督学习        无监督学习       集成学习
        │               │               │
        │               │               │
        ▼               ▼               ▼
  回归/分类        聚类/降维       Bagging/
                                    Boosting
        │               │               │
        │               │               │
        ▼               ▼               ▼
    逻辑回归        KMeans         XGBoost
                                    LightGBM

═══════════════════════════════════════════════════════════════

                    深度学习
                        │
        ┌───────────────┼───────────────┐
        │               │               │
        ▼               ▼               ▼
    BP反向传播     激活函数       初始化
        │               │               │
        │               │               ▼
        │               │           Xavier/
        │               │           He/Kaiming
        │               │               │
        └───────────────┼───────────────┘
                        │
                        ▼
                  神经网络
                        │
        ┌───────────────┼───────────────┐
        │               │               │
        ▼               ▼               ▼
       CNN           RNN            注意力
        │               │               │
        │               │               │
        ▼               ▼               ▼
    ResNet        LSTM/GRU       Self-Attention
        │               │               │
        │               │               │
        ▼               ▼               ▼
   DenseNet/       seq2seq        Transformer
   EfficientNet
                        │
                        │
═══════════════════════════════════════════════════════════════

                    LLM
                        │
        ┌───────────────┼───────────────┐
        │               │               │
        ▼               ▼               ▼
   Tokenizer      Transformer      Scaling
   (BPE/...)        Decoder         Law
        │               │               │
        │               │               ▼
        │               │           MoE
        │               │               │
        │               ▼               │
        │        Self-Attention          │
        │               │               │
        │               ▼               │
        │         Multi-Head            │
        │               │               │
        │               ▼               │
        │          位置编码             │
        │               │               │
        └───────────────┼───────────────┘
                        │
                        ▼
               预训练模型 (GPT/LLaMA)
                        │
        ┌───────────────┼───────────────┐
        │               │               │
        ▼               ▼               ▼
      SFT            RLHF            DPO
        │               │               │
        │               │               │
        ▼               ▼               ▼
     有监督        人类反馈       直接偏好
     微调           强化学习        优化
                        │
                        │
═══════════════════════════════════════════════════════════════

                    LLM应用
                        │
        ┌───────────────┼───────────────┐
        │               │               │
        ▼               ▼               ▼
       RAG          Agent           提示词
                        │           工程
        │               │
        ▼               ▼
    检索增强     ReAct/CoT
    生成         Agent
                        │
                        ▼
               LangGraph/MCP
                        │
                        ▼
               多Agent协作

---

知识点关联表

上游知识	关联方向	下游知识	说明
线性代数	→	矩阵运算	向量/矩阵是神经网络计算基础
矩阵运算	→	线性层	FC层本质是矩阵乘法
链式法则	→	BP反向传播	BP利用链式法则计算梯度
梯度下降	→	优化器	Adam/SGD是梯度下降的变种
概率分布	→	交叉熵	CE是分类的天然损失函数
MLE	→	交叉熵	CE等价于最大化似然
KL散度	→	VAE/Diffusion	VAE用KL约束隐变量分布
激活函数	→	非线性	没有激活函数，MLP等价线性变换
Dropout	→	正则化	防止过拟合
BatchNorm	→	训练稳定性	归一化加速训练
CNN	→	ResNet	ResNet是CNN的进阶
Self-Attention	→	Transformer	Transformer基于Self-Attention
Transformer	→	GPT/LLaMA	主流LLM都是Transformer变种
SFT	→	RLHF	RLHF在SFT基础上进行
RAG	→	Agent	Agent可以调用RAG作为工具
Flash Attention	→	vLLM	vLLM基于PagedAttention

---

面试常考的知识链

链1: 反向传播
梯度计算 → 链式法则 → 自动微分 → 梯度消失/爆炸 → 解决方案

链2: Attention
点积 → softmax → 加权求和 → Multi-Head → 位置编码

链3: 优化器
梯度下降 → SGD → Momentum → Adam → 学习率调度

链4: 正则化
过拟合 → Dropout → BatchNorm → L1/L2 → Early Stopping

链5: LLM训练
Tokenize → Embedding → Transformer → Pre-train → SFT → RLHF → DPO

链6: RAG
文档切分 → 向量化 → 检索 → 重排 → 生成

链7: Agent
LLM → 规划(ReAct) → 工具(MCP) → 记忆 → 执行

---

学习顺序建议

第一阶段：数学 + Python (2-3周)
  线性代数 → 概率统计 → 优化基础 → NumPy/PyTorch

第二阶段：机器学习 (2-3周)
  回归/分类 → 树模型 → 集成学习 → Sklearn

第三阶段：深度学习核心 (4-6周)
  BP → CNN → RNN → Attention → Transformer

第四阶段：LLM应用 (4-6周)
  HuggingFace → RAG → Agent → 微调

第五阶段：项目 + 面试 (持续)
  项目开发 → 简历 → 刷题 → 面试

---

知识图谱帮助建立知识点之间的联系，形成网状知识结构