深度学习笔记整理（李沐）
1. 数据的预处理
2. 线性神经网络
基础：前向传播，反向传播，优化算法sgd，损失函数MSE，CrossEntropyLoss，batch，epoch，test，train，val，
交叉验证，这些概念在训练一个模型的过程中是如何体现的
线性回归的实现
分类问题，softmax激活函数，softmax回归的实现
2. 多层感知机MLP
sigmoid,relu激活函数的实现
dropout丢弃法
4. 深度学习计算
gpu的使用
5. 卷积神经网络
卷积的基础概念：步幅，填充，卷积核，卷积，池化，输入/出通道，计算公式
经典卷积神经网络：LeNet，AlexNet，VGG，NIN，GoogleNet，ResNet
6. 循环神经网络
基础概念：序列模型，文本预处理，语言模型和数据集，
循环神经网络RNN
现代循环神经网络：门控神经单元GRU， 长短期记忆网络LSTM，深度神经网络，双向神经网络
基于RNN实现编码器与解码器的seq2seq
束搜索
7. 注意力机制
注意力分数，Bahdanau注意力（实现seq2seq），多头注意力，自注意力和位置编码，embedcding，word2vec
Transformer
8. 优化算法
梯度下降，随机梯度下降SGD，小批量随机梯度下降，动量法momentum，AdaGrad算法，RMSProp算法，Adam算法，学习率调整：学习率调度器
9. 计算性能
编译器和解释器，异步计算，自动并行，硬件（CPU，GPU，TPU）
多GPU训练
10. 计算机视觉（CV）
图像增广，微调，目标检测（没学）
11. 自然语言处理（NLP）
词嵌入（word2vec），来自Transformer的双向编码器表示（BERT）
应用：情感分析，自然语言推断
Comments NOTHING