第1章 机器学习 1
1.1机器学习与深度学习 3
1.2什么是机器学习 5
1.3机器学习的挑战 7
1.4过拟合 9
1.5直面过拟合 11
1.6机器学习的类型 14
1.7分类和回归 16
1.8总结 18
第2章 神经网络 21
2.1概述 23
2.2神经网络节点 24
2.3多层神经网络 26
2.4神经网络的监督学习 33
2.5单层神经网络训练：增量规则 34
2.6广义增量规则 37
2.7随机梯度下降算法、批量算法和小批量算法 39
2.7.1随机梯度下降算法 39
2.7.2批量算法 40
2.7.3小批量算法 41
2.8示例：增量规则 42
2.8.1随机梯度下降算法的实现 44
2.8.2批量算法的实现 47
2.8.3随机梯度下降算法与批量算法的比较 51
2.9单层神经网络的局限性 54
2.10总结 58
第3章 训练多层神经网络 61
3.1概述 63
3.2反向传播算法 65
3.3示例 70
3.3.1 XOR问题 72
3.3.2动量法（Momentum） 76
3.4代价函数和学习规则 80
3.5示例 86
3.5.1交叉熵函数 86
3.5.2代价函数的比较 90
3.6总结 93
第4章 神经网络及其分类 95
4.1概述 97
4.2二分类 98
4.3多分类 101
4.4示例：多分类 106
4.5总结 118
第5章 深度学习 119
5.1概述 121
5.2深度神经网络的进化 123
5.2.1梯度消失 123
5.2.2过拟合 125
5.2.3计算量的增加 127
5.3示例 128
5.3.1 ReLU函数 128
5.3.2节点丢弃 135
5.4总结 143
第6章 卷积神经网络 145
6.1概述 147
6.2卷积神经网络的架构 148
6.3卷积层 150
6.4池化层 156
6.5示例：MNIST 158
6.6总结 178
索引 181