基础篇 2
第1章 时代崛起 2
1.1概要 2
1.1.1基本概念 2
1.1.2深度学习与机器学习的关系 4
1.1.3深度学习与人工智能的关系 5
1.2历史发展 5
1.2.1神经网络发展历史 5
1.2.2人工智能发展历史 7
1.3应用领域 8
1.3.1智能个人助理 8
1.3.2智能安防 9
1.3.3无人驾驶 9
1.3.4电商零售 11
1.3.5智慧医疗 11
1.3.6金融服务 12
1.3.7智能教育 13
1.4未来猜想 14
1.4.1人文的快速发展 14
1.4.2人类也是“机器人” 14
1.4.3新的不平等现象 15
1.5本章小结 16
第2章 数学理论基础 17
2.1向量 17
2.1.1相关概念 17
2.1.2向量的线性相关性 18
2.1.3向量的外积 18
2.1.4向量夹角与余弦相似性 18
2.1.5实例：基于向量夹角的文本相似性分析 19
2.2矩阵 20
2.2.1矩阵乘法 20
2.2.2克罗内克积 21
2.3导数 22
2.3.1概述 22
2.3.2一般运算法则 22
2.3.3链式求导法则 23
2.4数值计算 23
2.4.1误差 23
2.4.2 距离 24
2.4.3数值归一化 26
2.5概率分布 26
2.5.1二项分布 26
2.5.2超几何分布 27
2.5.3泊松分布 27
2.5.4指数分布 28
2.5.5正态分布 29
2.6参数估计 29
2.6.1概率 29
2.6.2贝叶斯估计 30
2.6.3最大似然估计 31
2.6.4最大后验估计 32
2.7回归分析 33
2.7.1线性回归 33
2.7.2逻辑回归 36
2.8判定问题 39
2.8.1 P问题 39
2.8.2 NP问题 39
2.8.3 NP-Complete问题 40
2.8.4 NP-Hard问题 40
2.9本章小结 41
第3章 机器学习概要 42
3.1机器学习的类型 42
3.1.1有监督学习 42
3.1.2无监督学习 43
3.1.3强化学习 43
3.2机器学习中常见的函数 44
3.2.1激活函数 44
3.2.2损失函数 47
3.2.3核函数 48
3.3机器学习中的重要参数 49
3.3.1学习速率 49
3.3.2动量系数 50
3.3.3偏置项 50
3.4拟合问题 51
3.4.1过拟合现象 51
3.4.2欠拟合现象 52
3.4.3解决过拟合问题的一般方法 52
3.4.4实例：拟合与二元一次方程求解 55
3.5交叉检验 55
3.5.1数据类型种类 55
3.5.2留一交叉验证 57
3.5.3 K折交叉验证 57
3.6 线性可分与不可分 58
3.7机器学习的学习特征 59
3.8产生式模型与判别式模型 60
3.9机器学习效果的一般评价指标 61
3.10本章小结 63
第4章 神经网络基础 64
4.1概述 64
4.1.1神经网络模型 64
4.1.2经典的神经网络结构 65
4.1.3一般业务场景中神经网络适应性 66
4.1.4神经网络的深度 67
4.2常见学习方法 67
4.2.1误差修正学习 67
4.2.2赫布学习规则 68
4.2.3最小均方规则 69
4.2.4竞争学习规则 70
4.2.5其他学习规则 71
4.3优化方法：梯度下降 72
4.3.1概述 72
4.3.2梯度下降法 72
4.3.3梯度下降的优化算法 74
4.3.4梯度消失问题 76
4.3.5示例：利用梯度下降法求函数极值 77
4.4常见的神经网络类型 78
4.4.1前馈型神经网络 78
4.4.2反馈型神经网络 79
4.4.3自组织竞争型神经网络 79
4.5深度学习中常见的网络类型 80
4.5.1卷积神经网络 80
4.5.2循环神经网络 80
4.5.3深度信念网络 80
4.5.4生成对抗网络 81
4.5.5深度强化学习 81
4.6其他神经网络与深度学习 82
4.6.1随机神经网络 82
4.6.2量子神经网络 82
4.6.3迁移学习 82
4.7深度学习与多层神经网络的关系 83
4.8调参技巧 84
4.9本章小结 85
进阶篇 88
第5章 前馈型神经网络 88
5.1概述 88
5.2常见结构 88
5.3单层感知器网络 89
5.3.1原理 89
5.3.2网络结构 90
5.3.3实例一：基于单层感知器“与”运算 90
5.3.4实例二：利用感知器判定零件是否合格 91
5.4 BP神经网络 93
5.4.1概述 93
5.4.2反向传播算法 93
5.4.3异或问题的解决 96
5.4.4避免病态结果 98
5.4.5实例：基于多层感知器的手写体数字识别 99
5.5径向基函数神经网络 101
5.5.1原理介绍 101
5.5.2中心选择方法 102
5.5.3训练过程 103
5.5.4径向基函数神经网络与BP神经网络的差异 104
5.6本章小结 105
第6章 反馈型神经网络 107
6.1概述 107
6.1.1基本原理 107
6.1.2与前馈型神经网络的差异 108
6.2 Hopfield神经网络 109
6.3 Elman神经网络 112
6.3.1结构组成 112
6.3.2学习算法 112
6.4递归神经网络 113
6.4.1产生背景 114
6.4.2基本结构 115
6.4.3前向计算过程 116
6.4.4反向传播：BPTS算法 117
6.4.5应用场景 118
6.4.6递归神经网络的结构改进 118
6.4.7应用实例 121
6.5本章小结 124
第7章 自组织竞争型神经网络 125
7.1概述 125
7.1.1一般网络模型 125
7.1.2工作原理 126
7.1.3实例：用竞争学习规则进行模式分类 127
7.2常见的聚类方法 129
7.2.1系统聚类法 129
7.2.2基于划分的聚类算法 130
7.2.3基于密度的聚类算法 131
7.2.4基于层次的聚类算法 132
7.3自组织映射网络 134
7.3.1概述 134
7.3.2训练算法 134
7.3.3实例：利用自组织映射网络划分城市群 135
7.3.4优劣势分析 136
7.4其他自组织竞争型神经网络 137
7.4.1自适应共振理论 137
7.4.2对偶传播神经网络 138
7.5本章小结 139
高阶篇 142
第8章 卷积神经网络 142
8.1概述 142
8.1.1发展背景 142
8.1.2基本概念 143
8.1.3基本网络结构 144
8.2卷积 145
8.2.1卷积的物理意义 145
8.2.2卷积的理解 145
8.2.3卷积的实例 147
8.3卷积核 148
8.3.1卷积核的含义 148
8.3.2卷积操作 150
8.3.3卷积核的特征 150
8.4卷积神经网络中各层工作原理 151
8.4.1卷积层 151
8.4.2下采样层 151
8.4.3 Softmax层 152
8.5卷积神经网络的逆向过程 153
8.6常见卷积神经网络结构 154
8.6.1 LeNet-5 154
8.6.2 AlexNet 155
8.7应用场景与效果评估 157
8.7.1场景1：图像分类 157
8.7.2场景2：目标检测 158
8.7.3场景3：实例分割 159
8.8 Maxout Networks 160
8.9本章小结 162
第9章 循环神经网络 163
9.1概述 163
9.2一般循环神经网络 164
9.2.1概述 164
9.2.2单向循环神经网络 165
9.2.3双向循环神经网络 166
9.2.4深度循环神经网络 167
9.3训练算法：BPTT算法 168
9.3.1前向计算 168
9.3.2误差项计算 169
9.3.3权值梯度计算 169
9.3.4梯度爆炸与梯度消失问题 170
9.4长短时记忆网络 170
9.4.1背景 170
9.4.2核心思想 171
9.4.3详细结构 172
9.4.4训练过程 176
9.4.5相关变种简介 181
9.5常见循环神经网络结构 182
9.5.1 N比N结构 182
9.5.2 N比1结构 183
9.5.3 1比N结构 183
9.5.4 N比M结构 184
9.6与自然语言处理结合 185
9.7实例：文本自动生成 186
9.8本章小结 187
第10章 深度信念网络 188
10.1概要 188
10.1.1背景 188
10.1.2基本结构 188
10.2受限玻尔兹曼机 190
10.2.1概述 190
10.2.2逻辑结构 192
10.2.3对比分歧算法 194
10.3训练过程 194
10.3.1工作流程 194
10.3.2调优过程 195
10.4本章小结 196
第11章 生成对抗网络 197
11.1概述 197
11.1.1背景概要 197
11.1.2核心思想 198
11.1.3基本工作流程 199
11.2朴素生成对抗网络 201
11.2.1网络结构 201
11.2.2实例：基于朴素生成对抗网络生成手写体数字 203
11.3深度卷积生成对抗网络 206
11.3.1产生背景 206
11.3.2模型改进 206
11.3.3网络结构 207
11.3.4实例：基于深度卷积对抗网络生成手写体数字 208
11.4条件生成对抗网络 212
11.4.1网络结构 212
11.4.2实例：CGAN结合DCGAN生成手写体数字 213
11.5瓦瑟斯坦生成对抗网络 214
11.5.1概述 214
11.5.2差异化 215
11.5.3实例：WGAN结合DCGAN生成手写体数字 216
11.6生成对抗网络的探索 217
11.6.1价值与意义 217
11.6.2面临的问题 218
11.6.3应用场景示例 218
11.6.4未来探索 220
11.7本章小结 220
第12章 深度强化学习 221
12.1概述 221
12.1.1概要 221
12.1.2基本原理 222
12.2马尔科夫决策过程 223
12.2.1马尔科夫过程 223
12.2.2隐马尔科夫模型 224
12.2.3马尔科夫决策过程 225
12.3深度强化学习算法 229
12.3.1 DQN算法 229
12.3.2 A3C算法 231
12.3.3 UNREAL算法 231
12.4强化学习的探索 232
12.4.1应用场景探索 232
12.4.2面临的问题 233
12.5本章小结 234