第1章 了解深度学习 1
1.1 什么是深度学习 1
1.1.1 深度学习能解决的问题 2
1.1.2 深度学习适用的领域 3
1.2 深度学习的技术发展 6
1.2.1 基础技术发展 7
1.2.2 应用技术发展 8
1.3 深度学习的知识点汇总 10
1.3.1 深度学习的预备技术 11
1.3.2 深度学习的技术构成 12
1.3.3 深度学习向其他行业与技术领域的延伸 13
1.4 深度学习工具与平台介绍 15
1.4.1 深度学习框架 15
1.4.2 深度学习基础架构 18
1.4.3 深度学习开发工具 19
1.4.4 深度学习辅助工具 20
1.4.5 深度学习云平台服务 20
1.5 本章小结 22
1.6 参考资料 23
第2章 深度学习技术 24
2.1 深度学习基础 24
2.1.1 感知器 26
2.1.2 激活函数 27
2.1.3 输入层、隐藏层、输出层 29
2.1.4 前向传播与反向传播求导 29
2.2 CNN 30
2.2.1 前馈网络解决图像存在的问题 31
2.2.2 卷积神经网络 31
2.2.3 图像的几个不变性 33
2.2.4 卷积 34
2.2.5 池化 38
2.2.6 Inception 39
2.2.7 Flatten层和全连接层 39
2.2.8 跳层连接 40
2.2.9 经典CNN 41
2.3 RNN 41
2.3.1 RNN结构 42
2.3.2 基本结构与前向传播 43
2.3.3 BPTT 44
2.3.4 LSTM 46
2.3.5 RNN拓展 50
2.4 最优化算法 52
2.4.1 梯度下降 52
2.4.2 Adam 54
2.5 本章小结 56
第3章 TensorFlow基础 57
3.1 TensorFlow 57
3.2 获取与安装 60
3.3 变量及作用域 61
3.4 构建计算图 66
3.5 全连接网络构建 71
3.6 CNN构建 78
3.7 RNN构建 82
3.8 多架构运行 85
3.8.1 GPU使用 85
3.8.2 多CPU使用 86
3.9 队列使用 88
3.10 本章小结 89
第4章 TensorFlow进阶 90
4.1 TensorFlow架构与原理 90
4.2 TensorFlow扩展 93
4.2.1 TF Layers 94
4.2.2 TF Slim 95
4.2.3 TFLearn 96
4.2.4 Keras 99
4.3 Tensorboard与问题监控 101
4.4 改善深度神经网络 103
4.5 性能优化建议 105
4.6 深度神经网络结构 107
4.6.1 Inception结构 107
4.6.2 ResNet结构 108
4.6.3 Seq2Seq结构 108
4.6.4 Attention 109
4.7 本章小结 110
第5章 语音识别器 111
5.1 任务分析 111
5.2 数据与特征分析 114
5.2.1 语音数据库 114
5.2.2 语音数据特征 115
5.3 主流语音识别网络结构 119
5.3.1 用于语音识别的CNN 120
5.3.2 用于语音识别的RNN 122
5.4 CTC Loss 123
5.5 文本向量化 126
5.5.1 英文文本向量化 126
5.5.2 中文文本向量化 129
5.5.3 文本标签比对 130
5.6 完整构建神经网络 131
5.6.1 构建CNN识别网络 132
5.6.2 用于语音识别的RNN 136
5.7 数据训练 138
5.8 参数调优 140
5.9 实际数据分析 141
5.10 本章小结 142
第6章 对话机器人 143
6.1 对话机器人概述与应用领域 143
6.2 对话机器人主流技术 145
6.2.1 基于模板的对话机器人 145
6.2.2 基于检索技术的对话机器人 146
6.2.3 基于深度学习的对话机器人 146
6.3 对话机器人的前沿与功能扩展 147
6.4 深度学习对话机器人原理 149
6.5 构建对话机器人 150
6.5.1 Bot界面与交互 150
6.5.2 语料预处理 155
6.5.3 模型构建 161
6.5.4 训练流程 163
6.5.5 在线推断 165
6.6 本章小结 166
第7章 人脸识别器 167
7.1 任务分析 167
7.2 Detection、Aliment与Identify 170
7.3 数据特征分析 172
7.3.1 人脸位置和范围数据 173
7.3.2 人脸关键点数据 174
7.3.3 人脸识别数据库 176
7.4 haar分类器方式 178
7.4.1 固定特征的提取 178
7.4.2 分类器 180
7.4.3 代码实现 182
7.5 神经网络方法演进 183
7.6 人脸识别网络构建 185
7.6.1 人脸检测网络MTCNN 185
7.6.2 用于人脸检测的GoogleNet 188
7.7 主流人脸识别网络差异分析 190
7.8 TensorFlow搭建网络 191
7.9 参数调优 193
7.10 实战分析 195
7.11 本章小结 197
第8章 自动驾驶 198
8.1 自动驾驶的介绍与应用领域 198
8.1.1 自动驾驶的应用场景 199
8.1.2 自动驾驶分级 199
8.2 自动驾驶技术 201
8.2.1 端到端的自动驾驶历史 202
8.2.2 底层硬件支撑技术平台 203
8.3 深度增强学习 204
8.4 行车检测 208
8.4.1 物体检测 208
8.4.2 YOLO模型 209
8.4.3 车辆图像数据探索 211
8.4.4 车辆视频数据预处理 212
8.4.5 迁移学习 212
8.4.6 模型推断 213
8.4.7 绘制检测结果 213
8.5 端到端自动驾驶 216
8.5.1 英伟达End to End模型 216
8.5.2 评估指标 219
8.5.3 数据分析 219
8.5.4 读入视频，并处理图像 222
8.5.5 深度学习模型构建与训练 222
8.5.6 可视化结果 223
8.6 本章小结 224
8.7 参考资料 224
第9章 可视化实践 225
9.1 可视化发展 225
9.2 可视化过程 227
9.3 Matplotlib 228
9.4 ECharts 230
9.5 可视化实践 232
9.6 三维可视化 234
9.7 动态可视化 237
9.8 本章小结 239
第10章 优化实践 240
10.1 通用深度神经网络训练优化建议 240
10.1.1 过拟合与欠拟合 242
10.1.2 数据增强 244
10.1.3 梯度消失 245
10.1.4 初始化权值 245
10.1.5 优化算法 246
10.1.6 超参数选择 247
10.2 深度学习系统性能优化建议 250
10.2.1 输入及预处理流水线优化 250
10.2.2 数据格式 251
10.2.3 编译优化 252
10.2.4 GPU性能瓶颈诊断 252
10.2.5 CPU瓶颈优化 254
10.2.6 模型压缩 255
10.3 工程实践建议 256
10.3.1 Model格式转换 256
10.3.2 迁移学习 256
10.3.3 在线推断TensorFlowServing 259
10.4 本章小结 260