第1章 深度学习的来源与应用 1
1.1人工智能的思想、流派与发展起落 1
1.1.1人工智能的思潮流派和主要研究与应用领域 2
1.1.2人工智能的三起三落 4
1.2什么是深度学习 6
1.2.1我们不分离——数据和算法 6
1.2.2深度学习基础 9
1.3机器学习与深度学习 10
1.3.1机器学习的定义与种类 10
1.3.2机器学习的任务与方法 13
1.3.3深度学习的提出 16
1.4深度学习的应用场景 18
1.4.1应用场合和概念层次 18
1.4.2主要开发工具和框架 20
1.4.3人工智能、深度学习有关学术会议和赛事 22
习题 24
参考文献 24
第2章 深度学习的数学基础 26
2.1线性代数 26
2.1.1向量空间 26
2.1.2矩阵分析 28
2.2概率与统计 30
2.2.1概率与条件概率 30
2.2.2贝叶斯理论 33
2.2.3信息论基础 35
2.3多元微积分 39
2.3.1导数和偏导数 39
2.3.2梯度和海森矩阵 42
2.3.3最速下降法 44
2.3.4随机梯度下降算法 45
习题 48
参考文献 50
第3章 人工神经网络与深度学习 51
3.1探秘大脑的工作原理 52
3.1.1人类活动抽象与深度学习模型 53
3.1.2人脑神经元的结构 54
3.1.3人脑神经元功能 55
3.1.4人脑视觉机理 57
3.2人脑神经元模型 59
3.2.1人脑神经元模型介绍 60
3.2.2激活函数 62
3.3 M-P模型 64
3.3.1标准M-P模型 65
3.3.2改进的M-P模型 66
3.4人脑神经网络的互连结构 66
3.4.1前馈神经网络 67
3.4.2反馈网络 67
3.5人工神经网络的学习 68
3.5.1人工神经网络的学习方式 68
3.5.2神经网络的学习规则 71
3.5.3人工神经网络算法基本要求 73
3.5.4神经网络计算特点 74
3.6人工神经网络的特点 75
3.7神经网络基本概念与功能 76
3.7.1几个基本概念 76
3.7.2基本功能 79
3.7.3感知机的局限性 83
3.8深度学习其他网络结构 84
3.8.1深度学习的定义及特点 84
3.8.2卷积神经网络 88
3.8.3循环（递归）神经网络 95
习题 98
参考文献 98
第4章 深度学习基本过程 100
4.1正向学习过程 100
4.1.1正向学习概述 100
4.1.2正向传播的流程 101
4.1.3正向传播的详细原理 101
4.2反向调整过程 103
4.2.1反向调整概述 103
4.2.2反向传播过程详解 104
4.2.3深层模型反向调整的问题与对策 107
4.3手写体数字识别实例 108
4.3.1数据准备 108
4.3.2网络设计 110
4.3.3模型训练 115
4.3.4模型测试 116
习题 121
参考文献 121
第5章 深度学习主流模型 122
5.1卷积神经网络 123
5.1.1 CNN概念 123
5.1.2 CNN常用算法 127
5.1.3 CNN训练技巧 131
5.2循环神经网络 132
5.2.1 RNN结构 132
5.2.2 RNN训练 133
5.2.3 RNN训练技巧 135
习题 136
参考文献 136
第6章 深度学习的主流开源框架 138
6.1Caffe 138
6.1.1 Caffe框架 138
6.1.2安装Caffe 139
6.1.3案例：基于Caffe的目标识别 145
6.2 TensorFlow 146
6.2.1 TensorFlow框架 146
6.2.2安装TensorFlow 147
6.2.3案例：基于TensorFlow的目标识别 149
6.3其他开源框架 150
6.3.1CNTK 150
6.3.2 MXNet 151
6.3.3 Theano 151
6.3.4 Torch 151
6.3.5 Deeplearning4j 152
习题 153
参考文献 153
第7章 深度学习在图像中的应用 154
7.1图像识别基础 154
7.2基于深度学习的大规模图像识别 155
7.2.1大规模图像数据库：ImageNet 155
7.2.2 AlexNet网络结构 156
7.2.3非线性激活函数ReLU 157
7.2.4在多GPU上进行实现 158
7.2.5增加训练样本 158
7.2.6 Dropout技术 159
7.3应用举例：人脸识别 160
7.3.1人脸识别的经典流程 160
7.3.2人脸图像数据库 161
7.3.3基于深度学习的人脸识别方法 162
7.4应用举例：图像风格化 163
7.4.1内容重构 164
7.4.2风格重构 165
7.4.3内容与风格的重组 166
7.5应用举例：图像标注 167
7.5.1基于深度网络的图像标注方法概述 168
7.5.2视觉语义对齐 169
7.5.3为新图像生成对应文本描述 171
习题 172
参考文献 172
第8章 深度学习在语音中的应用 174
8.1语音识别基础 174
8.1.1人类之间的交流 175
8.1.2人机交流 175
8.1.3语音识别系统的基本结构 176
8.1.4特征提取 176
8.1.5声学模型 177
8.1.6语言模型 177
8.1.7解码器 178
8.1.8用于语音识别的GMM-HMM模型 178
8.2基于深度学习的连续语音识别 181
8.2.1 DNN-HMM混合系统 181
8.2.2 CD-DNN-HMM的关键模块及分析 185
8.3应用举例：语音输入法 190
8.3.1案例背景 190
8.3.2语音输入法设计 191
8.3.3语音中心SpeechCenter的设计 192
8.3.4输入法FreeVoice的设计 194
8.3.5 FreeVoice和SpeechCenter之间的通信设计 196
习题 198
参考文献 198
第9章 深度学习在文本中的应用 201
9.1自然语言处理基础 201
9.1.1正则表达式和自动机 202
9.1.2句法处理 203
9.1.3词的分类和词性标注 203
9.1.4上下文无关语法 205
9.1.5浅层语法分析 205
9.1.6语义分析 206
9.1.7语义网络 206
9.1.8词汇关系信息库 206
9.2基于深度学习的文本处理 207
9.2.1词汇向量化表示 207
9.2.2句法分析 209
9.2.3神经机器翻译 209
9.2.4情感分析 210
9.3应用举例：机器翻译 211
9.4应用举例：聊天机器人 215
9.4.1聊天机器人的主要功能模块 216
9.4.2主要的技术挑战 217
9.4.3深度学习构建智能聊天机器人 218
习题 220
参考文献 220
第10章 深度学习前沿发展 222
10.1增强学习 222
10.1.1增强学习的基本概念 222
10.1.2增强学习的过程 224
10.1.3增强学习的应用 225
10.2迁移学习 225
10.2.1迁移学习的定义 226
10.2.2迁移学习的分类 226
10.2.3迁移学习的应用场景 226
10.3记忆网络 228
10.3.1循环神经网络 228
10.3.2长短期记忆网络 228
10.3.3长短期记忆变体 231
10.4深度学习的硬件实现 232
10.4.1 FPGA 232
10.4.2 ASIC 233
10.4.3 TPU 234
10.4.4寒武纪 235
10.4.5 TrueNorth 237
习题 238
参考文献 238
附录A人工智能和大数据实验环境 240