第1章 深度学习概述 1
1.1人类的人工智能之梦 1
1.2从遥想到实践 3
1.3三大人工智能学派 3
1.3.1符号学派 3
1.3.2行为学派 3
1.3.3连接学派 4
1.4连接学派中的神经网络 4
1.5神经网络的“新称谓”——深度学习 7
1.6深度学习的生产力实现——TensorFlow 8
1.6.1 TensorFlow之Tensor 9
1.6.2 TensorFlow之Flow 10
1.6.3 TensorFlow之简单的数据模型 11
1.7 TensorFlow项目介绍 13
1.8 TensorFlow工作环境的安装和运行 14
1.8.1 Ubuntu环境下基于Virtualenv的安装方法 15
1.8.2基于Mac OS的安装方法 16
1.8.3简单运行一下TensorFlow 16
第2章 机器学习概述 18
2.1什么是机器学习 18
2.1.1机器学习的定义 18
2.1.2任务 19
2.1.3性能 20
2.1.4经验 24
2.2学习算法 24
2.2.1表示 25
2.2.2评价 25
2.2.3优化 27
2.3以线性回归为例 28
2.3.1线性回归的任务T 28
2.3.2线性回归的经验E 28
2.3.3线性回归的表示R 30
2.3.4线性回归的评价E 30
2.3.5线性回归的优化O 31
2.3.6小结 32
2.3.7 TensorFlow的完整运行脚本 33
2.4本章小结 35
第3章 从生物神经元到感知器 36
3.1感知器的前身 36
3.1.1生物神经元 36
3.1.2一个基础的神经元——McCulloch-Pitts Units 37
3.1.3基于MCP神经元实现布尔逻辑 37
3.1.4带有权值的MCP神经元 39
3.1.5通过带有权值的MCP神经元对空间进行线性划分 40
3.2感知器 41
3.2.1感知器简介 41
3.2.2感知器的激活函数 42
3.3使用感知器分类 43
3.3.1感知器的二分类 43
3.3.2经验E——Iris鸢尾花数据集 44
3.3.3感知器的表示R 45
3.3.4感知器的评价E 45
3.3.5感知器的优化O 46
3.3.6实践感知器 47
3.4本章小结 49
第4章 人工神经网络 50
4.1从感知器到多层感知器 50
4.1.1再次回到MCP神经元 50
4.1.2带有权值的MCP神经元——感知器 57
4.1.3两层感知器形成“凸域”问题 61
4.1.4非凸域优化 64
4.2反向传播神经网络 65
4.2.1一个生动的比喻 65
4.2.2计算图基础——前向传播 66
4.2.3计算图——带有参数w、b的前向传播 68
4.2.4计算图——带有参数w、b的反向传播 69
4.3使用人工神经网络对mnist数据进行分类 71
4.4本章小结 73
第5章 Logistic回归与Softmax回归 74
5.1信息论 74
5.1.1编码 74
5.1.2编码效率 74
5.1.3编码代价 75
5.1.4最优编码 77
5.1.5信息量和熵 78
5.1.6交叉熵 80
5.2 Logistic回归 81
5.2.1线性回归回顾 81
5.2.2 Logistic回归回顾 84
5.2.3 Logistic人工神经网络稀疏化表征 87
5.2.4 sigmoid激活函数与信息熵 90
5.2.5最大熵模型 91
5.3 Softmax回归 96
5.3.1从Logistic回归到Softmax回归 96
5.3.2 Softmax回归的参数冗余 96
5.3.3 Softmax回归与Logistic回归的关系 97
5.3.4 Softmax回归与k个二元分类器 98
5.4本章小结 98
第6章 卷积神经网络 99
6.1感知器模式识别 99
6.1.1通过感知器识别一幅简单的图像 99
6.1.2感知器的鲁棒性 101
6.1.3生物视神经与感受野 103
6.1.4 Minsky感知器与局部感受野 105
6.1.5从鲁宾杯角度理解局部感受野 108
6.1.6单个感知器模式识别的局限性 110
6.1.7多层感知器的模式识别 112
6.2卷积操作 116
6.2.1卷积的数学定义 116
6.2.2局部感受野与卷积 116
6.2.3卷积操作的用途 118
6.3卷积神经网络的结构 119
6.3.1卷积操作中局部感受野的跨度 120
6.3.2白边 122
6.3.3池化操作 123
6.3.4卷积神经网络的层级结构 124
6.3.5通过卷积神经网络处理彩色图像的模型 126
6.4使用TensorFlow实现卷积神经网络的小例子 129
6.5本章小结 131
第7章 循环神经网络 132
7.1循环神经网络：一种循环的人工神经网络 132
7.1.1回到黑箱模型 132
7.1.2时间序列性 134
7.2有限状态机 135
7.2.1有限状态机的布尔逻辑 135
7.2.2有限状态机的结构 136
7.3从MCP神经网络到循环神经网络 138
7.3.1 MCP神经网络与有限状态机的等效性 138
7.3.2前馈神经网络与MCP神经网络的等效性 140
7.3.3循环神经网络与前馈神经网络的等效性 142
7.3.4循环神经网络的描述 145
7.3.5循环神经网络的参数学习——BPTT 147
7.4本章小结 151
第8章 LSTM循环神经网络 152
8.1梯度弥散现象 152
8.1.1梯度弥散的缘由 152
8.1.2梯度弥散带来的“健忘” 155
8.2长短期记忆网络 157
8.2.1 LSTM的结构 157
8.2.2 LSTM单元如何缓解梯度弥散 161
8.3通过TensorFlow实现一个简单的LSTM 162
8.4本章小结 165
第9章 深入TensorFlow 166
9.1机器学习框架回顾 166
9.2计算图 167
9.2.1计算图的前馈计算 167
9.2.2计算图的反馈计算 168
9.3神经网络与计算图 170
9.3.1神经网络与计算图的转换 170
9.3.2神经网络计算图的前馈计算与反馈计算 172
9.4 TensorFlow中的数据流图 176
9.4.1张量 176
9.4.2操作 177
9.4.3变量和占位符 178
9.4.4三段式编程 179
9.4.5会话 180
9.5使用GPU 183
9.5.1单机CPU＋GPU 183
9.5.2单机CPU＋多GPU 184
9.5.3分布式计算 185
9.6数据可视化工具TensorBoard 188
9.6.1生成静态计算图 188
9.6.2统计动态数据流 190
9.6.3使用TensorBoard实现训练可视化 190
9.7本章小结 193
第10章 TensorFlow案例实践 194
10.1构建TensorFlow的图片分类系统 194
10.2准备代码和训练集 195
10.3构造模型计算图 199
10.4训练模型 207
10.5评估模型的性能 210
10.6多GPU训练 213
10.7本章小结 218