第1章 神经网络的数学原理 1
1.1 理解线性代数 1
1.1.1 环境设置 2
1.1.2 线性代数的数据结构 3
1.1.3 线性代数运算 4
1.1.4 求解线性方程 9
1.1.5 奇异值分解 11
1.1.6 特征值分解 14
1.1.7 主成分分析 14
1.2 微积分 15
1.2.1 梯度 16
1.2.2 Hessian矩阵 23
1.2.3 行列式 24
1.3 最优化 25
1.4 总结 28
第2章 深度前馈神经网络 29
2.1 定义前馈神经网络 29
2.2 理解反向传播 30
2.3 在TensorFlow中实现前馈神经网络 31
2.4 分析Iris数据集 34
2.5 使用前馈网络进行图像分类 40
2.6 总结 54
第3章 神经网络的优化 55
3.1 什么是优化 55
3.2 优化器的类型 56
3.3 梯度下降 57
3.3.1 梯度下降的变体 58
3.3.2 优化梯度下降的算法 59
3.4 优化器的选择 61
3.5 总结 64
第4章 卷积神经网络 65
4.1 卷积神经网络概述和直观理解 66
4.1.1 单个卷积层的计算 66
4.1.2 TensorFlow中的CNN 70
4.2 卷积操作 72
4.2.1 对图像进行卷积 73
4.2.2 步长 75
4.3 池化 76
4.3.1 最大池化 77
4.3.2 示例代码 78
4.4 使用卷积网络进行图像分类 80
4.5 总结 102
第5章 递归神经网络 103
5.1 递归神经网络介绍 103
5.1.1 RNN实现 105
5.1.2 TensorFlow RNN实现 110
5.2 长短期记忆网络简介 114
5.2.1 LSTM的生命周期 115
5.2.2 LSTM实现 117
5.3 情感分析 122
5.3.1 词嵌入 122
5.3.2 使用RNN进行情感分析 128
5.4 总结 134
第6章 生成模型 135
6.1 生成模型简介 135
6.1.1 判别模型对生成模型 136
6.1.2 生成模型的类型 137
6.2 GAN 140
6.2.1 GAN示例 141
6.2.2 GAN的种类 150
6.3 总结 152
第7章 深度信念网络 153
7.1 理解深度信念网络 154
7.2 训练模型 161
7.3 标签预测 162
7.4 探索模型的准确度 162
7.5 DBN在MNIST数据集上的应用 163
7.5.1 加载数据集 163
7.5.2 具有256个神经元的RBM层的DBN的输入参数 163
7.5.3 具有256个神经元的RBM层的DBN的输出 165
7.6 DBN中RBM层的神经元数量的影响 165
7.6.1 具有512个神经元的RBM层 165
7.6.2 具有128个神经元的RBM层 166
7.6.3 准确度指标对比 166
7.7 具有两个RBM层的DBN 167
7.8 用DBN对NotMNIST数据集进行分类 169
7.9 总结 172
第8章 自编码器 173
8.1 自编码算法 174
8.2 欠完备自编码器 175
8.3 数据集 175
8.4 基本自编码器 177
8.4.1 自编码器的初始化 177
8.4.2 AutoEncoder类 178
8.4.3 应用于MNIST数据集的基本自编码器 180
8.4.4 基本自编码器的完整代码 184
8.4.5 基本自编码器小结 186
8.5 加性高斯噪声自编码器 186
8.5.1 自编码器类 187
8.5.2 应用于MNIST数据集的加性高斯自编码器 188
8.5.3 绘制重建的图像 191
8.5.4 加性高斯自编码器的完整代码 192
8.5.5 比较基本自编码器和加性高斯噪声自编码器 193
8.5.6 加性高斯噪声自编码器小结 194
8.6 稀疏自编码器 194
8.6.1 KL散度 194
8.6.2 稀疏自编码器的完整代码 196
8.6.3 应用于MNIST数据集的稀疏自编码器 198
8.6.4 比较稀疏自编码器和加性高斯噪声自编码器 200
8.7 总结 200
第9章 神经网络研究 201
9.1 神经网络中避免过拟合 201
9.1.1 过拟合问题阐述 201
9.1.2 过拟合解决方案 202
9.1.3 影响效果 203
9.2 使用神经网络进行大规模视频处理 204
9.2.1 分辨率改进方案 204
9.2.2 特征直方图基线 205
9.2.3 定量结果 205
9.3 使用双分支互向神经网络进行命名实体识别 206
9.3.1 命名实体识别的例子 206
9.3.2 定义Twinet 207
9.3.3 结果 208
9.4 双向递归神经网络 208
9.5 总结 209
第10章 开始使用TensorFlow 211
10.1 环境搭建 211
10.2 比较TensorFlow和Numpy 212
10.3 计算图 213
10.3.1 图 213
10.3.2 会话对象 214
10.3.3 变量 215
10.3.4 域 216
10.3.5 数据输入 217
10.3.6 占位符和输入字典 217
10.4 自动微分 218
10.5 TensorBoard 219