第1章 TensorFlow与深度学习 1
1.1 深度学习的由来 1
1.2 语言与系统的支持 1
1.3 TensorFlow的特点 2
1.4 核心组件 3
1.5 TensorFlow的主要依赖包 4
1.5.1 Protocol Buffer包 4
1.5.2 Bazel包 4
1.6 搭建环境 6
1.6.1 安装环境 6
1.6.2 安装TensorFlow 7
1.6.3 安装测试 7
1.7 Geany 8
1.8 揭开深度学习的面纱 10
1.8.1 人工智能、机器学习与深度学习 10
1.8.2 深度学习的核心思想 11
1.8.3 深度学习的应用 11
1.9 深度学习的优劣势 14
第2章 TensorFlow编程基础 15
2.1 张量 16
2.1.1 张量的概念 16
2.1.2 张量的使用 17
2.1.3 Numpy库 17
2.1.4 张量的阶 18
2.1.5 张量的形状 19
2.1.6 张量应用实例 19
2.2 图的实现 21
2.3 会话的实现 23
2.4 认识变量 26
2.4.1 变量的创建 27
2.4.2 变量的初始化 34
2.4.3 变量的更新 36
2.4.4 变量的保存 37
2.4.5 变量的加载 37
2.4.6 共享变量和变量命名空间 37
2.5 矩阵的操作 42
2.5.1 矩阵的生成 42
2.5.2 矩阵的变换 45
2.6 TensorFlow数据读取的方式 50
2.7 从磁盘读取信息 51
2.7.1 列表格式 52
2.7.2 读取图像数据 53
第3章 TensorFlow编程进阶 55
3.1 队列与线程 55
3.1.1 队列 55
3.1.2 队列管理器 56
3.1.3 线程协调器 57
3.1.4 组合使用 59
3.2 TensorFlow嵌入Layer 61
3.3 生成随机图片数据 62
3.4 神经网络 63
3.4.1 神经元 63
3.4.2 简单神经结构 64
3.4.3 深度神经网络 66
3.5 损失函数 67
3.6 梯度下降 71
3.6.1 标准梯度法 71
3.6.2 批量梯度下降法 74
3.6.3 随机梯度下降法 75
3.6.4 小批量梯度下降法 77
3.6.5 线性模型的局限性 78
3.6.6 直线与曲线的拟合演示 79
3.7 反向传播 84
3.7.1 求导链式法则 84
3.7.2 反向传播算法思路 84
3.7.3 反向传播算法的计算过程 85
3.7.4 反向传播演示回归与二分类算法 86
3.8 随机训练与批量训练 90
3.9 创建分类器 92
3.10 模型评估 95
3.11 优化函数 98
3.11.1 随机梯度下降优化算法 99
3.11.2 基于动量的优化算法 99
3.11.3 Adagrad优化算法 100
3.11.4 Adadelta优化算法 100
3.11.5 Adam优化算法 101
3.11.6 实例演示几种优化算法 102
第4章 TensorFlow实现线性回归 105
4.1 矩阵操作实现线性回归问题 105
4.1.1 逆矩阵解决线性回归问题 105
4.1.2 矩阵分解法实现线性回归 106
4.1.3 正则法对iris数据实现回归分析 108
4.2 损失函数对iris数据实现回归分析 110
4.3 戴明算法对iris数据实现回归分析 112
4.4 岭回归与Lasso回归对iris数据实现回归分析 115
4.5 弹性网络算法对iris数据实现回归分析 119
第5章 TensorFlow实现逻辑回归 121
5.1 什么是逻辑回归 121
5.1.1 逻辑回归与线性回归的关系 121
5.1.2 逻辑回归模型的代价函数 122
5.1.3 逻辑回归的预测函数 122
5.1.4 判定边界 122
5.1.5 随机梯度下降算法实现逻辑回归 124
5.2 逆函数及其实现 127
5.2.1 逆函数的相关函数 127
5.2.2 逆函数的实现 129
5.3 Softmax回归 132
5.3.1 Softmax回归简介 132
5.3.2 Softmax的代价函数 132
5.3.3 Softmax回归的求解 133
5.3.4 Softmax回归的参数特点 134
5.3.5 Softmax与逻辑回归的关系 135
5.3.6 多分类算法和二分类算法的选择 135
5.3.7 计算机视觉领域实例 135
第6章 TensorFlow实现聚类分析 139
6.1 支持向量机及实现 140
6.1.1 重新审视逻辑回归 140
6.1.2 形式化表示 141
6.1.3 函数间隔和几何间隔 142
6.1.4 最优间隔分类器 143
6.1.5 支持向量机对iris数据进行分类 143
6.1.6 核函数对数据点进行预测 148
6.1.7 非线性支持向量机创建山鸢尾花分类器 152
6.1.8 多类支持向量机对iris数据进行预测 158
6.2 K-均值聚类法及实现 165
6.2.1 K-均值聚类相关概念 165
6.2.2 K-均值聚类法对iris数据进行聚类 166
6.3 最近邻算法及实现 169
6.3.1 最近邻算法概述 169
6.3.2 最近邻算法求解文本距离 170
6.3.3 最近邻算法实现地址匹配 172
第7章 神经网络算法 176
7.1 反向网络 177
7.1.1 问题设置 178
7.1.2 反向网络算法 179
7.1.3 自动微分 179
7.1.4 对随机数进行反向网络演示 180
7.2 激励函数及实现 185
7.2.1 激励函数的用途 185
7.2.2 几种激励函数 185
7.2.3 几种激励函数的绘图 188
7.3 门函数及其实现 190
7.4 单层神经网络对iris数据进行训练 192
7.5 单个神经元的扩展及实现 195
7.6 构建多层神经网络 197
7.7 实现井字棋 200
第8章 TensorFlow实现卷积神经网络 208
8.1 全连接网络的局限性 208
8.2 卷积神经网络的结构 209
8.2.1 卷积层 210
8.2.2 池化层 216
8.2.3 全连接层 218
8.3 卷积神经网络的训练 218
8.3.1 求导的链式法则 219
8.3.2 卷积层反向传播 219
8.4 卷积神经网络的实现 223
8.4.1 识别0和1数字 224
8.4.2 预测MNIST数字 226
8.5 几种经典的卷积神经网络及实现 231
8.5.1 AlexNet网络及实现 231
8.5.2 VGGNet网络及实现 236
8.5.3 Inception Net网络及实现 241
8.5.4 ResNet网络及实现 245
第9章 TensorFlow实现循环神经网络 250
9.1 循环神经网络概述 250
9.1.1 循环神经网络的原理 251
9.1.2 循环神经网络的应用 253
9.1.3 损失函数 254
9.1.4 梯度求解 255
9.1.5 实现二进制数加法运算 257
9.1.6 实现拟合回声信号序列 260
9.2 循环神经网络的训练 266
9.3 循环神经网络的改进 267
9.3.1 循环神经网络存在的问题 267
9.3.2 LSTM网络 268
9.3.3 LSTM核心思想 269
9.3.4 LSTM详解与实现 269
9.3.5 窥视孔连接 273
9.3.6 GRU网络对MNIST数据集分类 274
9.3.7 BRNN网络对MNIST数据集分类 276
9.3.8 CTC实现端到端训练的语音识别模型 279
第10章 TensorFlow其他网络 287
10.1 自编码网络及实现 287
10.1.1 自编码网络的结构 287
10.1.2 自编码网络的代码实现 288
10.2 降噪自编码器及实现 297
10.2.1 降噪自编码器的原理 298
10.2.2 降噪自编码器的实现 298
10.3 栈式自编码器及实现 303
10.3.1 栈式自编码器概述 303
10.3.2 栈式自编码器训练 304
10.3.3 栈式自编码器进行MNIST手写数字分类 304
10.3.4 代替和级联 306
10.3.5 自编码器的应用场合 306
10.3.6 自编码器的综合实现 306
10.4 变分自编码器及实现 314
10.4.1 变分自编码器的原理 315
10.4.2 损失函数 315
10.4.3 变分自编码器模拟生成MNIST数据 315
10.5 条件变分自编码器及实现 321
10.5.1 条件变分自编码器概述 321
10.5.2 条件变分自编码器生成MNIST数据 321
10.6 对抗神经网络 326
10.6.1 对抗神经网络的原理 326
10.6.2 生成模型的应用 326
10.6.3 对抗神经网络的训练方法 327
10.7 DCGAN网络及实现 327
10.7.1 DCGAN网络概述 327
10.7.2 DCGAN网络模拟MNIST数据 327
10.8 InfoGAN网络及实现 332
10.8.1 什么是互信息 333
10.8.2 互信息的下界 333
10.8.3 InfoGAN生成MNIST模拟数据 334
10.9 AEGAN网络及实现 335
10.9.1 AEGAN网络概述 336
10.9.2 AEGAN对MNIST数据集压缩及重建 337
10.10 WGAN-GP网络 338
10.10.1 WGAN网络 339
10.10.2 WGAN-GP网络生成MNIST数据集 340
第11章 TensorFlow机器学习综合实战 345
11.1 房屋价格的预测 345
11.1.1 K近邻算法预测房屋价格 345
11.1.2 卷积神经网络预测房屋价格 352
11.1.3 深度神经网络预测房屋价格 355
11.2 卷积神经网络实现人脸识别 359
11.3 肾癌的转移判断 365
11.4 比特币的预测 368
参考文献 376