第1章 搭建指定的开发环境 1
1.1 为什么要使用指定的开发环境 1
1.2 硬件准备 2
1.2.1 在亚马逊租用云GPU服务器 2
1.2.2 在腾讯云租用GPU服务器 4
1.2.3 在云服务器中开启搭载开发环境的Docker服务 8
1.3 软件准备 9
1.3.1 在Ubuntu 16.04下配置环境 9
1.3.2 在CentOS 7下配置环境 12
1.4 参考文献及网页链接 12
第2章 温故知新——机器学习基础知识 13
2.1 人工智能、机器学习与深度学习 13
2.2 训练一个传统的机器学习模型 15
2.2.1 第一步，观察数据 16
2.2.2 第二步，预览数据 17
2.3 数据挖掘与训练模型 29
2.3.1 第一步，准备数据 29
2.3.2 第二步，挖掘数据特征 31
2.3.3 第三步，使用模型 37
2.3.4 第四步，代码实战 44
2.4 参考文献及网页链接 49
第3章 数形结合——图像处理基础知识 50
3.1 读取图像文件进行基本操作 51
3.1.1 使用python-opencv读取图片 51
3.1.2 借助python-opencv进行不同编码格式的转换 52
3.1.3 借助python-opencv改变图片尺寸 53
3.2 用简单的矩阵操作处理图像 53
3.2.1 对图像进行复制与粘贴 53
3.2.2 把图像当成矩阵进行处理——二维码转换成矩阵 54
3.3 使用OpenC V“抠图”——基于颜色通道以及形态特征 59
3.4 基于传统特征的传统图像分类方法 64
3.4.1 将图片简化为少数区域并计算每个区域轮廓特征的方向 66
3.4.2 将HOG变换运用在所有正负样本中 68
3.4.3 训练模型 70
3.4.4 将训练好的分类器运用在新的图片中 71
3.5 参考文献及网页链接 73
第4章 继往开来——使用深度神经网络框架 74
4.1 从逻辑回归说起 74
4.2 深度学习框架 76
4.3 基于反向传播算法的自动求导 77
4.4 简单的深度神经网络框架实现 80
4.4.1 数据结构部分 81
4.4.2 计算图部分 83
4.4.3 使用方法 85
4.4.4 训练模型 86
4.5 参考文献及网页链接 89
第5章 排列组合——深度神经网络框架的模型元件 90
5.1 常用层 92
5.1.1 Dense 92
5.1.2 Activation 92
5.1.3 Dropout 93
5.1.4 Flatten 94
5.2 卷积层 94
5.2.1 Conv2D 94
5.2.2 Cropping2D 101
5.2.3 ZeroPadding2D 101
5.3 池化层 102
5.3.1 MaxPooling2D 102
5.3.2 AveragePooling2D 102
5.3.3 GlobalAveragePooling2D 103
5.4 正则化层与过拟合 104
5.5 反卷积层 105
5.6 循环层 109
5.6.1 SimpleRNN 109
5.6.2 LSTM 109
5.6.3 GRU 110
5.7 参考文献及网页链接 110
第6章 少量多次——深度神经网络框架的输入处理 112
6.1 批量生成训练数据 113
6.2 数据增强 115
6.3 参考文献及网页链接 117
第7章 愚公移山——深度神经网络框架的模型训练 118
7.1 随机梯度下降 119
7.2 动量法 120
7.3 自适应学习率算法 121
7.4 实验案例 124
7.5 参考文献及网页链接 128
第8章 小试牛刀——使用深度神经网络进行C I FAR-10数据分类 129
8.1 上游部分——基于生成器的批量生成输入模块 131
8.2 核心部分——用各种零件搭建深度神经网络 131
8.3 下游部分——使用凸优化模块训练模型 132
8.4 参考文献及网页链接 133
第9章 见多识广——使用迁移学习提升准确率 134
9.1 猫狗大战1.0——使用卷积神经网络直接进行训练 135
9.1.1 导入数据 135
9.1.2 可视化 137
9.1.3 分割训练集和验证集 138
9.1.4 搭建模型 140
9.1.5 模型训练 141
9.1.6 总结 142
9.2 猫狗大战2.0——使用ImageNet数据集预训练模型 142
9.2.1 迁移学习 142
9.2.2 数据预处理 143
9.2.3 搭建模型 143
9.2.4 模型可视化 144
9.2.5 训练模型 145
9.2.6 提交到kaggle评估 146
9.3 猫狗大战3.0——使用多种预训练模型组合提升表现 146
931载入数据集 147
9.3.2 使用正确的预处理函数 147
9.3.3 搭建特征提取模型并导出特征 147
9.3.4 搭建并训练全连接分类器模型 148
9.3.5 在测试集上预测 149
9.4 融合模型 150
9.4.1 获取特征 150
9.4.2 数据持久化 151
9.4 3构建模型 151
9.4.4 在测试集上预测 152
9.5 总结 153
9.6 参考文献及网页链接 154
第10章 看图识字——使用深度神经网络进行文字识别 155
10.1 使用卷积神经网络进行端到端学习 155
10.1.1 编写数据生成器 157
10.1.2 使用生成器 157
10.1.3 构建深度卷积神经网络 158
10.1.4 模型可视化 158
10.1.5 训练模型 160
10.1.6 计算模型总体准确率 161
10.1.7 测试模型 161
10.1.8 模型总结 162
10.2 使用循环神经网络改进模型 162
10.2.1 CTC Loss 163
10.2.2 模型结构 164
10.2.3 模型可视化 165
10.2.4 数据生成器 167
10.2.5 评估模型 168
10.2.6 评估回调 169
10.2.7 训练模型 169
10.2.8 测试模型 171
10.2.9 再次评估模型 171
10.2.1 0总结 173
10.3 识别四则混合运算验证码（初赛） 173
10.3.1 问题描述 174
10.3.2 数据集探索 174
10.3.3 模型结构 176
10.3.4 结果可视化 181
10.3.5 总结 182
10.4 识别四则混合运算验证码（决赛） 183
10.4.1 问题描述 183
10.4.2 数据集探索 184
10.4.3 数据预处理 186
10.4.4 模型结构 192
10.4.5 生成器 195
10.4.6 模型的训练 197
10.4.7 预测结果 198
10.4.8 模型结果融合 199
10.4.9 其他尝试 200
10.4.10 小结 202
10.5 参考文献及网页链接 203
第11章 见习医生——使用全卷积神经网络分割病理切片中的癌组织 205
11.1 任务描述 205
11.1.1 赛题设置 205
11.1.2 数据描述 206
11.1.3 数据标注 206
11.2 总体思路 206
11.3 构造模型 207
11.3.1 准备数据 208
11.3.2 构建模型 214
11.3.3 模型优化 217
11.4 程序执行 225
11.5 模型结果可视化 226
11.5.1 加载函数 226
11.5.2 选择验证集并编写预测函数 226
11.5.3 根据tensorborad可视化结果选择最好的模型 228
11.5.4 尝试逐步降低学习率 230
11.6 观察模型在验证集上的预测表现 231
11.7 参考文献及网页链接 234
第12章 知行合一——如何写一个深度学习App 235
12.1 CAM可视化 235
12.2 导出分类模型和CAM可视化模型 236
12.2.1 载入数据集 236
12.2.2 提取特征 237
12.2.3 搭建和训练分类器 237
12.2.4 搭建分类模型和CAM模型 238
12.2.5 可视化测试 239
12.2.6 保存模型 241
12.2.7 导出mlmodel模型文件 241
12.3 开始编写App 242
12.3.1 创建工程 242
12.3.2 配置工程 244
12.3.3 测试工程 249
12.3.4 运行程序 249
12.4 使用深度学习模型 250
12.4.1 将模型导入到工程中 250
12.4.2 数据类型转换函数 250
12.4.3 实施CAM可视化 252
12.4.4 模型效果 254
12.5 参考文献及网页链接 255