第1章 神经网络基础 1
1.1 感知机 2
第一个Keras代码示例 3
1.2 多层感知机——第一个神经网络的示例 3
1.2.1 感知机训练方案中的问题 4
1.2.2 激活函数——sigmoid 5
1.2.3 激活函数——ReLU 5
1.2.4 激活函数 6
1.3 实例——手写数字识别 6
1.3.1 One-hot编码——OHE 7
1.3.2 用Keras定义简单神经网络 7
1.3.3 运行一个简单的Keras网络并创建基线 10
1.3.4 用隐藏层改进简单网络 11
1.3.5 用dropout进一步改进简单网络 14
1.3.6 Keras中的不同优化器测试 16
1.3.7 增加训练轮数 20
1.3.8 控制优化器的学习率 20
1.3.9 增加内部隐藏神经元的数量 21
1.3.10 增加批处理的大小 22
1.3.11 识别手写数字的实验总结 22
1.3.12 采用正则化方法避免过拟合 22
1.3.13 超参数调优 24
1.3.14 输出预测 24
1.4 一种实用的反向传播概述 25
1.5 走向深度学习之路 26
1.6 小结 27
第2章 Keras安装和API 28
2.1 安装Keras 28
2.1.1 第1步——安装依赖项 28
2.1.2 第2步——安装Theano 29
2.1.3 第3步——安装TensorFlow 29
2.1.4 第4步——安装Keras 30
2.1.5 第5步——测试Theano、TensorFlow和Keras 30
2.2 配置Keras 31
2.3 在Docker上安装Keras 32
2.4 在谷歌Cloud ML上安装Keras 34
2.5 在亚马逊AWS上安装Keras 36
2.6 在微软Azure上安装Keras 37
2.7 Keras API 39
2.7.1 从Keras架构开始 40
2.7.2 预定义神经网络层概述 40
2.7.3 预定义激活函数概述 43
2.7.4 损失函数概述 44
2.7.5 评估函数概述 44
2.7.6 优化器概述 44
2.7.7 一些有用的操作 44
2.7.8 保存和加载权重及模型结构 45
2.8 自定义训练过程的回调函数 45
2.8.1 检查点设置 45
2.8.2 使用TensorBoard 47
2.8.3 使用Quiver 47
2.9 小结 48
第3章 深度学习之卷积网络 49
3.1 深度卷积神经网络——DCNN 50
3.1.1 局部感受野 50
3.1.2 共享权重和偏置 51
3.1.3 池化层 51
3.2 DCNN示例——LeNet 52
3.2.1 用Keras构建LeNet代码 53
3.2.2 深度学习的本领 59
3.3 用深度学习网络识别CIFAR-10图像 60
3.3.1 用深度学习网络改进CIFAR-10的性能 64
3.3.2 通过数据增加改善CIFAR-10的性能 66
3.3.3 用CIFAR-10进行预测 68
3.4 用于大型图片识别的极深度卷积网络 69
3.4.1 用VGG-16网络识别猫 71
3.4.2 使用Keras内置的VGG-16网络模块 72
3.4.3 为特征提取回收内置深度学习模型 73
3.4.4 用于迁移学习的极深inception-v3网络 74
3.5 小结 76
第4章 生成对抗网络和WaveNet 78
4.1 什么是生成对抗网络 78
生成对抗网络的一些应用 80
4.2 深度卷积生成对抗网络 82
4.3 用Keras adversarial生成MNIST数据 85
4.4 用Keras adversarial生成CIFAR数据 91
4.5 WaveNet——一个学习如何产生音频的生成模型 99
4.6 小结 108
第5章 词嵌入 109
5.1 分布式表示 110
5.2 word2vec 110
5.2.1 skip-gram word2vec模型 111
5.2.2 CBOW word2vec模型 114
5.2.3 从模型中提取word2vec向量 116
5.2.4 使用word2vec的第三方实现 117
5.3 探索GloVe 121
5.4 使用预训练好的词向量 122
5.4.1 从头开始学习词向量 123
5.4.2 从word2vec中微调训练好的词向量 127
5.4.3 从GloVe中微调训练好的词向量 131
5.4.4 查找词向量 132
5.5 小结 136
第6章 循环神经网络——RNN 137
6.1 SimpleRNN单元 138
用Keras实现SimpleRNN——生成文本 139
6.2 RNN拓扑结构 143
6.3 梯度消失和梯度爆炸 145
6.4 长短期记忆网络——LSTM 146
用Keras实现LSTM——情感分析 148
6.5 门控循环单元——GRU 153
用Keras实现GRU——词性标注 154
6.6 双向RNN 160
6.7 有状态RNN 161
用Keras实现有状态LSTM——电量消费预测 161
6.8 其他RNN变体 167
6.9 小结 167
第7章 其他深度学习模型 169
7.1 Keras函数API 170
7.2 回归网络 172
Keras回归示例——预测空气中的苯含量 172
7.3 无监督学习——自动编码器 176
Keras自动编码器示例——句向量 178
7.4 构造深度网络 185
Keras示例——问答记忆网络 185
7.5 自定义Keras 192
7.5.1 Keras示例——使用lambda层 193
7.5.2 Keras示例——自定义归一化层 193
7.6 生成模型 196
7.6.1 Keras示例——Deep Dreaming 197
7.6.2 Keras示例——风格转换 204
7.7 小结 208
第8章 游戏中的AI 210
8.1 强化学习 211
8.1.1 最大化未来奖赏 212
8.1.2 Q学习 212
8.1.3 深度Q网络作为Q函数 213
8.1.4 探索和利用的平衡 214
8.1.5 经验回放，或经验值 215
8.2 示例——用Keras深度Q网络实现捕捉游戏 215
8.3 未来之路 226
8.4 小结 228
第9章 结束语 229
9.1 Keras 2.0——新特性 230
9.1.1 安装Keras 2.0 230
9.1.2 API的变化 231