深度学习 上PDF电子书下载

1 深度学习概述 1

1.1 人工智能与深度学习 1

1.2 深度学习的发展 2

1.2.1 深度学习的提出 2

1.2.2 深度学习的发展历程 4

1.2.3 深度学习的知识体系 23

1.2.4 深度学习的数学基础 25

1.2.5 深度学习的典型应用 27

1.2.6 深度学习当前面临的挑战 33

1.2.7 深度学习的未来 35

1.3 阅读材料 36

参考文献 37

2 机器学习基础 44

2.1 机器学习基本概念 44

2.1.1 定义 44

2.1.2 数据 45

2.1.3 机器学习的三要素 45

2.1.4 归纳偏好 47

2.2 机器学习发展历程 48

2.2.1 符号学派 48

2.2.2 联结学派 50

2.2.3 进化学派 51

2.2.4 贝叶斯学派 52

2.2.5 类推学派 53

2.3 生成模型和判别模型 54

2.4 监督学习 55

2.4.1 任务描述 55

2.4.2 评价标准 59

2.4.3 常用方法 60

2.5 无监督学习 73

2.5.1 任务描述 73

2.5.2 评价标准 74

2.5.3 常用方法 75

2.6 强化学习 88

2.6.1 任务描述 88

2.6.2 评价标准 90

2.6.3 常用方法 91

2.7 阅读材料 96

参考文献 97

3 早期神经网络 100

3.1 早期研究成果 100

3.1.1 神经网络雏形 100

3.1.2 MCP神经元模型 101

3.1.3 Hebbian学习规则 103

3.2 感知机 104

3.3 多层感知机 108

3.3.1 多层感知机的结构 108

3.3.2 多层感知机的通用近似性 109

3.3.3 前向传播过程 111

3.3.4 反向传播过程 112

3.3.5 训练过程实例 116

3.4 其他神经网络模型 121

3.4.1 自组织映射 121

3.4.2 Hopfield网络 123

3.5 神经网络的激活函数 125

3.6 深度的必要性 129

3.7 阅读材料 133

参考文献 134

4 深度学习的优化 136

4.1 深度学习优化的困难和挑战 136

4.1.1 局部极小值问题 137

4.1.2 鞍点问题 137

4.1.3 海森矩阵病态问题 138

4.1.4 梯度爆炸 139

4.1.5 梯度消失 140

4.2 梯度下降基本方法 141

4.2.1 批梯度下降 142

4.2.2 随机梯度下降 143

4.2.3 小批量梯度下降 144

4.3 动量 145

4.3.1 动量法 145

4.3.2 Nesterov动量法 147

4.4 自适应学习率算法 148

4.4.1 Adagrad算法 149

4.4.2 RMSprop算法 151

4.4.3 AdaDelta算法 153

4.4.4 Adam算法 155

4.4.5 Adamax算法 161

4.4.6 Nadam算法 162

4.4.7 AMSgrad算法 163

4.5 二阶近似法 165

4.5.1 牛顿法 165

4.5.2 DFP算法 166

4.5.3 BFGS算法 167

4.5.4 L-BFGS算法 168

4.5.5 共轭梯度算法 169

4.6 超参数调节方法 171

4.6.1 权值初始化 171

4.6.2 自动调节方法 171

4.6.3 手动调节方法 173

4.7 策略方法 174

4.7.1 批归一化 175

4.7.2 预训练 175

4.7.3 神经网络的压缩和加速 176

4.8 阅读材料 179

参考文献 180

5 正则化 184

5.1 理论框架 184

5.1.1 基本概念 184

5.1.2 过拟合与欠拟合 185

5.1.3 神经网络领域的正则化框架 186

5.2 参数范数惩罚 187

5.2.1 L2正则化 187

5.2.2 L1正则化 188

5.3 基于数据的正则化 189

5.3.1 数据集扩增 189

5.3.2 Dropout 190

5.4 基于优化过程的正则化 195

5.5 基于函数模型的正则化 197

5.6 基于误差函数的正则化 198

5.7 阅读材料 199

参考文献 199

6 卷积神经网络 201

6.1 卷积神经网络的神经科学基础 201

6.2 卷积神经网络的基本结构 202

6.3 卷积神经网络的操作 205

6.3.1 卷积层操作 205

6.3.2 池化层操作 208

6.3.3 激活函数 211

6.4 设计卷积神经网络的动机 215

6.4.1 局部连接 215

6.4.2 参数共享 218

6.4.3 理解卷积层 219

6.4.4 理解整流线性单元 223

6.4.5 理解池化层 225

6.4.6 卷积与池化作为强先验分布 229

6.5 卷积神经网络训练 230

6.5.1 卷积神经网络训练过程 230

6.5.2 输入图像预处理 237

6.5.3 卷积神经网络训练技巧 240

6.5.4 卷积神经网络实例 241

6.6 CNN用于图像分类 244

6.6.1 AlexNet 244

6.6.2 ZFNet 246

6.6.3 VGGNet 249

6.6.4 Inception 250

6.7 残差神经网络 258

6.7.1 ResNet 258

6.7.2 ResNetV2 262

6.7.3 ResNeXt 267

6.7.4 DenseNet 268

6.7.5 MobileNet 270

6.7.6 ShuffleNet 271

6.7.7 Wide Residual Networks 272

6.7.8 Dual Path Network 274

6.8 CNN用于目标检测 275

6.8.1 R-CNN 276

6.8.2 FastR-CNN 278

6.8.3 Faster R-CNN 280

6.8.4 Mask R-CNN 282

6.9 CNN用于像素级语义分割 285

6.10 CNN用于超高分辨率成像 288

6.11 球形卷积神经网络 292

6.11.1 球形卷积神经网络设计动机 292

6.11.2 球形空间与旋转组之间的关系 293

6.11.3 应用G-FFT代替卷积操作 294

6.11.4 球形卷积神经网络实验 295

6.12 CNN用于文本处理 296

6.12.1 KimCNN 296

6.12.2 DCNN 298

6.13 胶囊网络 301

6.13.1 动态路由胶囊网络 301

6.13.2 EM路由矩阵胶囊网络 308

6.13.3 胶囊与卷积神经网络的区别 313

6.14 阅读材料 314

参考文献 315

7 循环神经网络 323

7.1 简单循环神经网络 324

7.1.1 简单循环神经网络的结构 324

7.1.2 循环神经网络的算法 328

7.2 循环神经网络的训练 330

7.2.1 损失函数和dropout 330

7.2.2 循环神经网络的训练技巧 331

7.3 长短期记忆神经网络 332

7.3.1 长短期记忆神经网络的起源 332

7.3.2 长短期记忆神经网络的结构 334

7.3.3 长短期记忆神经网络的算法 335

7.4 长短期记忆神经网络的训练 340

7.4.1 学习率 340

7.4.2 长短期记忆神经网络的训练技巧 340

7.5 RNN和LSTM的变体 343

7.5.1 RNN的简单变体 343

7.5.2 增强RNN 350

7.5.3 LSTM的变体 357

7.6 递归神经网络 367

7.6.1 递归神经网络的结构 367

7.6.2 递归神经网络的前向计算 368

7.6.3 递归神经网络的反向传播 369

7.7 循环神经网络的应用 370

7.7.1 词向量 370

7.7.2 评价指标 372

7.7.3 机器翻译 373

7.7.4 情感分析 377

7.7.5 对话模型 380

7.7.6 诗歌生成 383

7.7.7 图片描述 384

7.7.8 语音识别 387

7.7.9 手写识别 390

7.8 阅读材料 392

参考文献 393

8 注意力机制和记忆网络 397

8.1 注意力机制的概念 397

8.2 注意力机制的分类 399

8.2.1 基于项的注意力和基于位置的注意力 400

8.2.2 全局注意力和局部注意力 402

8.2.3 自身注意力机制 404

8.3 注意力机制和RNN的结合 405

8.4 注意力机制的应用 406

8.4.1 目标检测 406

8.4.2 图片标注 407

8.4.3 机器翻译 409

8.4.4 问答系统 413

8.5 注意力变体 418

8.5.1 结构化注意力机制 418

8.5.2 目标端注意力 420

8.5.3 单调对齐注意力 422

8.5.4 循环注意力 424

8.5.5 注意力之上的注意力 425

8.6 记忆网络 427

8.6.1 记忆网络基础模型 427

8.6.2 分层记忆网络 429

8.6.3 端到端记忆网络 431

8.6.4 动态记忆网络 433

8.6.5 神经图灵机 434

8.6.6 记忆网络的应用 438

8.7 阅读材料 440

参考文献 441