普通高等教育新工科人才培养规划教材 大数据专业 深度学习 卷积神经网络算法原理与应用PDF电子书下载

第1章 绪论 1

1.1深度学习 1

1.1.1概述 1

1.1.2基本思想 2

1.1.3基本分类 2

1.2卷积神经网络技术的发展与应用 4

1.2.1卷积神经网络的发展 4

1.2.2卷积神经网络的应用 5

1.3自编码器的发展及其应用 5

1.3.1自编码器的发展 5

1.3.2自编码器的应用 5

第2章 相关数学基础知识 7

2.1矩阵 7

2.1.1基本概念 7

2.1.2矩阵运算 8

2.2范数 11

2.2.1范数的定义 11

2.2.2范数的分类及性质 11

2.3卷积运算 13

2.3.1定义 13

2.3.2多维数组的卷积 14

2.4激活函数 15

2.4.1线性激活函数 15

2.4.2非线性激活函数 16

2.5信息熵 24

2.5.1定义 24

2.5.2条件熵 25

2.5.3相对熵 26

2.5.4交叉熵 26

习题 27

第3章 神经网络 28

3.1人工神经网络 28

3.1.1人工神经元模型 28

3.1.2人工神经网络结构 29

3.2 BP神经网络 30

3.2.1原理 30

3.2.2网络结构 31

3.2.3 BP神经算法原理 32

3.2.4信号传递过程的实现 34

3.2.5算法分析 35

习题 36

第4章 卷积神经网络 37

4.1原理 37

4.1.1动机 37

4.1.2卷积神经网络特点 37

4.2 LeNet-5 38

4.2.1网络总体结构 38

4.2.2分层结构 39

4.3反向传播 43

4.3.1全连接的反向过程 43

4.3.2卷积的反向过程 43

4.3.3池化的反向过程 46

4.3.4输出层反向传播 47

4.3.5权值更新 48

习题 49

第5章 卷积神经网络扩展机制 50

5.1注意力机制 50

5.1.1注意机制的分类 50

5.1.2深度学习中的注意机制 51

5.2卷积变体 53

5.2.1组卷积 53

5.2.2深度可分离卷积 55

5.2.3膨胀卷积 56

5.2.4全卷积网络 57

习题 59

第6章 自编码器网络 60

6.1相关概念 60

6.1.1稀疏性 60

6.1.2稀疏编码 60

6.2自编码器概述 61

6.3自编码器原理 62

6.4自编码器的拓展网络 65

6.4.1稀疏自编码 65

6.4.2栈式自编码 67

6.4.3去噪自编码 69

6.4.4压缩自编码 70

6.5自编码器的编程实现 72

习题 72

第7章 卷积神经网络的优化 73

7.1正则化与归一化 73

7.1.1概念 73

7.1.2参数范数惩罚 74

7.1.3 Dropout 75

7.1.4归一化 77

7.2基于梯度的优化方法 78

7.2.1基本算法 79

7.2.2自适应学习率算法 84

习题 87

第8章 卷积神经网络的典型结构 88

8.1概述 88

8.2 AlexNet网络 88

8.2.1 AlexNet基本框架 88

8.2.2 AlexNet数据处理 89

8.3 GoogLenet网络 93

8.3.1背景 93

8.3.2 Inception V 1 93

8.3.3 Inception V2与V3 94

8.3.4 Inception V4 95

8.3.5 Xception 96

8.4 ResNet网络结构 97

8.4.1 ResNet网络 97

8.4.2 ResNeXt 98

8.5 ShuffleNet网络结构 100

8.5.1网络简介 100

8.5.2模型结构 100

8.5.3 ShuffleNet V2 102

8.6 DenseNet网络结构 102

8.6.1 Dense block 103

8.6.2整体结构 103

8.7数据集介绍 104

8.7.1图像分类数据集 104

8.7.2语义分割数据集 109

第9章 卷积神经网络的压缩 112

9.1核的稀疏化 112

9.2剪枝 113

9.2.1剪枝的概念 113

9.2.2剪枝的类型 113

9.3模型量化 114

9.3.1量化转换 114

9.3.2向量化 115

9.4模型蒸馏 116

参考文献 119

附录 125

BP神经网络实现人脸识别程序 125

自编码器程序 129

AlexNet程序 130

GoogLeNet程序 133

ResNeXt程序 136

DenseNet程序 141