第1章 深度学习基础 1
1.1数学基础 2
1.1.1矩阵论 2
1.1.2概率论 3
1.1.3优化分析 5
1.1.4框架分析 6
1.2稀疏表示 8
1.2.1稀疏表示初步 8
1.2.2稀疏模型 20
1.2.3稀疏认知学习、计算与识别的范式 24
1.3机器学习与神经网络 31
1.3.1机器学习 31
1.3.2神经网络 36
参考文献 38
第2章 深度前馈神经网络 41
2.1神经元的生物机理 42
2.1.1生物机理 42
2.1.2单隐层前馈神经网络 43
2.2多隐层前馈神经网络 45
2.3反向传播算法 47
2.4深度前馈神经网络的学习范式 48
参考文献 51
第3章 深度卷积神经网络 54
3.1卷积神经网络的生物机理及数学刻画 55
3.1.1生物机理 55
3.1.2卷积流的数学刻画 56
3.2深度卷积神经网络 61
3.2.1典型网络模型与框架 61
3.2.2学习算法及训练策略 69
3.2.3模型的优缺点分析 71
3.3深度反卷积神经网络 73
3.3.1卷积稀疏编码 73
3.3.2深度反卷积神经网络 75
3.3.3网络模型的性能分析与应用举例 77
3.4全卷积神经网络 77
3.4.1网络模型的数学刻画 77
3.4.2网络模型的性能分析及应用举例 79
参考文献 80
第4章 深度堆栈自编码网络 83
4.1自编码网络 84
4.1.1逐层学习策略 84
4.1.2自编码网络 84
4.1.3自编码网络的常见范式 87
4.2深度堆栈网络 90
4.3深度置信网络/深度玻尔兹曼机网络 93
4.3.1玻尔兹曼机/受限玻尔兹曼机 93
4.3.2深度玻尔兹曼机/深度置信网络 94
参考文献 96
第5章 稀疏深度神经网络 99
5.1稀疏性的生物机理 100
5.1.1生物视觉机理 100
5.1.2稀疏性响应与数学物理描述 102
5.2稀疏深度网络模型及基本性质 102
5.2.1数据的稀疏性 103
5.2.2稀疏正则 103
5.2.3稀疏连接 104
5.2.4稀疏分类器设计 106
5.2.5深度学习中关于稀疏的技巧与策略 108
5.3网络模型的性能分析 110
5.3.1稀疏性对深度学习的影响 110
5.3.2对比试验及结果分析 110
参考文献 111
第6章 深度融合网络 113
6.1深度SVM网络 114
6.1.1从神经网络到SVM 114
6.1.2网络模型的结构 115
6.1.3训练技巧 117
6.2深度PCA网络 117
6.3深度ADMM网络 119
6.4深度极限学习机 121
6.4.1极限学习机 121
6.4.2深度极限学习机 123
6.5深度多尺度几何网络 125
6.5.1深度脊波网络 126
6.5.2深度轮廓波网络 127
6.6深度森林 130
6.6.1多分辨特性融合 131
6.6.2级联特征深度处理 131
参考文献 133
第7章 深度生成网络 136
7.1生成式对抗网络的基本原理 137
7.1.1网络模型的动机 137
7.1.2网络模型的数学物理描述 139
7.2深度卷积对抗生成网络 141
7.2.1网络模型的基本结构 141
7.2.2网络模型的性能分析 144
7.2.3网络模型的典型应用 146
7.3深度生成网络模型的新范式 151
7.3.1生成式对抗网络的新范式 151
7.3.2网络框架的性能分析与改进 154
7.4应用驱动下的两种新生成式对抗网络 155
7.4.1堆栈生成式对抗网络 155
7.4.2对偶学习范式下的生成式对抗网络 158
7.5变分自编码器 160
参考文献 162
第8章 深度复卷积神经网络与深度二值神经网络 167
8.1深度复卷积神经网络 168
8.1.1网络模型构造的动机 168
8.1.2网络模型的数学物理描述 168
8.2深度二值神经网络 172
8.2.1网络基本结构 172
8.2.2网络的数学物理描述 173
8.2.3讨论 176
参考文献 177
第9章 深度循环和递归神经网络 180
9.1深度循环神经网络 181
9.1.1循环神经网络的生物机理 181
9.1.2简单的循环神经网络 181
9.1.3深度循环神经网络的数学物理描述 183
9.2深度递归神经网络 188
9.2.1简单的递归神经网络 188
9.2.2深度递归神经网络的优势 189
9.3长短时记忆神经网络 190
9.3.1改进动机分析 190
9.3.2长短时记忆神经网络的数学分析 191
9.4典型应用 192
9.4.1深度循环神经网络的应用举例 193
9.4.2深度递归神经网络的应用举例 194
参考文献 194
第10章 深度强化学习 197
10.1深度强化学习简介 198
10.1.1深度强化学习的基本思路 198
10.1.2发展历程 198
10.1.3应用新方向 200
10.2深度Q网络 201
10.2.1网络基本模型与框架 201
10.2.2深度Q网络的数学分析 202
10.3应用举例——AlphaGo 204
10.3.1 AlphaGo原理分析 205
10.3.2深度强化学习性能分析 206
参考文献 207
第11章 深度学习软件仿真平台及开发环境 209
11.1 Caffe平台 210
11.1.1 Caffe平台开发环境 210
11.1.2 AlexNet神经网络学习 210
11.1.3 AlexNet神经网络应用于图像分类 212
11.2 TensorFlow平台 215
11.2.1 TensorFlow平台开发环境 215
11.2.2深度卷积生成式对抗网DCGAN 216
11.2.3 DAN应用于样本扩充 217
11.3 MXNet平台 220
11.3.1 MXNet平台开发环境 220
11.3.2 VGG-NET深度神经网络学习 222
11.3.3图像分类应用任务 225
11.4 Torch 7平台 226
11.4.1 Torch 7平台开发环境 226
11.4.2二值神经网络 227
11.4.3二值神经网络应用于图像分类 229
11.5 Theano平台 233
11.5.1 Theano平台开发环境 233
11.5.2递归神经网络 234
11.5.3 LSTM应用于情感分类任务 237
参考文献 238
第12章 基于深度神经网络的SAR/PolSAR影像地物分类 240
12.1数据集及研究目的 241
12.1.1数据集特性分析 241
12.1.2基本数据集 244
12.1.3研究目的 247
12.2基于深度神经网络的SAR影像地物分类 251
12.2.1基于自适应自编码和超像素的SAR图像分类 251
12.2.2基于卷积中层特征学习的SAR图像分类 257
12.3基于第一代深度神经网络的PolSAR影像地物分类 263
12.3.1基于稀疏极化DBN的极化SAR地物分类 263
12.3.2基于深度PCA网络的极化SAR影像地物分类 267
12.4基于第二代深度神经网络的PolSAR影像地物分类 271
12.4.1基于深度复卷积网络的PolSAR影像地物分类 271
12.4.2基于生成式对抗网的PolSAR影像地物分类 274
12.4.3基于深度残差网络的PolSAR影像地物分类 278
参考文献 280
第13章 基于深度神经网络的SAR影像的变化检测 284
13.1数据集特点及研究目的 285
13.1.1研究目的 285
13.1.2数据基本特性 288
13.1.3典型数据集 291
13.2基于深度学习和SIFT特征的SAR图像变化检测 293
13.2.1基本方法与实现策略 294
13.2.2对比试验结果分析 295
13.3基于SAE的SAR图像变化检测 299
13.3.1基本方法与实现策略 299
13.3.2实验结果和分析 303
13.4基于CNN的SAR图像变化检测 305
13.4.1基本方法与实现策略 305
13.4.2对比试验结果分析 307
参考文献 309
第14章 基于深度神经网络的高光谱图像分类与压缩 311
14.1数据集及研究目的 312
14.1.1高光谱遥感技术 312
14.1.2高光谱遥感的研究目的 313
14.1.3常用的高光谱数据集 314
14.2基于深度神经网络的高光谱影像的分类 318
14.2.1基于堆栈自编码的高光谱影像的分类 319
14.2.2基于卷积神经网络的高光谱影像的分类 325
14.3基于深度神经网络的高光谱影像的压缩 333
14.3.1基于深度自编码网络的高光谱图像压缩方法 334
14.3.2实验设计及分类结果 336
参考文献 338
第15章 基于深度神经网络的目标检测与识别 340
15.1数据特性及研究目的 341
15.1.1研究目的 341
15.1.2常用数据集 343
15.2基于快速CNN的目标检测与识别 345
15.2.1 R-CNN 346
15.2.2 Fast R-CNN 348
15.2.3 Faster R-CNN 349
15.2.4对比实验结果与分析 352
15.3基于回归学习的目标检测与识别 353
15.3.1 YOLO 353
15.3.2 SSD 356
15.3.3对比实验结果与分析 359
15.4基于学习搜索的目标检测与识别 360
15.4.1基于深度学习的主动目标定位 360
15.4.2 AttentionNet 363
15.4.3对比实验结果与分析 365
参考文献 366
第16章 总结与展望 368
16.1深度学习发展历史图 369
16.1.1从机器学习、稀疏表示学习到深度学习 369
16.1.2深度学习、计算与认知的范式演进 370
16.1.3深度学习形成脉络 371
16.2深度学习的应用介绍 375
16.2.1目标检测与识别 375
16.2.2超分辨 376
16.2.3自然语言处理 376
16.3深度神经网络的可塑性 377
16.3.1旋转不变性 377
16.3.2平移不变性 378
16.3.3多尺度、多分辨和多通路特性 378
16.3.4稀疏性 379
16.4基于脑启发式的深度学习前沿方向 380
16.4.1生物神经领域关于认知、识别、注意等的最新研究进展 380
16.4.2深度神经网络的进一步研究方向 382
16.4.3深度学习的可拓展性 383
参考文献 383
附录A基于深度学习的常见任务处理介绍 386
附录B代码介绍 393