第一部分 经典模式识别 3
第1章 模式识别概述 3
1.1 模式识别的基本概念 3
1.2 模式识别系统 5
1.2.1 信息获取 5
1.2.2 数据处理 5
1.2.3 特征选择和提取 6
1.2.4 分类识别和分类决策 6
1.2.5 模式识别系统实例 7
1.3 模式识别的历史与现状 10
1.4 模式识别方法 11
1.4.1 模板匹配 11
1.4.2 统计模式识别 11
1.4.3 结构句法模式识别 12
1.4.4 模糊模式识别方法 12
1.4.5 人工神经网络方法 13
1.5 模式识别应用领域 14
1.5.1 文本识别 14
1.5.2 语音识别 14
1.5.3 指纹识别 15
1.5.4 视频识别 15
习题 16
参考文献 16
第2章 贝叶斯决策 17
2.1 最小错误率贝叶斯决策 17
2.2 最小风险贝叶斯决策 21
2.3 判别函数和决策面 23
2.4 正态分布下的贝叶斯决策 26
2.4.1 正态分布概率密度函数的定义 26
2.4.2 多元正态概率型下的贝叶斯分类器 28
习题 32
参考文献 32
第3章 线性和非线性判别分析 33
3.1 Fisher线性判别分析 33
3.2 感知器准则 36
3.2.1 基本概念 36
3.2.2 感知准则函数及其学习方法 37
3.3 广义线性判别分析 39
3.4 k近邻 40
3.4.1 k近邻算法简介 40
3.4.2 k近邻算法模型 41
3.4.3 k近邻算法中距离度量 41
3.4.4 k近邻算法中k值的选择 41
3.4.5 k近邻算法分类决策规则 42
3.5 决策树 42
3.5.1 问题集 43
3.5.2 决策树分支准则 43
3.5.3 停止分支准则 44
3.5.4 类分配规则 44
3.5.5 过拟合与决策树的剪枝 45
习题 46
参考文献 46
第4章 无监督模式识别 47
4.1 高斯混合模型 47
4.1.1 单高斯模型 48
4.1.2 高斯混合模型 48
4.1.3 EM算法求解高斯混合模型 50
4.2 动态聚类算法 51
4.2.1 K均值算法 52
4.2.2 模糊聚类算法 55
4.3 层次聚类算法 57
4.3.1 自上而下的算法 58
4.3.2 自下而上的算法 59
习题 62
参考文献 62
第5章 特征选择 63
5.1 基本概念 63
5.2 类别可分离性判据 64
5.2.1 基于距离的可分离性判据 64
5.2.2 基于概率分布的可分离性判据 66
5.2.3 基于熵的可分性判据 68
5.2.4 基于最小冗余最大相关性判据 69
5.3 特征子集的选择 70
5.3.1 单独最优特征选择 70
5.3.2 顺序后向选择 71
5.3.3 顺序前向选择 72
5.3.4 增ι减r选择 72
5.3.5 浮动搜索 73
5.3.6 分支定界搜索 74
5.4 基于随机搜索的特征选择 75
习题 77
参考文献 77
第6章 特征提取 78
6.1 主成分分析 78
6.2 核主成分分析 80
6.3 线性判别分析 81
6.4 多维缩放 83
6.5 流形学习 84
6.5.1 等度量映射 85
6.5.2 局部线性嵌入 86
习题 88
参考文献 88
第7章 经典人工神经网络 89
7.1 人工神经网络 89
7.1.1 神经元结构 90
7.1.2 感知器 93
7.1.3 反向传播 95
7.2 常见神经网络 98
7.2.1 SOM网络 98
7.2.2 RBF网络 99
7.2.3 BP神经网络 100
7.2.4 Hopfield网络 101
习题 102
参考文献 103
第二部分 现代模式识别 107
第8章 支持向量机 107
8.1 基本概念 107
8.1.1 间隔的概念 107
8.1.2 最大间隔分离超平面 110
8.2 线性可分支持向量机的学习 110
8.2.1 线性可分支持向量机学习算法 110
8.2.2 线性可分支持向量机的对偶学习 111
8.3 线性支持向量机的学习 113
8.4 非线性支持向量机的学习 115
8.4.1 核函数的定义 116
8.4.2 核函数有效性判定 116
8.4.3 常用的核函数 117
8.4.4 非线性支持向量机的学习 118
8.5 SMO算法 118
习题 123
参考文献 124
第9章 组合分类器 125
9.1 组合分类概述 125
9.1.1 个体与组合间的关系 125
9.1.2 分类器组合评价 126
9.2 Bagging算法 127
9.2.1 Bagging 127
9.2.2 随机森林 130
9.3 Boosting算法 130
9.4 XGBoost算法 135
习题 141
参考文献 142
第10章 半监督学习 143
10.1 什么是半监督学习 143
10.2 半监督分类 145
10.2.1 生成式模型 146
10.2.2 半监督支持向量机 147
10.2.3 基于图的半监督学习 149
10.2.4 基于分歧的方法 150
10.3 半监督聚类 152
习题 153
参考文献 153
第三部分 深度学习模式识别 157
第11章 深度神经网络 157
11.1 深度堆栈自编码网络 157
11.1.1 自编码网络 157
11.1.2 深度堆栈网络 158
11.2 受限玻尔兹曼机与深度置信网络 159
11.2.1 受限玻尔兹曼机 159
11.2.2 深度置信网络 160
11.3 卷积神经网络 161
11.3.1 卷积神经网络概述 161
11.3.2 卷积操作介绍与感受野的计算 163
11.3.3 深度卷积神经网络结构的发展 166
11.4 深度循环神经网络 171
11.4.1 循环神经元 172
11.4.2 RNN网络 173
11.4.3 LSTM网络 176
11.4.4 循环网络应用 180
11.5 生成对抗网络 181
11.5.1 概述 181
11.5.2 基本思想 181
11.5.3 基本模型及训练过程 182
11.5.4 GAN的优缺点及变体 183
11.5.5 GAN的应用 185
习题 185
参考文献 186
第12章 强化学习 187
12.1 强化学习简介 187
12.2 强化学习的数学基础 188
12.2.1 马尔可夫决策过程 189
12.2.2 状态值函数与状态动作值函数 190
12.3 强化学习算法 192
12.3.1 基于模型的动态规划方法 193
12.3.2 基于无模型的强化学习方法 194
12.3.3 基于策略梯度的强化学习方法 197
12.3.4 深度强化学习 198
习题 200
参考文献 201
第13章 宽度学习 202
13.1 宽度学习提出背景 202
13.2 宽度学习系统简介与随机向量函数链接神经网络 203
13.2.1 随机向量函数链接神经网络与宽度学习系统 203
13.2.2 岭回归算法 204
13.2.3 函数链接神经网络的动态逐步更新算法 204
13.3 宽度学习基本模型 205
13.3.1 宽度学习基本模型 205
13.3.2 BLS增量形式 207
13.4 宽度学习的优势特性 209
习题 210
参考文献 210
第14章 图卷积神经网络 211
14.1 图卷积理论基础 211
14.2 图卷积推导 213
14.2.1 卷积提取图特征 213
14.2.2 GCN推导 214
14.3 图卷积应用 217
14.3.1 自适应图卷积网络简介 217
14.3.2 基于时空图卷积网络的骨架识别 220
习题 222
参考文献 222
第15章 语音、文本、图像与视频模式识别 224
15.1 基于SVM的手写体数字识别技术 224
15.1.1 手写体数字识别背景 224
15.1.2 手写体数字识别流程 225
15.1.3 手写体数字识别算法 225
15.1.4 基于SVM的手写体数字识别 230
15.2 基于BP神经网络的图像识别技术 232
15.2.1 图像识别背景 232
15.2.2 图像识别基本原理 232
15.2.3 BP神经网络的设计 233
15.2.4 基于BP神经网络的图像识别 234
15.3 基于高斯混合模型的说话人识别技术 238
15.3.1 说话人识别背景 238
15.3.2 说话人识别的基本流程 238
15.3.3 基于高斯混合模型的说话人识别 240
15.4 基于VGG19的视频行人检测技术 240
15.4.1 视频检测背景 240
15.4.2 视频行人检测流程 240
习题 244
参考文献 244