第1章 概论 1
1.1 模式与模式识别 1
1.2 模式识别的主要方法 3
1.3 监督模式识别与非监督模式识别 5
1.4 模式识别系统举例 6
1.5 模式识别系统的典型构成 10
1.6 本书的主要内容 12
第2章 统计决策方法 13
2.1 引言：一个简单的例子 13
2.2 最小错误率贝叶斯决策 15
2.3 最小风险贝叶斯决策 18
2.4 两类错误率、Neyman-Pearson决策与ROC曲线 21
2.5 正态分布时的统计决策 25
2.5.1 正态分布及其性质回顾 25
2.5.2 正态分布概率模型下的最小错误率贝叶斯决策 28
2.6 错误率的计算 33
2.6.1 正态分布且各类协方差矩阵相等情况下错误率的计算 33
2.6.2 高维独立随机变量时错误率的估计 35
2.7 离散概率模型下的统计决策举例 36
2.8 小结与讨论 41
第3章 概率密度函数的估计 43
3.1 引言 43
3.2 最大似然估计 45
3.2.1 最大似然估计的基本原理 45
3.2.2 最大似然估计的求解 46
3.2.3 正态分布下的最大似然估计 47
3.3 贝叶斯估计与贝叶斯学习 48
3.3.1 贝叶斯估计 49
3.3.2 贝叶斯学习 51
3.3.3 正态分布时的贝叶斯估计 51
3.3.4 其他分布的情况 53
3.4 概率密度估计的非参数方法 53
3.4.1 非参数估计的基本原理与直方图方法 54
3.4.2 kN 近邻估计方法 55
3.4.3 Parzen窗法 56
3.5 讨论 59
第4章 线性分类器 60
4.1 引言 60
4.2 线性判别函数的基本概念 61
4.3 Fisher线性判别分析 62
4.4 感知器 66
4.5 最小平方误差判别 69
4.6 最优分类超平面与线性支持向量机 70
4.6.1 最优分类超平面 71
4.6.2 大间隔与推广能力 74
4.6.3 线性不可分情况 75
4.7 多类线性分类器 77
4.7.1 多个两类分类器的组合 78
4.7.2 多类线性判别函数 80
4.8 小结与讨论 81
第5章 非线性分类器 82
5.1 引言 82
5.2 分段线性判别函数 82
5.2.1 分段线性距离分类器 83
5.2.2 一般的分段线性判别函数 84
5.3 二次判别函数 86
5.4 多层感知器神经网络 87
5.4.1 神经元与感知器 88
5.4.2 用多个感知器实现非线性分类 89
5.4.3 采用反向传播算法的多层感知器 91
5.4.4 多层感知器网络用于模式识别 97
5.4.5 神经网络结构的选择 99
5.4.6 前馈神经网络与传统模式识别方法的关系 100
5.4.7 人工神经网络的一般知识 102
5.5 支持向量机 103
5.5.1 广义线性判别函数 104
5.5.2 核函数变换与支持向量机 105
5.5.3 支持向量机应用举例 109
5.5.4 支持向量机的实现算法 111
5.5.5 多类支持向量机 112
5.5.6 用于函数拟合的支持向量机 114
5.6 核函数机器 116
5.6.1 大间隔机器与核函数机器 116
5.6.2 核Fisher判别 116
5.7 小结与讨论 119
第6章 其他分类方法 120
6.1 近邻法 120
6.1.1 最近邻法 120
6.1.2 k-近邻法 122
6.1.3 近邻法的快速算法 123
6.1.4 剪辑近邻法 125
6.1.5 压缩近邻法 130
6.2 决策树与随机森林 131
6.2.1 非数值特征 131
6.2.2 决策树 132
6.2.3 过学习与决策树的剪枝 137
6.2.4 随机森林 139
6.3 罗杰斯特回归 140
6.4 Boosting方法 143
6.5 讨论 144
第7章 特征选择 145
7.1 引言 145
7.2 特征的评价准则 146
7.2.1 基于类内类间距离的可分性判据 146
7.2.2 基于概率分布的可分性判据 148
7.2.3 基于熵的可分性判据 150
7.2.4 利用统计检验作为可分性判据 151
7.3 特征选择的最优算法 152
7.4 特征选择的次优算法 154
7.5 特征选择的遗传算法 156
7.6 以分类性能为准则的特征选择方法 157
7.7 讨论 159
第8章 特征提取 161
8.1 引言 161
8.2 基于类别可分性判据的特征提取 161
8.3 主成分分析方法 163
8.4 Karhunen-Loève变换 165
8.4.1 K-L变换的基本原理 165
8.4.2 用于监督模式识别的K-L变换 167
8.5 K-L变换在人脸识别中的应用举例 170
8.6 高维数据的低维显示 172
8.7 多维尺度法 173
8.7.1 MDS的基本概念 173
8.7.2 古典尺度法 174
8.7.3 度量型MDS 176
8.7.4 非度量型MDS 176
8.7.5 MDS在模式识别中的应用 177
8.8 非线性变换方法简介 178
8.8.1 核主成分分析（KPCA） 179
8.8.2 IsoMap方法和LLE方法 180
8.9 讨论 181
第9章 非监督模式识别 183
9.1 引言 183
9.2 基于模型的方法 184
9.3 混合模型的估计 186
9.3.1 非监督最大似然估计 186
9.3.2 正态分布情况下的非监督参数估计 189
9.4 动态聚类算法 192
9.4.1 C均值算法 192
9.4.2 ISODATA方法 195
9.4.3 基于样本与核的相似性度量的动态聚类算法 197
9.5 模糊聚类方法 198
9.5.1 模糊集的基本知识 198
9.5.2 模糊C均值算法 200
9.5.3 改进的模糊C均值算法 201
9.6 分级聚类方法 203
9.7 自组织映射神经网络 206
9.7.1 SOM网络结构 206
9.7.2 SOM学习算法和自组织特性 208
9.7.3 SOM用于模式识别 210
9.8 讨论 213
第10章 模式识别系统的评价 215
10.1 监督模式识别方法的错误率估计 215
10.1.1 训练错误率 215
10.1.2 测试错误率 216
10.1.3 交叉验证 219
10.1.4 自举法与．632估计 220
10.2 有限样本下错误率的区间估计问题 221
10.2.1 问题的提出 221
10.2.2 用扰动重采样估计SVM错误率的置信区间 222
10.3 特征提取与选择对分类器性能估计的影响 225
10.4 从分类的显著性推断特征与类别的关系 227
10.5 非监督模式识别系统性能的评价 228
10.6 讨论 230
索引 231
参考文献 238