第1章 绪论 1
1.1模式识别概论 1
1.1.1模式识别基本概念 1
1.1.2模式识别系统的组成 2
1.1.3模式识别方法 3
1.2模式识别数学基础 5
1.2.1随机向量 5
1.2.2正态分布 7
第2章 判别函数方法 10
2.1引言 10
2.2线性判别函数 10
2.2.1两类的线性判别 10
2.2.2多类的线性判别 11
2.3 Fisher判别分析法 12
2.3.1 Fisher判别分析 12
2.3.2多重判别分析 15
2.4广义线性判别函数 16
2.4.1一维的例子 16
2.4.2多维的例子 17
2.5感知准则函数和梯度下降法 18
2.5.1基本概念 18
2.5.2梯度下降法 19
2.5.3感知器准则函数 20
2.6最小平方误差准则函数 21
2.6.1 MSE准则函数及其伪逆解 21
2.6.2伪逆法 22
2.6.3梯度下降法 22
2.6.4 Widrow-Hoff算法 22
2.7适合于多类直接分类的决策树方法 23
2.7.1评价准则 24
2.7.2基于信息熵的信息增益 25
2.7.3 ID3决策树算法的递归描述 25
2.7.4 ID3算法举例 26
习题 27
第3章Bayes决策理论 29
3.1最小错误率贝叶斯决策 29
3.2最小风险的贝叶斯决策 31
3.3正态分布的贝叶斯分类器 32
3.3.1各类协方差都相等，且各分量相互独立情况 33
3.3.2各类协方差都相等，但各分量不相互独立情况 33
3.3.3一般情况 34
3.3.4数字实例 36
3.4纽曼-皮尔逊（Neyman-Pearson，NP）决策规则 37
3.5最小最大决策 40
习题 42
第4章 错误率以及密度函数的估计 43
4.1错误率 43
4.1.1正态、等协方差情况下贝叶斯分类器错误率公式 43
4.1.2错误率的上界 45
4.1.3错误率的实验估计 49
4.2密度函数估计——参数法 52
4.2.1最大似然估计 52
4.2.2逐次的贝叶斯估计和贝叶斯学习 55
习题 59
第5章 近邻分类法 61
5.1单中心点情况 61
5.2多中心点情况 62
5.3最近邻法 62
5.4 K近邻法 66
5.5最近邻法的缺点及改进方法 67
5.5.1剪辑近邻法 67
5.5.2凝聚法 68
习题 68
第6章 聚类分析 70
6.1距离及相似性度量 71
6.2聚类准则 72
6.2.1离差平方和准则 72
6.2.2离散度准则 73
6.3系统聚类法 75
6.3.1最短距离法 76
6.3.2最长距离法和中间距离法 76
6.3.3重心法、类平均和可变类平均法 77
6.3.4离差平方和法 79
6.3.5系统聚类法的性质 81
6.4动态聚类法 83
6.4.1 K-means算法 83
6.4.2 ISODATA算法 85
习题 88
第7章 特征选择 90
7.1维数问题和类内距离 90
7.1.1维数问题 90
7.1.2类内距离 91
7.2集群变换 93
7.2.1集群变换的基本思想 93
7.2.2用集群变换进行特征选择 95
7.2.3集群变换的例子 97
7.3 K-L变换 99
7.3.1从表达模式看K-L变换 99
7.3.2 K-L变换举例 101
7.3.3混合白化后抽取特征 103
7.3.4混合白化后抽取特征的例子 105
7.4分散度 106
7.4.1分散度的概念 107
7.4.2分散度用于特征选择 111
习题 118
第8章 支持向量机理论 120
8.1引言 120
8.2支持向量机理论的数学基础 120
8.2.1无约束极值 120
8.2.2等式约束下的条件极值与Lagrange函数法 120
8.2.3不等式约束下的优化问题 121
8.3最大间隔分类器 123
8.3.1最大间隔线性分类器 123
8.3.2广义最大间隔线性分类器 125
8.4支持向量机 127
8.4.1核函数与核技巧（Kernel Trick） 127
8.4.2支持向量机 129
8.4.3多类问题的支持向量机分类 130
8.4.4支持向量机的实现方法和软件包 131
第9章 人工神经网络 132
9.1人工神经网络概述 132
9.1.1引言 132
9.1.2人工神经网络基础 133
9.2前馈神经网络及其主要算法 137
9.2.1 MP模型 137
9.2.2感知器模型 138
9.2.3前馈神经网络 139
9.2.4反向传播算法（BP法） 139
9.2.5径向基函数网络 142
9.3反馈网络——Hopfield网络 143
9.3.1 Hopfield网络概述 143
9.3.2离散Hopfield网络（DHNN） 144
9.3.3联想存储器 145
9.3.4优化计算 146
9.3.5连续Hopfield网络（CHNN） 146
9.4自适应共振理论神经网络 147
9.4.1概述 147
9.4.2 ART网络的结构及原理 147
9.4.3 ART1网络算法步骤 150
9.5自组织特征映射神经网络 151
9.5.1概述 151
9.5.2 SOFM网络模型及功能 151
9.5.3 SOFM网络原理 152
第10章 基于隐马尔科夫模型的识别方法 156
10.1一阶马尔科夫模型（MM） 156
10.2一阶隐马尔科夫模型（HMM） 157
10.2.1离散马尔科夫过程 158
10.2.2隐马尔科夫模型的概念 160
10.2.3隐马尔科夫模型的参数 162
10.2.4隐马尔科夫模型的三个基本问题 163
参考文献 172