模式识别 第2版PDF电子书下载

第1章 绪论 1

1.1 模式识别和模式的概念 1

1.2 模式识别系统 2

1.3 关于模式识别的一些基本问题 3

第二版前言 5

第一版前言 7

1.4 关于本书的内容安排 8

第2章 贝叶斯决策理论 9

2.1 引言 9

2.2 几种常用的决策规则 9

2.2.1 基于最小错误率的贝叶斯决策 9

2.2.2 基于最小风险的贝叶斯决策 13

2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策 16

2.2.4 最小最大决策 18

2.2.5 序贯分类方法 20

2.2.6 分类器设计 20

2.3 正态分布时的统计决策 24

2.3.1 正态分布概率密度函数的定义及性质 24

2.3.2 多元正态概率型下的最小错误率贝叶斯判别函数和决策面 30

2.4 关于分类器的错误率问题 34

2.4.1 在一些特殊情况下错误率的理论计算 35

2.4.2 错误率的上界 38

2.5 讨论 42

习题 43

第3章 概率密度函数的估计 46

3.1 引言 46

3.2 参数估计的基本概念 47

3.2.1 最大似然估计 48

3.2.2 贝叶斯估计和贝叶斯学习 50

3.3 正态分布的监督参数估计 54

3.3.1 最大似然估计示例 54

3.3.2 贝叶斯估计和贝叶斯学习示例 55

3.4 非监督参数估计 59

3.4.1 非监督最大似然估计中的几个问题 59

3.4.2 正态分布情况下的非监督参数估计 62

3.5 总体分布的非参数估计 65

3.5.1 基本方法 65

3.5.2 Parzen窗法 67

3.5.3 kN-近邻估计 71

3.6 关于分类器错误率的估计问题 72

3.6.1 关于已设计好分类器时错误率的估计问题 73

3.6.2 关于未设计好分类器时错误率的估计问题 75

3.7 讨论 80

习题 81

第4章 线性判别函数 83

4.1 引言 83

4.1.1 线性判别函数的基本概念 84

4.1.2 广义线性判别函数 85

4.1.3 设计线性分类器的主要步骤 87

4.2 Fisher线性判别 87

4.3 感知准则函数 91

4.3.1 几个基本概念 91

4.3.2 感知准则函数及其梯度下降算法 93

4.4 最小错分样本数准则 95

4.4.1 解线性不等式组的共轭梯度法 95

4.4.2 解线性不等式组的搜索法 98

4.5 最小平方误差准则函数 101

4.5.1 平方误差准则函数及其伪逆解 101

4.5.3 随机MSE准则函数及其随机逼近算法 104

4.5.2 MSE准则函数的梯度下降算法 104

4.6 随机最小错误率线性判别准则函数 106

4.6.1 随机最小错误率线性判别准则函数 106

4.6.2 关于Jer(α)准则的随机逼近算法 109

4.6.3 设计考虑和应用实例 111

4.7 多类问题 112

4.7.1 多类问题的基本概念 112

4.7.2 决策树简介 113

4.8 讨论 117

习题 117

第5章 非线性判别函数 120

5.1 分段线性判别函数的基本概念 120

5.1.1 基于距离的分段线性判别函数 120

5.1.2 分段线性判别函数 121

5.1.3 分段线性分类器设计的一般考虑 122

5.2.1 分段线性判别函数的表示 124

5.2 用凹函数的并表示分段线性判别函数 124

5.2.2 算法步骤 126

5.3 用交遇区的样本设计分段线性分类器 129

5.3.1 算法基本思想 129

5.3.2 紧互对原型对与交遇区 129

5.3.3 局部训练法 130

5.3.4 决策规则 131

5.4 二次判别函数 133

习题 134

第6章 近邻法 136

6.1 最近邻法 136

6.1.1 最近邻决策规则 136

6.1.2 最近邻法的错误率分析 136

6.2 k-近邻法 140

6.3.1 近邻法的快速算法 142

6.3 关于减少近邻法计算量和存储量的考虑 142

6.3.2 剪辑近邻法 145

6.3.3 压缩近邻法 153

6.4 可做拒绝决策的近邻法 154

6.4.1 具有拒绝决策的k-近邻法 154

6.4.2 具有拒绝决策的剪辑近邻法 154

6.5 最佳距离度量近邻法 156

习题 159

第7章 经验风险最小化和有序风险最小化方法 161

7.1 平均风险最小化和经验风险最小化 161

7.2 有限事件类情况 162

7.3 线性分界权向量数的估计 163

7.4 事件出现频率一致收敛于其概率的条件 164

7.5 生长函数的性质 165

7.6 经验最优判决规则偏差的估计 166

7.7 经验最优判决规则偏差估计的改进 167

7.8 有序风险最小化方法 168

7.8.1 判决规则选择准则 169

7.8.2 几种判决规则类的排序方法 170

7.9 讨论 173

习题 174

第8章 特征的选择与提取 176

8.1 基本概念 176

8.1.1 问题的提出 176

8.1.2 一些基本概念 176

8.2 类别可分离性判据 178

8.2.1 用于可分性判据的类内类间距离 178

8.2.2 基于概率分布的可分性判据 180

8.2.3 基于熵函数的可分性判据 183

8.2.4 类别可分离性判据的直接应用举例 184

8.3.1 按欧氏距离度量的特征提取方法 185

8.3 特征提取 185

8.3.2 按概率距离判据的特征提取方法 189

8.3.3 用散度准则函数的特征提取器 192

8.3.4 多类情况 193

8.3.5 基于判别熵最小化的特征提取 195

8.3.6 两维显示 197

8.4 特征选择 198

8.4.1 最优搜索算法 199

8.4.2 次优搜索法 202

8.4.3 可分性判据的递推计算 204

8.5 特征选择的几种新方法 205

8.5.1 模拟退火算法 205

8.5.2 Tabu搜索算法 207

8.5.3 遗传算法 208

习题 210

第9章 基于K-L展开式的特征提取 212

9.1 傅里叶级数展开式 212

9.2 K-L展开式 213

9.3 K-L展开式的性质 215

9.3.1 展开系数 215

9.3.2 表示熵 215

9.3.3 总体熵 217

9.4 K-L坐标系的产生矩阵 218

9.5 从类平均向量中提取判别信息 218

9.6 包含在类平均向量中判别信息的最优压缩 220

9.7 包含在类中心化特征向量中判别信息的提取 221

9.8 用于非监督模式识别问题中的特征提取 223

9.9 K-L变换在人脸自动识别研究中的一个应用 223

9.9.1 图像的归一化 224

9.9.2 K-L变换 224

9.9.3 特征向量的选取 226

9.10 讨论 227

习题 228

第10章 非监督学习方法 230

10.1 引言 230

10.2 单峰子集(类)的分离方法 230

10.2.1 投影方法 230

10.2.2 基于对称集性质的单峰子集分离法 232

10.2.3 单峰子集分离的迭代算法 233

10.3 类别分离的间接方法 234

10.3.1 动态聚类方法 235

10.3.2 近邻函数准则算法 241

10.4 分级聚类方法 244

10.5 非监督学习方法中的一些问题 247

习题 248

11.1 引言 250

第11章 人工神经网络 250

11.2 人工神经元 251

11.2.1 生物神经元 251

11.2.2 人工神经元 251

11.2.3 神经元的学习算法 253

11.3 前馈神经网络及其主要算法 253

11.3.1 前馈神经网络 253

11.3.2 感知器 253

11.3.3 三层前馈网络 254

11.3.4 反向传播算法(BP法) 254

11.3.5 径向基函数网络 257

11.4 竞争学习和侧抑制 258

11.5 自组织特征映射 259

11.6 Hopfield网络 261

11.6.1 离散Hopfield网络 261

11.6.3 优化计算 263

11.6.2 联想存储器 263

11.6.4 连续时间Hopfield网络 264

11.7 神经网络模式识别的典型做法 265

11.7.1 多层前馈网络用于模式识别 265

11.7.2 自组织网络用于模式识别 266

11.8 前馈神经网络与统计模式识别的关系 267

11.8.1 隐层的特征提取作用 267

11.8.2 神经网络与贝叶斯分类器 270

11.9 讨论 271

第12章 模糊模式识别方法 273

12.1 引言 273

12.2 模糊集的基本知识 273

12.3 模糊特征和模糊分类 275

12.3.2 结果的模糊化 276

12.3.1 模糊化特征 276

12.4 特征的模糊评价 277

12.4.1 模糊程度的度量 277

12.4.2 特征的模糊评价 278

12.5 模糊聚类方法 280

12.5.1 模糊C均值算法 280

12.5.2 改进的模糊C均值算法 281

12.6 模糊k近邻分类器 282

12.7 讨论 283

第13章 统计学习理论和支持向量机 284

13.1 引言 284

13.2 机器学习的基本问题和方法 285

13.2.1 机器学习问题的表示 285

13.2.2 经验风险最小化 286

13.2.3 复杂性与推广能力 287

13.3.1 学习过程一致性的条件 288

13.3 统计学习理论的核心内容 288

13.3.2 函数集的学习性能与VC维 290

13.3.3 推广性的界 293

13.3.4 结构风险最小化 295

13.4 支持向量机 296

13.4.1 最优分类面 296

13.4.2 广义最优分类面 298

13.4.3 规范化超平面集的子集结构 299

13.4.4 支持向量机 299

13.5 讨论 303

第14章 模式识别在语音信号数字处理中的应用举例 305

14.1 说话人识别概述 305

14.2 语音信号及其几个特性 306

14.3 短时基音周期的估计 310

14.4 一个说话人识别系统举例 312

14.5 讨论 314

第15章 印刷体汉字识别中的特征提取 315

15.1 印刷体汉字识别的基本知识 315

15.2 印刷体汉字的统计特性及分析 317

15.3 文字的归一化 321

15.4 印刷体汉字识别中的一些特征 323

15.5 分类问题 327

15.6 判别准则 328

15.7 讨论 329

主要参考书目 330

附录A 几种最优化算法 331

A.1 梯度(下降)法 331

A.2 牛顿法 332

A.3 共轭梯度法 333

A.4 Lagrange乘子法 335

A.5 随机逼近法 336