机器学习方法PDF电子书下载

第1章　绪论 1

1.1　机器学习概念 1

1.2　机器学习系统 2

1.2.1　学习系统模型 2

1.2.2　机器学习系统结构 2

1.3　机器学习方法分类 3

1.3.1　监督学习 4

1.3.2　非监督学习 5

1.3.3　强化学习 6

1.4　一般性定理与规则 6

1.4.1　大多数原则 6

1.4.2　奥卡姆剃刀原理 7

1.4.3　无免费午餐定理 8

1.5　学习算法的评价 9

1.5.1　最短描述长度 9

1.5.2　预测精度分析 10

1.5.3　交叉验证法 11

1.6　本书各章概要 11

第2章　最近邻规则 14

2.1　最近邻分类 14

2.1.1　k-NN规则的思想 14

2.1.2　k-NN的距离度量 15

2.1.3　k-NN算法应用示例 16

2.2　k-NN算法的缺陷及其改进 17

2.2.1　k-NN算法的计算复杂度 17

2.2.2　降维法 18

2.2.3　预建结构法 18

2.2.4　训练集裁减法 19

第3章　贝叶斯学习 20

3.1　概率论基础 20

3.1.1　随机事件 20

3.1.2　事件间的关系与运算 21

3.1.3　概率的定义与性质 22

3.1.4　统计概率 22

3.1.5　条件概率 23

3.1.6　概率密度 24

3.1.7　正态分布 24

3.2　贝叶斯定理 24

3.3　贝叶斯定理和概念学习 26

3.4　极大似然和最小误差平方假设 28

3.5　贝叶斯最优分类器 29

3.6　简单贝叶斯分类器 30

3.7　贝叶斯网络 31

3.7.1 贝叶斯网络基本概念 32

3.7.2　因果关系网 33

3.7.3　贝叶斯网络 33

3.7.4　联合概率 35

3.7.5　D分离 35

3.7.6　贝叶斯网络的推理模式 38

3.8　主观贝叶斯方法 40

3.8.1　规则的不确定性 41

3.8.2　证据的不确定性 43

3.8.3　推理计算 44

3.9　贝叶斯学习的优缺点 47

第4章　决策树 49

4.1　决策树的创建 49

4.1.1　分而治之的思想 49

4.1.2　决策树生成算法 50

4.2　分枝划分标准 51

4.2.1　测试条件 51

4.2.2　直接划分法 52

4.2.3　信息熵增益 53

4.2.4　增益比 57

4.2.5　Gini系数 59

4.2.6　最短距离划分 60

4.2.7　最短描述长度 62

4.3　连续属性离散化 65

4.3.1　离散化问题描述 66

4.3.2　离散化方法分类 67

4.3.3　典型离散化处理过程 67

4.3.4　常用离散化方法介绍 68

4.3.5　离散化方法的一种归类模式 71

4.4　决策树剪枝 72

4.4.1　剪枝问题描述 72

4.4.2　预剪枝技术 73

4.4.3　后剪枝技术 74

4.5　动态离散化方法RCAT 78

4.5.1　RCAT算法思想 78

4.5.2　属性变换 79

4.5.3　区间离散化 80

4.5.4　区间边缘优化 81

4.6　二分决策树系统Btrees 84

4.6.1　二分树林结构 84

4.6.2　多类问题扩展 85

4.6.3　决策树剪枝 86

4.6.4　实验结果 87

4.7　决策树规则化 94

4.7.1　问题提出 94

4.7.2　单个规则的泛化 96

4.7.3　规则集的分类行为 100

第5章　基于事例推理的学习 105

5.1 CBR概念的引入 105

5.1.1　基于规则推理系统的缺陷 105

5.1.2　CBR的概念 106

5.1.3　CBR系统的特点 107

5.2　CBR的描述性框架 108

5.2.1　CBR循环 108

5.2.2　CBR任务层次 109

5.3　CBR方法描述 110

5.3.1　事例表示 110

5.3.2　事例检索 113

5.3.3　事例重用 114

5.3.4　事例修订 115

5.3.5　事例冉生 116

5.4　演绎检索 116

5.4.1　基于决策树的事例表示 117

5.4.2　计算新事例索引值 118

5.4.3　选择事例 118

5.5　最近邻检索 120

5.5.1　基于加权的事例表示 120

5.5.2　相似度计算 120

第6章　关联规则学习 123

6.1　相关概念介绍 123

6.1.1　关联规则的基本概念 123

6.1.2　关联规则的分类 125

6.2　关联规则学习 125

6.2.1　A priori算法 126

6.2.2　FP-Growth算法 130

6.3　多层关联规则学习 134

6.3.1　多层关联规则概念 134

6.3.2　多层关联规则学习 135

6.4　关联规则与相关性分析 138

6.4.1　问题的提出 138

6.4.2　相关性分析 139

6.4.3　相关规则学习 140

6.5　关联学习中的约束 140

第7章　神经网络 142

7.1　神经网络概述 142

7.1.1　神经网络基本模型 142

7.1.2　神经网络学习方法分类 144

7.2　常用神经网络介绍 145

7.2.1　感知机 145

7.2.2　BP神经网络 146

7.2.3　径向基函数网络 147

7.2.4　Hopfield网络 149

7.2.5　玻尔兹曼机 151

7.2.6　自组织特征映射网络 153

7.3 BPNN的快速学习算法 155

7.3.1　动量项学习算法 155

7.3.2 RPROP学习算法 156

7.4　BPNN的结构化扩展 157

7.4.1　结构化神经网络SNN 158

7.4.2　网络行为解释 159

第8章　支持向量机 163

8.1　核函数和特征空间 163

8.1.1　特征空间中的学习 163

8.1.2　核函数的定义 165

8.1.3　核函数的性质 166

8.2　构造核函数 168

8.2.1 由核函数构造核函数 168

8.2.2　由特征构造核函数 168

8.3　常用的核函数 169

8.4　VC理论 170

8.4.1　PAC学习模型 170

8.4.2　VC理论简介 171

8.5　SVM基本原理 172

8.5.1　SVM方法的特点 173

8.5.2　线性情况 173

8.5.3　非线性情况 176

8.6　支持向量机算法扩展 177

8.6.1　多类别问题的扩展 177

8.6.2　海量样本数据的处理 178

8.7　支持向量机应用示例 179

第9章　遗传算法 182

9.1　基本遗传算法 182

9.1.1　编码 182

9.1.2　适应度函数 183

9.1.3　遗传算子 183

9.1.4　运行参数 187

9.2　执行过程及应用示例 187

9.2.1　遗传算法的执行过程 187

9.2.2　应用示例 188

9.3　遗传算法的数学基础 189

9.3.1　模式定理 189

9.3.2　建筑块假说 193

9.3.3　内在并行性 194

9.4　遗传算法的收敛性分析 195

9.5　遗传算法的局限性及其改进措施 195

9.5.1　遗传算法的局限性 195

9.5.2　遗传算法的改进措施 197

9.6　遗传算法的特点 199

9.7　遗传规划 200

9.7.1　遗传规划概念 200

9.7.2　遗传规划的特点 201

9.7.3　遗传规划的发展动向 202

9.8　基于遗传算法的机器分类 203

9.8.1　遗传进化与机器分类 203

9.8.2　遗传算法应用示例 204

9.8.3　遗传规划应用示例 205

第10章　集成学习 207

10.1　集成学习的概念 207

10.2　基本分类器的构造 208

10.2.1　Bagging 208

10.2.2　Adaboost 210

10.2.3　纠错输出编码 211

10.2.4　随机因素法 211

10.2.5　异构的学习方法 211

10.3　分类器集成方法 212

10.3.1　投票法 212

10.3.2　栈式集成法 213

10.3.3　级联组合法 214

10.3.4　算法相关法 215

10.4　选择性集成 215

10.4.1　选择性集成理论 216

10.4.2　GASEN算法 217

10.4.3　前向选择算法 218

10.5　集成学习的性能 220

第11章　基于纠错编码的机器学习 222

11.1　纠错输出编码 222

11.1.1　纠错输出编码的思想 222

11.1.2　纠错输出码的特性分析 224

11.1.3　常用的编码方法及其特点 225

11.2　BCH编码算法 227

11.2.1　相关定义 227

11.2.2　循环码及其构造方法 228

11.2.3　BCH码的设计 229

11.3　搜索编码算法 231

11.3.1　搜索编码算法描述 231

11.3.2　搜索输出码的性质 232

11.4　基于纠错输出编码的监督分类技术 237

11.4.1　纠错输出编码与分类精度 237

11.4.2　基于搜索编码的监督分类技术 238

11.4.3　决策方法 239

11.5　应用示例 240

11.5.1　搜索编码法在简单贝叶斯分类中的应用 241

11.5.2　搜索编码法在BP神经网络中的应用 244

第12章　聚类分析 246

12.1　聚类分析概述 246

12.1.1　聚类分析的基本概念 246

12.1.2　相似性测量 246

12.1.3　聚类评价准则 248

12.2　类别数目未知时的聚类方法 249

12.2.1 自适应样本集构造法 250

12.2.2　Batchelor和Wilkins算法 251

12.3　类别数目已知时的聚类方法 252

12.3.1　层次聚类法 252

12.3.2　k-均值聚类算法 253

12.3.3　ISODATA算法 255

12.4　基于核构造的聚类法 257

12.5　模糊聚类 258

12.5.1　隶属度函数 258

12.5.2　普通的等价关系 259

12.5.3　基于隶属度的FCM算法 260

12.5.4　基于模糊等价关系的聚类算法 261

12.5.5　基于最大模糊支撑树的聚类算法 264

第13章　强化学习 266

13.1　强化学习的概念 266

13.2　强化学习的基本知识 266

13.2.1　问题假设 266

13.2.2 目标函数 267

13.2.3　问题类型 268

13.2.4　强化信号 269

13.2.5　状态值函数 269

13.3　TD算法 270

13.4　Q-学习 271

13.4.1　Q-学习算法 271

13.4.2　应用示例 272

13.5　强化学习的局限性 274

附录A　数据集描述 275

参考文献 278