第1章 绪论 1
1.1什么是机器学习 1
1.1.1信息爆炸 1
1.1.2学习的定义 2
1.1.3机器学习定义 3
1.2机器学习的发展史 4
1.3机器学习的发展现状 5
1.4机器学习的策略与模型 7
1.4.1机器学习策略 7
1.4.2机器学习系统的基本模型 9
1.5机器学习的相关方法 11
1.5.1算法类型 11
1.5.2具体方法 13
1.6本书的内容安排 15
参考文献 16
第2章 统计学习理论与支持向量机算法 18
2.1引言 18
2.2统计学习理论 18
2.2.1统计学习理论的形成与发展 18
2.2.2统计学习理论的主要内容 19
2.2.3学习过程的一致性及收敛速度 20
2.2.4函数集的VC维 22
2.2.5结构风险最小化归纳原则 24
2.3支持向量机 27
2.3.1支持向量机的形成与发展 27
2.3.2支持向量机的主要内容 30
2.3.3基本的支持向量机算法 32
2.3.4变形的支持向量机算法 38
2.3.5优化的支持向量机算法 41
2.3.6多分类的支持向量机算法 43
2.3.7支持向量机聚类算法 45
2.4本章小结 48
参考文献 49
附录 51
第3章 构造性机器学习理论与覆盖算法 56
3.1引言 56
3.1.1传统的神经网络存在的问题 56
3.1.2构造性机器学习方法的提出 57
3.1.3构造性机器学习覆盖算法与支持向量机的区别 58
3.2覆盖问题的描述及理论基础 59
3.2.1覆盖问题的描述 59
3.2.2覆盖算法的理论基础 60
3.3覆盖模型及其算法的分析 62
3.3.1领域覆盖算法 62
3.3.2交叉覆盖算法 66
3.3.3覆盖算法的改进措施 70
3.3.4多侧面递进算法 81
3.3.5核覆盖算法 85
3.3.6概率模型覆盖算法 91
3.4本章小结 95
参考文献 96
附录 100
第4章 集成学习与弱可学习理论 121
4.1引言 121
4.2集成学习的发展和现状 121
4.3集成学习的产生背景和主要作用 123
4.4集成学习的主要内容 125
4.4.1 PAC理论 125
4.4.2强可学习与弱可学习理论 125
4.4.3集成学习的基本概念 126
4.4.4集成学习的算法框架 127
4.5 AdaBoost 133
4.5.1 AdaBoost算法训练误差的上界 134
4.5.2训练轮数T的确定 135
4.5.3基于泛化误差上界的分析 135
4.5.4基于优化理论的分析 137
4.6 AdaBoost.M1 137
4.7 AdaBoost.M2 139
4.8 Bagging 142
4.9 Stacking 144
4.10选择性集成 145
4.10.1选择性集成的提出 145
4.10.2选择性集成的理论基础 147
4.10.3 GASEN 150
4.10.4选择性集成的发展 151
4.11集成学习的应用 152
4.12本章小结 155
参考文献 156
附录 163
第5章 数据流的概念获取与增量学习 164
5.1引言 164
5.2数据流 164
5.2.1数据流与流形学习的概念 164
5.2.2数据流的性质 165
5.2.3数据流的特征 165
5.2.4数据流处理模型 166
5.2.5数据流的基本技术 167
5.2.6数据流上的应用 170
5.3数据流分类 171
5.3.1数据流的分类问题 171
5.3.2现有数据流上的分类算法 171
5.4数据流的概念漂移 173
5.4.1概念漂移定义 174
5.4.2概念漂移类型 175
5.4.3概念漂移检测 175
5.4.4概念漂移与数据流分类的关系 176
5.4.5概念漂移的处理方法 177
5.5增量学习 178
5.5.1支持向量机增量学习算法 178
5.5.2基于覆盖的增量学习 181
5.6本章小结 188
参考文献 189
附录 190
第6章 人工神经网络之遗传算法 193
6.1引言 193
6.2遗传算法的仿生学基础 193
6.2.1生物遗传及其变异 193
6.2.2进化 194
6.3遗传算法简介 195
6.3.1发展史 195
6.3.2遗传算法 196
6.4基本遗传算法 198
6.4.1基本遗传算法描述 198
6.4.2基本遗传操作 201
6.4.3基本遗传算法的形式化定义 204
6.4.4基本遗传算法的应用举例 204
6.5遗传算法的理论基础 209
6.5.1模式 209
6.5.2选择操作对模式的影响 210
6.5.3交叉操作对模式的影响 211
6.5.4变异操作对模式的影响 211
6.6本章小结 212
参考文献 213
附录 214
第7章 决策树与贝叶斯网络 223
7.1决策树的形成与发展 223
7.1.1决策树的定义 223
7.1.2决策树的优缺点 224
7.2决策树的基本原理：统计学角度 225
7.3决策树经典算法介绍 227
7.3.1 ID3算法 227
7.3.2 C4.5算法 235
7.3.3 EC4.5算法 236
7.3.4 CART算法 236
7.3.5 SLIQ算法 238
7.3.6 SPRINT算法 239
7.3.7 PUBLIC算法 241
7.4决策树的应用 241
7.4.1决策树的适用范围 241
7.4.2决策树的应用前景 242
7.4.3决策树的应用举例 242
7.5贝叶斯网络的形成与发展 246
7.5.1贝叶斯网络的发展历史 246
7.5.2贝叶斯方法的基本观点 247
7.5.3贝叶斯网络的特点 248
7.6贝叶斯网络原理及应用 249
7.6.1贝叶斯网络 249
7.6.2贝叶斯网络构造 250
7.7典型贝叶斯网络学习方法及其变形 250
7.7.1完整数据条件下贝叶斯网络的参数学习 251
7.7.2完整数据条件下贝叶斯网络的结构学习 253
7.7.3不完整数据条件下贝叶斯网络的参数学习 257
7.7.4不完整数据条件下贝叶斯网络的结构学习 259
7.8贝叶斯网络推理 260
7.8.1贝叶斯网络精确推理算法 261
7.8.2贝叶斯网络近似推理算法 263
7.8.3贝叶斯网络推理算法的比较分析 265
7.9贝叶斯网络的应用 267
7.9.1贝叶斯网络用于分类和回归分析 267
7.9.2贝叶斯网络用于不确定知识表达和推理 267
7.9.3贝叶斯网络在因果数据挖掘上的应用及展望 267
7.9.4贝叶斯网络用于聚类模式发现 268
7.9.5基于贝叶斯网络的遗传算法 268
7.9.6基于贝叶斯网络的多目标优化问题 269
7.10本章小结 269
参考文献 270
附录 274