第1章 绪论 1
1.1 机器学习概念 1
1.2 机器学习系统 2
1.2.1 学习系统模型 2
1.2.2 机器学习系统结构 2
1.3 机器学习方法分类 3
1.3.1 监督学习 4
1.3.2 非监督学习 5
1.3.3 强化学习 6
1.4 一般性定理与规则 6
1.4.1 大多数原则 6
1.4.2 奥卡姆剃刀原理 7
1.4.3 无免费午餐定理 8
1.5 学习算法的评价 9
1.5.1 最短描述长度 9
1.5.2 预测精度分析 10
1.5.3 交叉验证法 11
1.6 本书各章概要 11
第2章 最近邻规则 14
2.1 最近邻分类 14
2.1.1 k-NN规则的思想 14
2.1.2 k-NN的距离度量 15
2.1.3 k-NN算法应用示例 16
2.2 k-NN算法的缺陷及其改进 17
2.2.1 k-NN算法的计算复杂度 17
2.2.2 降维法 18
2.2.3 预建结构法 18
2.2.4 训练集裁减法 19
第3章 贝叶斯学习 20
3.1 概率论基础 20
3.1.1 随机事件 20
3.1.2 事件间的关系与运算 21
3.1.3 概率的定义与性质 22
3.1.4 统计概率 22
3.1.5 条件概率 23
3.1.6 概率密度 24
3.1.7 正态分布 24
3.2 贝叶斯定理 24
3.3 贝叶斯定理和概念学习 26
3.4 极大似然和最小误差平方假设 28
3.5 贝叶斯最优分类器 29
3.6 简单贝叶斯分类器 30
3.7 贝叶斯网络 31
3.7.1 贝叶斯网络基本概念 32
3.7.2 因果关系网 33
3.7.3 贝叶斯网络 33
3.7.4 联合概率 35
3.7.5 D分离 35
3.7.6 贝叶斯网络的推理模式 38
3.8 主观贝叶斯方法 40
3.8.1 规则的不确定性 41
3.8.2 证据的不确定性 43
3.8.3 推理计算 44
3.9 贝叶斯学习的优缺点 47
第4章 决策树 49
4.1 决策树的创建 49
4.1.1 分而治之的思想 49
4.1.2 决策树生成算法 50
4.2 分枝划分标准 51
4.2.1 测试条件 51
4.2.2 直接划分法 52
4.2.3 信息熵增益 53
4.2.4 增益比 57
4.2.5 Gini系数 59
4.2.6 最短距离划分 60
4.2.7 最短描述长度 62
4.3 连续属性离散化 65
4.3.1 离散化问题描述 66
4.3.2 离散化方法分类 67
4.3.3 典型离散化处理过程 67
4.3.4 常用离散化方法介绍 68
4.3.5 离散化方法的一种归类模式 71
4.4 决策树剪枝 72
4.4.1 剪枝问题描述 72
4.4.2 预剪枝技术 73
4.4.3 后剪枝技术 74
4.5 动态离散化方法RCAT 78
4.5.1 RCAT算法思想 78
4.5.2 属性变换 79
4.5.3 区间离散化 80
4.5.4 区间边缘优化 81
4.6 二分决策树系统Btrees 84
4.6.1 二分树林结构 84
4.6.2 多类问题扩展 85
4.6.3 决策树剪枝 86
4.6.4 实验结果 87
4.7 决策树规则化 94
4.7.1 问题提出 94
4.7.2 单个规则的泛化 96
4.7.3 规则集的分类行为 100
第5章 基于事例推理的学习 105
5.1 CBR概念的引入 105
5.1.1 基于规则推理系统的缺陷 105
5.1.2 CBR的概念 106
5.1.3 CBR系统的特点 107
5.2 CBR的描述性框架 108
5.2.1 CBR循环 108
5.2.2 CBR任务层次 109
5.3 CBR方法描述 110
5.3.1 事例表示 110
5.3.2 事例检索 113
5.3.3 事例重用 114
5.3.4 事例修订 115
5.3.5 事例冉生 116
5.4 演绎检索 116
5.4.1 基于决策树的事例表示 117
5.4.2 计算新事例索引值 118
5.4.3 选择事例 118
5.5 最近邻检索 120
5.5.1 基于加权的事例表示 120
5.5.2 相似度计算 120
第6章 关联规则学习 123
6.1 相关概念介绍 123
6.1.1 关联规则的基本概念 123
6.1.2 关联规则的分类 125
6.2 关联规则学习 125
6.2.1 A priori算法 126
6.2.2 FP-Growth算法 130
6.3 多层关联规则学习 134
6.3.1 多层关联规则概念 134
6.3.2 多层关联规则学习 135
6.4 关联规则与相关性分析 138
6.4.1 问题的提出 138
6.4.2 相关性分析 139
6.4.3 相关规则学习 140
6.5 关联学习中的约束 140
第7章 神经网络 142
7.1 神经网络概述 142
7.1.1 神经网络基本模型 142
7.1.2 神经网络学习方法分类 144
7.2 常用神经网络介绍 145
7.2.1 感知机 145
7.2.2 BP神经网络 146
7.2.3 径向基函数网络 147
7.2.4 Hopfield网络 149
7.2.5 玻尔兹曼机 151
7.2.6 自组织特征映射网络 153
7.3 BPNN的快速学习算法 155
7.3.1 动量项学习算法 155
7.3.2 RPROP学习算法 156
7.4 BPNN的结构化扩展 157
7.4.1 结构化神经网络SNN 158
7.4.2 网络行为解释 159
第8章 支持向量机 163
8.1 核函数和特征空间 163
8.1.1 特征空间中的学习 163
8.1.2 核函数的定义 165
8.1.3 核函数的性质 166
8.2 构造核函数 168
8.2.1 由核函数构造核函数 168
8.2.2 由特征构造核函数 168
8.3 常用的核函数 169
8.4 VC理论 170
8.4.1 PAC学习模型 170
8.4.2 VC理论简介 171
8.5 SVM基本原理 172
8.5.1 SVM方法的特点 173
8.5.2 线性情况 173
8.5.3 非线性情况 176
8.6 支持向量机算法扩展 177
8.6.1 多类别问题的扩展 177
8.6.2 海量样本数据的处理 178
8.7 支持向量机应用示例 179
第9章 遗传算法 182
9.1 基本遗传算法 182
9.1.1 编码 182
9.1.2 适应度函数 183
9.1.3 遗传算子 183
9.1.4 运行参数 187
9.2 执行过程及应用示例 187
9.2.1 遗传算法的执行过程 187
9.2.2 应用示例 188
9.3 遗传算法的数学基础 189
9.3.1 模式定理 189
9.3.2 建筑块假说 193
9.3.3 内在并行性 194
9.4 遗传算法的收敛性分析 195
9.5 遗传算法的局限性及其改进措施 195
9.5.1 遗传算法的局限性 195
9.5.2 遗传算法的改进措施 197
9.6 遗传算法的特点 199
9.7 遗传规划 200
9.7.1 遗传规划概念 200
9.7.2 遗传规划的特点 201
9.7.3 遗传规划的发展动向 202
9.8 基于遗传算法的机器分类 203
9.8.1 遗传进化与机器分类 203
9.8.2 遗传算法应用示例 204
9.8.3 遗传规划应用示例 205
第10章 集成学习 207
10.1 集成学习的概念 207
10.2 基本分类器的构造 208
10.2.1 Bagging 208
10.2.2 Adaboost 210
10.2.3 纠错输出编码 211
10.2.4 随机因素法 211
10.2.5 异构的学习方法 211
10.3 分类器集成方法 212
10.3.1 投票法 212
10.3.2 栈式集成法 213
10.3.3 级联组合法 214
10.3.4 算法相关法 215
10.4 选择性集成 215
10.4.1 选择性集成理论 216
10.4.2 GASEN算法 217
10.4.3 前向选择算法 218
10.5 集成学习的性能 220
第11章 基于纠错编码的机器学习 222
11.1 纠错输出编码 222
11.1.1 纠错输出编码的思想 222
11.1.2 纠错输出码的特性分析 224
11.1.3 常用的编码方法及其特点 225
11.2 BCH编码算法 227
11.2.1 相关定义 227
11.2.2 循环码及其构造方法 228
11.2.3 BCH码的设计 229
11.3 搜索编码算法 231
11.3.1 搜索编码算法描述 231
11.3.2 搜索输出码的性质 232
11.4 基于纠错输出编码的监督分类技术 237
11.4.1 纠错输出编码与分类精度 237
11.4.2 基于搜索编码的监督分类技术 238
11.4.3 决策方法 239
11.5 应用示例 240
11.5.1 搜索编码法在简单贝叶斯分类中的应用 241
11.5.2 搜索编码法在BP神经网络中的应用 244
第12章 聚类分析 246
12.1 聚类分析概述 246
12.1.1 聚类分析的基本概念 246
12.1.2 相似性测量 246
12.1.3 聚类评价准则 248
12.2 类别数目未知时的聚类方法 249
12.2.1 自适应样本集构造法 250
12.2.2 Batchelor和Wilkins算法 251
12.3 类别数目已知时的聚类方法 252
12.3.1 层次聚类法 252
12.3.2 k-均值聚类算法 253
12.3.3 ISODATA算法 255
12.4 基于核构造的聚类法 257
12.5 模糊聚类 258
12.5.1 隶属度函数 258
12.5.2 普通的等价关系 259
12.5.3 基于隶属度的FCM算法 260
12.5.4 基于模糊等价关系的聚类算法 261
12.5.5 基于最大模糊支撑树的聚类算法 264
第13章 强化学习 266
13.1 强化学习的概念 266
13.2 强化学习的基本知识 266
13.2.1 问题假设 266
13.2.2 目标函数 267
13.2.3 问题类型 268
13.2.4 强化信号 269
13.2.5 状态值函数 269
13.3 TD算法 270
13.4 Q-学习 271
13.4.1 Q-学习算法 271
13.4.2 应用示例 272
13.5 强化学习的局限性 274
附录A 数据集描述 275
参考文献 278