第1章 绪论 1
第2章 有指导学习概述 6
2.1 引言 6
2.2 变量类型和术语 6
2.3 两种简单预测方法：最小二乘方和最近邻法 7
2.4 统计判决理论 12
2.5 高维空间的局部方法 15
2.6 统计模型、有指导学习和函数逼近 19
2.7 结构化回归模型 22
2.8 受限的估计方法类 23
2.9 模型选择和偏倚-方差权衡 25
文献注释 26
习题 27
第3章 回归的线性方法 28
3.1 引言 28
3.2 线性回归模型和最小二乘方 28
3.3 从简单的一元回归到多元回归 34
3.4 子集选择和系数收缩 38
3.5 计算考虑 52
文献注释 52
习题 53
第4章 分类的线性方法 55
4.1 引言 55
4.2 指示矩阵的线性回归 56
4.3 线性判别分析 59
4.4 逻辑斯缔回归 67
4.5 分离超平面 73
文献注释 77
习题 78
第5章 基展开与正则化 80
5.1 引言 80
5.2 分段多项式和样条 81
5.3 过滤和特征提取 88
5.4 光滑样条 88
5.5 光滑参数的自动选择 91
5.6 无参逻辑斯缔回归 95
5.7 多维样条函数 96
5.8 正则化和再生核希尔伯特空间 100
5.9 小波光滑 104
文献注释 109
习题 110
第6章 核方法 115
6.1 一维核光滑方法 115
6.2 选择核的宽度 120
6.3 IRp上的局部回归 121
6.4 IRp上结构化局部回归模型 123
6.5 局部似然和其他模型 125
6.6 核密度估计和分类 126
6.7 径向基函数和核 129
6.8 密度估计和分类的混合模型 131
6.9 计算考虑 132
文献注释 133
习题 133
第7章 模型评估与选择 135
7.1 引言 135
7.2 偏倚、方差和模型复杂性 135
7.3 偏倚-方差分解 137
7.4 训练误差率的乐观性 140
7.5 样本内预测误差的估计 142
7.6 有效的参数个数 143
7.7 贝叶斯方法和BIC 144
7.8 最小描述长度 145
7.9 Vapnik-Chernovenkis维 147
7.10 交叉验证 149
7.11 自助法 152
文献注释 155
习题 155
第8章 模型推理和平均 158
8.1 引言 158
8.2 自助法和极大似然法 158
8.3 贝叶斯方法 162
8.4 自助法和贝叶斯推理之间的联系 165
8.5 EM算法 166
8.6 从后验中抽样的MCMC 171
8.7 装袋 173
8.8 模型平均和堆栈 176
8.9 随机搜索：冲击 178
文献注释 179
习题 180
第9章 加法模型、树和相关方法 181
9.1 广义加法模型 181
9.2 基于树的方法 187
9.3 PRIM——凸点搜索 195
9.4 MARS：多元自适应回归样条 199
9.5 分层专家混合 204
9.6 遗漏数据 206
9.7 计算考虑 207
文献注释 208
习题 208
第10章 提升和加法树 210
10.1 提升方法 210
10.2 提升拟合加法模型 213
10.3 前向分步加法建模 213
10.4 指数损失函数和AdaBoost 214
10.5 为什么使用指数损失 216
10.6 损失函数和健壮性 216
10.7 数据挖掘的“现货”过程 219
10.8 例：垃圾邮件数据 220
10.9 提升树 223
10.10 数值优化 224
10.11 提升适当大小的树 227
10.12 正则化 228
10.13 可解释性 232
10.14 实例 235
文献注释 241
习题 241
第11章 神经网络 243
11.1 引言 243
11.2 投影寻踪回归 243
11.3 神经网络 245
11.4 拟合神经网络 247
11.5 训练神经网络的一些问题 249
11.6 例：模拟数据 251
11.7 例：ZIP编码数据 253
11.8 讨论 257
11.9 计算考虑 257
文献注释 257
习题 258
第12章 支持向量机和柔性判别 259
12.1 引言 259
12.2 支持向量分类器 259
12.3 支持向量机 263
12.4 线性判别分析的推广 272
12.5 柔性判别分析 273
12.6 罚判别分析 277
12.7 混合判别分析 279
12.8 计算考虑 284
文献注释 284
习题 285
第13章 原型方法和最近邻 287
13.1 引言 287
13.2 原型方法 287
13.3 k-最近邻分类器 290
13.4 自适应的最近邻方法 298
13.5 计算考虑 302
文献注释 302
习题 302
第14章 无指导学习 305
14.1 引言 305
14.2 关联规则 306
14.3 聚类分析 316
14.4 自组织映射 335
14.5 主成分、曲线和曲面 339
14.6 独立成分分析和探测性投影寻踪 345
14.7 多维定标 350
文献注释 352
习题 352
术语表 356
参考文献 369