统计学习基础 数据挖掘、推理与预测PDF电子书下载

第1章 绪论 1

第2章 有指导学习概述 6

2.1 引言 6

2.2 变量类型和术语 6

2.3 两种简单预测方法：最小二乘方和最近邻法 7

2.4 统计判决理论 12

2.5 高维空间的局部方法 15

2.6 统计模型、有指导学习和函数逼近 19

2.7 结构化回归模型 22

2.8 受限的估计方法类 23

2.9 模型选择和偏倚-方差权衡 25

文献注释 26

习题 27

第3章 回归的线性方法 28

3.1 引言 28

3.2 线性回归模型和最小二乘方 28

3.3 从简单的一元回归到多元回归 34

3.4 子集选择和系数收缩 38

3.5 计算考虑 52

文献注释 52

习题 53

第4章 分类的线性方法 55

4.1 引言 55

4.2 指示矩阵的线性回归 56

4.3 线性判别分析 59

4.4 逻辑斯缔回归 67

4.5 分离超平面 73

文献注释 77

习题 78

第5章 基展开与正则化 80

5.1 引言 80

5.2 分段多项式和样条 81

5.3 过滤和特征提取 88

5.4 光滑样条 88

5.5 光滑参数的自动选择 91

5.6 无参逻辑斯缔回归 95

5.7 多维样条函数 96

5.8 正则化和再生核希尔伯特空间 100

5.9 小波光滑 104

文献注释 109

习题 110

第6章 核方法 115

6.1 一维核光滑方法 115

6.2 选择核的宽度 120

6.3 IRp上的局部回归 121

6.4 IRp上结构化局部回归模型 123

6.5 局部似然和其他模型 125

6.6 核密度估计和分类 126

6.7 径向基函数和核 129

6.8 密度估计和分类的混合模型 131

6.9 计算考虑 132

文献注释 133

习题 133

第7章 模型评估与选择 135

7.1 引言 135

7.2 偏倚、方差和模型复杂性 135

7.3 偏倚-方差分解 137

7.4 训练误差率的乐观性 140

7.5 样本内预测误差的估计 142

7.6 有效的参数个数 143

7.7 贝叶斯方法和BIC 144

7.8 最小描述长度 145

7.9 Vapnik-Chernovenkis维 147

7.10 交叉验证 149

7.11 自助法 152

文献注释 155

习题 155

第8章 模型推理和平均 158

8.1 引言 158

8.2 自助法和极大似然法 158

8.3 贝叶斯方法 162

8.4 自助法和贝叶斯推理之间的联系 165

8.5 EM算法 166

8.6 从后验中抽样的MCMC 171

8.7 装袋 173

8.8 模型平均和堆栈 176

8.9 随机搜索：冲击 178

文献注释 179

习题 180

第9章 加法模型、树和相关方法 181

9.1 广义加法模型 181

9.2 基于树的方法 187

9.3 PRIM——凸点搜索 195

9.4 MARS：多元自适应回归样条 199

9.5 分层专家混合 204

9.6 遗漏数据 206

9.7 计算考虑 207

文献注释 208

习题 208

第10章 提升和加法树 210

10.1 提升方法 210

10.2 提升拟合加法模型 213

10.3 前向分步加法建模 213

10.4 指数损失函数和AdaBoost 214

10.5 为什么使用指数损失 216

10.6 损失函数和健壮性 216

10.7 数据挖掘的“现货”过程 219

10.8 例：垃圾邮件数据 220

10.9 提升树 223

10.10 数值优化 224

10.11 提升适当大小的树 227

10.12 正则化 228

10.13 可解释性 232

10.14 实例 235

文献注释 241

习题 241

第11章 神经网络 243

11.1 引言 243

11.2 投影寻踪回归 243

11.3 神经网络 245

11.4 拟合神经网络 247

11.5 训练神经网络的一些问题 249

11.6 例：模拟数据 251

11.7 例：ZIP编码数据 253

11.8 讨论 257

11.9 计算考虑 257

文献注释 257

习题 258

第12章 支持向量机和柔性判别 259

12.1 引言 259

12.2 支持向量分类器 259

12.3 支持向量机 263

12.4 线性判别分析的推广 272

12.5 柔性判别分析 273

12.6 罚判别分析 277

12.7 混合判别分析 279

12.8 计算考虑 284

文献注释 284

习题 285

第13章 原型方法和最近邻 287

13.1 引言 287

13.2 原型方法 287

13.3 k-最近邻分类器 290

13.4 自适应的最近邻方法 298

13.5 计算考虑 302

文献注释 302

习题 302

第14章 无指导学习 305

14.1 引言 305

14.2 关联规则 306

14.3 聚类分析 316

14.4 自组织映射 335

14.5 主成分、曲线和曲面 339

14.6 独立成分分析和探测性投影寻踪 345

14.7 多维定标 350

文献注释 352

习题 352

术语表 356

参考文献 369