机器学习导论PDF电子书下载

第1章 绪论 1

1.1　什么是机器学习 1

1.2　机器学习的应用实例 2

1.2.1 学习关联性 2

1.2.2　分类 3

1.2.3　回归 5

1.2.4　非监督学习 6

1.2.5 增强学习 7

1.3　注释 8

1.4　相关资源 9

1.5　习题 10

1.6　参考文献 10

第2章 监督学习 11

2.1 由实例学习类 11

2.2　VC维 14

2.3　概率逼近正确学习 15

2.4　噪声 16

2.5　学习多类 18

2.6　回归 19

2.7　模型选择与泛化 20

2.8　监督机器学习算法的维 22

2.9　注释 23

2.10　习题 24

2.11　参考文献 24

第3章 贝叶斯决策定理 26

3.1　引言 26

3.2　分类 27

3.3　损失与风险 28

3.4　判别式函数 30

3.5　效用理论 31

3.6　信息值 31

3.7　贝叶斯网络 32

3.8　影响图 36

3.9　关联规则 36

3.10　注释 37

3.11　习题 37

3.12　参考文献 38

第4章 参数方法 39

4.1　引言 39

4.2　最大似然估计 39

4.2.1 伯努利密度 40

4.2.2　多项密度 40

4.2.3　高斯（正态）密度 41

4.3　评价估计：偏倚和方差 41

4.4　贝叶斯估计 42

4.5　参数分类 44

4.6　回归 47

4.7　调整模型的复杂度：偏倚／方差两难选择 49

4.8　模型选择过程 51

4.9　注释 53

4.10　习题 53

4.11　参考文献 54

第5章 多元方法 55

5.1　多元数据 55

5.2　参数估计 55

5.3　缺失值估计 56

5.4　多元正态分布 57

5.5　多元分类 59

5.6　调整复杂度 63

5.7　离散特征 64

5.8　多元回归 65

5.9　注释 66

5.10　习题 66

5.11　参考文献 67

第6章 维度归约 68

6.1　引言 68

6.2　子集选择 68

6.3　主成分分析 70

6.4　因子分析 74

6.5　多维定标 78

6.6　线性判别分析 80

6.7　注释 83

6.8　习题 84

6.9　参考文献 84

第7章 聚类 86

7.1　引言 86

7.2　混合密度 86

7.3　k-均值聚类 87

7.4　期望最大化算法 90

7.5　潜在变量混合模型 93

7.6　聚类后的监督学习 94

7.7　层次聚类 95

7.8　选择簇个数 96

7.9　注释 96

7.10　习题 97

7.11　参考文献 97

第8章 非参数方法 99

8.1　引言 99

8.2　非参数密度估计 99

8.2.1　直方图估计 100

8.2.2　核估计 101

8.2.3　k-最近邻估计 102

8.3　到多变元数据的推广 103

8.4　非参数分类 104

8.5　精简的最近邻 105

8.6　非参数回归：光滑模型 106

8.6.1　移动均值光滑 106

8.6.2　核光滑 108

8.6.3　移动线光滑 108

8.7　如何选择光滑参数 109

8.8　注释 110

8.9　习题 110

8.10　参考文献 111

第9章　决策树 113

9.1　引言 113

9.2　单变量树 114

9.2.1　分类树 114

9.2.2　回归树 118

9.3　剪枝 119

9.4　由决策树提取规则 120

9.5　由数据学习规则 121

9.6　多变量树 124

9.7　注释 125

9.8　习题 126

9.9　参考文献 127

第10章 线性判别式 128

10.1　引言 128

10.2　推广线性模型 129

10.3　线性判别式的几何意义 130

10.3.1　两类问题 130

10.3.2　多类问题 131

10.4　逐对分离 132

10.5　参数判别式的进一步讨论 133

10.6　梯度下降 134

10.7　逻辑斯谛判别式 135

10.7.1 两类问题 135

10.7.2　多类问题 137

10.8　回归判别式 141

10.9　支持向量机 142

10.9.1 最佳分离超平面 142

10.9.2　不可分情况：软边缘超平面 144

10.9.3　核函数 145

10.9.4　用于回归的支持向量机 147

10.10　注释 148

10.11　习题 148

10.12　参考文献 149

第11章 多层感知器 150

11.1　引言 150

11.1.1　理解人脑 150

11.1.2 神经网络作为并行处理的典范 151

11.2　感知器 152

11.3　训练感知器 154

11.4　学习布尔函数 156

11.5　多层感知器 157

11.6　MLP作为通用逼近器 159

11.7　后向传播算法 160

11.7.1 非线性回归 160

11.7.2　两类判别式 163

11.7.3 多类判别式 164

11.7.4　多个隐藏层 164

11.8　训练过程 164

11.8.1　改善收敛性 164

11.8.2　过分训练 165

11.8.3　构造网络 167

11.8.4　线索 168

11.9　调整网络规模 169

11.10　学习的贝叶斯观点 170

11.11　维度归约 171

11.12　学习时间 173

11.12.1 时间延迟神经网络 173

11.12.2　递归网络 174

11.13　注释 175

11.14　习题 176

11.15　参考文献 176

第12章 局部模型 179

12.1　引言 179

12.2　竞争学习 179

12.2.1　在线k-均值 179

12.2.2　自适应共鸣理论 182

12.2.3　自组织映射 183

12.3　径向基函数 184

12.4　结合基于规则的知识 188

12.5　规范化基函数 188

12.6　竞争的基函数 190

12.7　学习向量量化 192

12.8　混合专家模型 192

12.8.1　协同专家模型 194

12.8.2　竞争专家模型 194

12.9　层次混合专家模型 195

12.10　注释 195

12.11　习题 196

12.12　参考文献 196

第13章 隐马尔可夫模型 198

13.1　引言 198

13.2　离散马尔可夫过程 198

13.3　隐马尔可夫模型 200

13.4　HMM的三个基本问题 202

13.5　估值问题 202

13.6　寻找状态序列 204

13.7　学习模型参数 205

13.8　连续观测 208

13.9　带输入的HMM 208

13.10　HMM中的模型选择 209

13.11　注释 210

13.12　习题 211

13.13　参考文献 211

第14章 分类算法评估和比较 213

14.1　引言 213

14.2　交叉确认和再抽样方法 215

14.2.1 K-折交叉确认 215

14.2.2 5×2交叉确认 215

14.2.3 自助法 216

14.3　误差度量 216

14.4　区间估计 217

14.5　假设检验 220

14.6　评估分类算法的性能 221

14.6.1　二项检验 221

14.6.2　近似正态检验 222

14.6.3　配对t检验 222

14.7　比较两个分类算法 223

14.7.1　McNemar检验 223

14.7.2　K-折交叉确认配对t检验 223

14.7.3　5×2交叉确认配对t检验 224

14.7.4　5×2交叉确认配对F检验 225

14.8　比较多个分类算法：方差分析 225

14.9　注释 227

14.10　习题 228

14.11　参考文献 228

第15章 组合多学习器 230

15.1　基本原理 230

15.2　投票法 232

15.3　纠错输出码 234

15.4　装袋 235

15.5　提升 236

15.6　重温混合专家模型 238

15.7　层叠泛化 238

15.8　级联 239

15.9　注释 240

15.10　习题 241

15.11　参考文献 241

第16章 增强学习 243

16.1　引言 243

16.2　单状态情况：K臂赌博机问题 244

16.3　增强学习基础 245

16.4　基于模型的学习 246

16.4.1　价值迭代 247

16.4.2　策略迭代 247

16.5　时间差分学习 248

16.5.1　探索策略 248

16.5.2　确定性奖励和动作 248

16.5.3 非确定性奖励和动作 250

16.5.4　资格迹 251

16.6　推广 253

16.7　部分可观测状态 254

16.8　注释 255

16.9　习题 256

16.10　参考文献 257

附录A　概率论 258

索引 266