统计学习理论基础PDF电子书下载

第1章 引言：分类、学习、特征及应用 1

1.1范围 1

1.2为什么需要机器学习？ 1

1.3一些应用 2

1.3.1图像识别 2

1.3.2语音识别 3

1.3.3医学诊断 3

1.3.4统计套利 3

1.4测量、特征和特征向量 4

1.5概率的需要 4

1.6监督学习 5

1.7小结 5

1.8附录：归纳法 5

1.9问题 6

1.10参考文献 6

第2章 概率 8

2.1一些基本事件的概率 8

2.2复合事件的概率 9

2.3条件概率 11

2.4不放回抽取 12

2.5一个经典的生日问题 12

2.6随机变量 13

2.7期望值 13

2.8方差 14

2.9小结 16

2.10附录：概率诠释 16

2.11问题 17

2.12参考文献 18

第3章 概率密度 20

3.1一个二维实例 20

3.2在[0， 1]区间的随机数 20

3.3密度函数 21

3.4高维空间中的概率密度 23

3.5联合密度和条件密度 24

3.6期望和方差 24

3.7大数定律 25

3.8小结 26

3.9附录：可测性 26

3.10问题 27

3.11参考文献 28

第4章 模式识别问题 29

4.1一个简单例子 29

4.2决策规则 29

4.3成功基准 31

4.4最佳分类器：贝叶斯决策规则 32

4.5连续特征和密度 32

4.6小结 33

4.7附录：不可数概念 33

4.8问题 35

4.9参考文献 35

第5章 最优贝叶斯决策规则 37

5.1贝叶斯定理 37

5.2贝叶斯决策规则 38

5.3最优及其评论 39

5.4一个例子 40

5.5基于密度函数的贝叶斯定理及决策规则 42

5.6小结 42

5.7附录：条件概率的定义 43

5.8问题 43

5.9参考文献 46

第6章 从实例中学习 47

6.1概率分布知识的欠缺 47

6.2训练数据 48

6.3对训练数据的假设 49

6.4蛮力学习方法 50

6.5维数灾难、归纳偏置以及无免费午餐原理 51

6.6小结 52

6.7附录：学习的类型 53

6.8问题 54

6.9参考文献 54

第7章 最近邻规则 56

7.1最近邻规则 56

7.2最近邻规则的性能 57

7.3直觉判断与性能证明框架 58

7.4使用更多邻域 59

7.5小结 60

7.6附录：当人们使用最近邻域进行推理时的一些问题 60

7.6.1谁是单身汉？ 60

7.6.2法律推理 61

7.6.3道德推理 61

7.7问题 62

7.8参考文献 62

第8章 核规则 64

8.1动机 64

8.2最近邻规则的变体 65

8.3核规则 65

8.4核规则的通用一致性 68

8.5势函数 69

8.6更多的通用核 70

8.7小结 71

8.8附录：核、相似性和特征 71

8.9问题 72

8.10参考文献 73

第9章 神经网络：感知器 75

9.1多层前馈网络 75

9.2神经网络用于学习和分类 77

9.3感知器 78

9.3.1阈值 78

9.4感知器学习规则 79

9.5感知器的表达能力 80

9.6小结 82

9.7附录：思想模型 83

9.8问题 84

9.9参考文献 85

第10章 多层神经网络 86

10.1多层网络的表征能力 86

10.2学习及S形输出 88

10.3训练误差和权值空间 90

10.4基于梯度下降的误差最小化 91

10.5反向传播 92

10.6反向传播方程的推导 95

10.6.1单神经元情况下的推导 95

10.6.2多层网络情况下的推导 95

10.7小结 97

10.8附录：梯度下降与反射平衡推理 97

10.9问题 98

10.10参考文献 99

第11章 可能近似正确（PAC）学习 100

11.1决策规则分类 100

11.2来自一个类中的最优规则 101

11.3可能近似正确准则 102

11.4 PAC学习 103

11.5小结 104

11.6附录：识别不可辨元 105

11.7问题 106

11.8参考文献 106

第12章VC维 108

12.1近似误差和估计误差 108

12.2打散 109

12.3 VC维 110

12.4学习结果 110

12.5举例 111

12.6神经网络应用 114

12.7小结 114

12.8附录：VC维与波普尔（Popper）维度 115

12.9问题 115

12.10参考文献 116

第13章 无限VC维 118

13.1类层次及修正的PAC准则 118

13.2失配与复杂性间的平衡 119

13.3学习结果 120

13.4归纳偏置与简单性 120

13.5小结 121

13.6附录：均匀收敛与泛一致性 121

13.7问题 122

13.8参考文献 123

第14章 函数估计问题 124

14.1估计 124

14.2成功准则 124

14.3最优估计：回归函数 125

14.4函数估计中的学习 126

14.5小结 126

14.6附录：均值回归 127

14.7问题 127

14.8参考文献 128

第15章 学习函数估计 129

15.1函数估计与回归问题回顾 129

15.2最近邻规则 129

15.3核方法 130

15.4神经网络学习 130

15.5基于确定函数类的估计 131

15.6打散、伪维数与学习 132

15.7结论 133

15.8附录：估计中的准确度、精度、偏差及方差 134

15.9问题 135

15.10参考文献 135

第16章 简明性 137

16.1科学中的简明性 137

16.1.1对简明性的明确倡导 137

16.1.2这个世界简单吗？ 137

16.1.3对简明性的错误诉求 138

16.1.4对简明性的隐性诉求 138

16.2排序假设 138

16.2.1两种简明性排序法 139

16.3两个实例 140

16.3.1曲线拟合 140

16.3.2枚举归纳 141

16.4简明性即表征简明性 141

16.4.1要确定表征系统吗？ 142

16.4.2参数越少越简单吗？ 143

16.5简明性的实用理论 143

16.6简明性和全局不确定性 144

16.7小结 144

16.8附录：基础科学和统计学习理论 144

16.9问题 145

16.10参考文献 146

第17章 支持向量机 148

17.1特征向量的映射 149

17.2间隔最大化 150

17.3优化与支持向量 153

17.4实现及其与核方法的关联 154

17.5优化问题的细节 155

17.5.1改写分离条件 155

17.5.2间隔方程 155

17.5.3用于不可分实例的松弛变量 156

17.5.4优化问题的重构和求解 156

17.6小结 157

17.7附录：计算 158

17.8问题 159

17.9参考文献 160

第18章 集成学习 161

18.1弱学习规则 161

18.2分类器组合 162

18.3训练样本的分布 163

18.4自适应集成学习算法（AdaBoost） 163

18.5训练数据的性能 165

18.6泛化性能 165

18.7小结 167

18.8附录：集成方法 167

18.9问题 168

18.10参考文献 168