机器学习 从公理到算法PDF电子书下载

第1章 引言 1

1.1机器学习的目的：从数据到知识 1

1.2机器学习的基本框架 2

1.2.1数据集合与对象特性表示 3

1.2.2学习判据 4

1.2.3学习算法 5

1.3机器学习思想简论 5

延伸阅读 7

习题 8

参考文献 9

第2章 归类理论 11

2.1类表示公理 13

2.2归类公理 17

2.3归类结果分类 20

2.4归类方法设计准则 22

2.4.1类一致性准则 23

2.4.2类紧致性准则 23

2.4.3类分离性准则 25

2.4.4奥卡姆剃刀准则 25

讨论 27

延伸阅读 29

习题 30

参考文献 31

第3章 密度估计 33

3.1密度估计的参数方法 33

3.1.1最大似然估计 33

3.1.2贝叶斯估计 35

3.2密度估计的非参数方法 39

3.2.1直方图 39

3.2.2核密度估计 39

3.2.3 K近邻密度估计法 40

延伸阅读 40

习题 41

参考文献 41

第4章 回归 43

4.1线性回归 43

4.2岭回归 47

4.3 Lasso回归 48

讨论 51

习题 52

参考文献 52

第5章 单类数据降维 53

5.1主成分分析 54

5.2非负矩阵分解 56

5.3字典学习与稀疏表示 57

5.4局部线性嵌入 59

5.5典型关联分析 62

5.6多维度尺度分析与等距映射 63

讨论 65

习题 66

参考文献 66

第6章 聚类理论 69

6.1聚类问题表示及相关定义 69

6.2聚类算法设计准则 70

6.2.1类紧致性准则和聚类不等式 70

6.2.2类分离性准则和重合类非稳定假设 72

6.2.3类一致性准则和迭代型聚类算法 73

6.3聚类有效性 73

6.3.1外部方法 73

6.3.2内蕴方法 75

延伸阅读 76

习题 77

参考文献 77

第7章 聚类算法 81

7.1样例理论：层次聚类算法 81

7.2原型理论：点原型聚类算法 83

7.2.1 C均值算法 84

7.2.2模糊C均值 86

7.3基于密度估计的聚类算法 88

7.3.1基于参数密度估计的聚类算法 88

7.3.2基于无参数密度估计的聚类算法 97

延伸阅读 106

习题 107

参考文献 108

第8章 分类理论 111

8.1分类及相关定义 111

8.2从归类理论到经典分类理论 112

8.2.1 PAC理论 113

8.2.2统计学习理论 115

8.3分类测试公理 118

讨论 119

习题 119

参考文献 120

第9章 基于单类的分类算法：神经网络 121

9.1分类问题的回归表示 121

9.2人工神经网络 122

9.2.1人工神经网络相关介绍 122

9.2.2前馈神经网络 124

9.3从参数密度估计到受限玻耳兹曼机 129

9.4深度学习 131

9.4.1自编码器 132

9.4.2卷积神经网络 132

讨论 133

习题 134

参考文献 134

第10章K近邻分类模型 137

10.1 K近邻算法 138

10.1.1 K近邻算法问题表示 138

10.1.2 K近邻分类算法 139

10.1.3 K近邻分类算法的理论错误率 140

10.2距离加权最近邻算法 141

10.3 K近邻算法加速策略 142

10.4 kd树 143

10.5 K近邻算法中的参数问题 144

延伸阅读 145

习题 145

参考文献 145

第11章 线性分类模型 147

11.1判别函数和判别模型 147

11.2线性判别函数 148

11.3线性感知机算法 151

11.3.1感知机数据表示 151

11.3.2感知机算法的归类判据 152

11.3.3感知机分类算法 153

11.4支持向量机 156

11.4.1线性可分支持向量机 156

11.4.2近似线性可分支持向量机 159

11.4.3多类分类问题 162

讨论 164

习题 165

参考文献 166

第12章 对数线性分类模型 167

12.1 Softmax回归 167

12.2 Logistic回归 170

讨论 172

习题 173

参考文献 173

第13章 贝叶斯决策 175

13.1贝叶斯分类器 175

13.2朴素贝叶斯分类 176

13.2.1最大似然估计 178

13.2.2贝叶斯估计 181

13.3最小化风险分类 183

13.4效用最大化分类 185

讨论 185

习题 186

参考文献 186

第14章 决策树 187

14.1决策树的类表示 187

14.2信息增益与ID3算法 192

14.3增益比率与C4.5算法 194

14.4 Gini指数与CART算法 195

14.5决策树的剪枝 196

讨论 197

习题 197

参考文献 198

第15章 多类数据降维 199

15.1有监督特征选择模型 199

15.1.1过滤式特征选择 200

15.1.2包裹式特征选择 201

15.1.3嵌入式特征选择 201

15.2有监督特征提取模型 202

15.2.1线性判别分析 202

15.2.2二分类线性判别分析问题 202

15.2.3二分类线性判别分析 203

15.2.4二分类线性判别分析优化算法 205

15.2.5多分类线性判别分析 205

延伸阅读 207

习题 207

参考文献 207

第16章 多类数据升维：核方法 209

16.1核方法 209

16.2非线性支持向量机 210

16.2.1特征空间 210

16.2.2核函数 210

16.2.3常用核函数 212

16.2.4非线性支持向量机 212

16.3多核方法 213

讨论 215

习题 215

参考文献 216

第17章 多源数据学习 217

17.1多源数据学习的分类 217

17.2单类多源数据学习 217

17.2.1完整视角下的单类多源数据学习 218

17.2.2不完整视角下的单类多源数据学习 220

17.3多类多源数据学习 221

17.4多源数据学习中的基本假设 222

讨论 222

习题 223

参考文献 223

后记 225

索引 229