统计机器学习导论PDF电子书下载

第一部分 绪论 2

第1章 统计机器学习 2

1.1学习的类型 2

1.2机器学习任务举例 3

1.2.1监督学习 3

1.2.2非监督学习 4

1.2.3进一步的主题 4

1.3本书结构 5

第二部分 概率与统计 8

第2章 随机变量与概率分布 8

2.1数学基础 8

2.2概率 9

2.3随机变量和概率分布 10

2.4概率分布的性质 11

2.4.1期望、中位数和众数 11

2.4.2方差和标准差 13

2.4.3偏度、峰度和矩 13

2.5随便变量的变换 15

第3章 离散概率分布的实例 17

3.1离散均匀分布 17

3.2二项分布 17

3.3超几何分布 18

3.4泊松分布 21

3.5负二项分布 23

3.6几何分布 24

第4章 连续概率分布的实例 25

4.1连续均匀分布 25

4.2正态分布 25

4.3伽马分布、指数分布和卡方分布 27

4.4Beta分布 29

4.5柯西分布和拉普拉斯分布 31

4.6t分布和F分布 33

第5章 多维概率分布 35

5.1联合概率分布 35

5.2条件概率分布 36

5.3列联表 36

5.4贝叶斯定理 36

5.5协方差与相关性 38

5.6独立性 39

第6章 多维概率分布的实例 42

6.1多项分布 42

6.2多元正态分布 43

6.3狄利克雷分布 45

6.4威沙特分布 48

第7章 独立随机变量之和 50

7.1卷积 50

7.2再生性 50

7.3大数定律 51

7.4中心极限定理 53

第8章 概率不等式 55

8.1联合界 55

8.2概率不等式 55

8.2.1马尔可夫不等式和切尔诺夫不等式 55

8.2.2坎泰利不等式和切比雪夫不等式 56

8.3期望不等式 57

8.3.1琴生不等式 57

8.3.2赫尔德不等式和施瓦茨不等式 57

8.3.3闵可夫斯基不等式 58

8.3.4康托洛维奇不等式 58

8.4独立随机变量和的不等式 59

8.4.1切比雪夫不等式和切尔诺夫不等式 59

8.4.2霍夫丁不等式和伯恩斯坦不等式 59

8.4.3贝内特不等式 60

第9章 统计估计 62

9.1统计估计基础 62

9.2点估计 62

9.2.1参数密度估计 62

9.2.2非参数密度估计 63

9.2.3回归和分类 64

9.2.4模型选择 64

9.3区间估计 65

9.3.1基于正态样本期望的区间估计 65

9.3.2bootstrap置信区间 65

9.3.3贝叶斯置信区间 66

第10章 假设检验 67

10.1假设检验基础 67

10.2正态样本期望的检验 68

10.3尼曼-皮尔森引理 68

10.4列联表检验 69

10.5正态样本期望差值检验 70

10.5.1无对应关系的两组样本 70

10.5.2有对应关系的两组样本 71

10.6秩的无参检验 72

10.6.1无对应关系的两组样本 72

10.6.2有对应关系的两组样本 73

10.7蒙特卡罗检验 74

第三部分 统计模式识别的生成式方法 76

第11章 通过生成模型估计的模式识别 76

11.1模式识别的公式化 76

11.2统计模式识别 77

11.3分类器训练的准则 79

11.3.1最大后验概率规则 79

11.3.2最小错误分类率准则 79

11.3.3贝叶斯决策规则 80

11.3.4讨论 81

11.4生成式方法和判别式方法 81

第12章 极大似然估计 83

12.1定义 83

12.2高斯模型 84

12.3类-后验概率的计算 86

12.4Fisher线性判别分析 88

12.5手写数字识别 90

12.5.1预备知识 90

12.5.2线性判别分析的实现 90

12.5.3多分类器方法 91

第13章 极大似然估计的性质 93

13.1一致性 93

13.2渐近无偏性 93

13.3渐近有效性 94

13.3.1一维的情况 94

13.3.2多维的情况 94

13.4渐近正态性 95

13.5总结 97

第14章 极大似然估计的模型选择 98

14.1模型选择 98

14.2KL散度 99

14.3AIC信息论准则 100

14.4交叉检验 102

14.5讨论 103

第15章 高斯混合模型的极大似然估计 104

15.1高斯混合模型 104

15.2极大似然估计 105

15.3梯度上升算法 107

15.4EM算法 108

第16章 非参数估计 112

16.1直方图方法 112

16.2问题描述 113

16.3核密度估计 115

16.3.1Parzen窗法 115

16.3.2利用核的平滑 116

16.3.3带宽的选择 117

16.4最近邻密度估计 118

16.4.1最近邻距离 118

16.4.2最近邻分类器 118

第17章 贝叶斯推理 123

17.1贝叶斯预测分布 123

17.1.1定义 123

17.1.2与极大似然估计的比较 124

17.1.3计算问题 124

17.2共轭先验 125

17.3最大后验估计 126

17.4贝叶斯模型选择 128

第18章 边缘相似的解析近似 131

18.1拉普拉斯近似 131

18.1.1高斯密度估计 131

18.1.2例证 132

18.1.3应用于边际似然逼近 133

18.1.4贝叶斯信息准则 133

18.2变分近似 134

18.2.1变分贝叶斯最大期望算法 134

18.2.2与一般最大期望法的关系 135

第19章 预测分布的数值近似 137

19.1蒙特卡罗积分 137

19.2重要性采样 138

19.3采样算法 139

19.3.1逆变换采样 139

19.3.2拒绝采样 141

19.3.3马尔可夫链蒙特卡罗方法 142

第20章 贝叶斯混合模型 147

20.1高斯混合模型 147

20.1.1贝叶斯公式化 147

20.1.2变分推断 148

20.1.3吉布斯采样 151

20.2隐狄利克雷分配模型 154

20.2.1主题模型 154

20.2.2贝叶斯公式化 154

20.2.3吉布斯采样 155

第四部分 统计机器学习的判别式方法 158

第21章 学习模型 158

21.1线性参数模型 158

21.2核模型 159

21.3层次模型 161

第22章 最小二乘回归 163

22.1最小二乘法 163

22.2线性参数模型的解决方案 163

22.3最小二乘法的特性 166

22.4大规模数据的学习算法 167

22.5层次模型的学习算法 168

第23章 具有约束的最小二乘回归 171

23.1子空间约束的最小二乘 171

23.2l2约束的最小二乘 172

23.3模型选择 175

第24章 稀疏回归 178

24.1l1约束的最小二乘 178

24.2解决l1约束的最小二乘 179

24.3稀疏学习的特征选择 181

24.4若干扩展 181

24.4.1广义l1约束最小二乘 182

24.4.2lp约束最小二乘 182

24.4.3l1＋l2约束最小二乘 183

24.4.4l1，2约束最小二乘 184

24.4.5迹范数约束最小二乘 184

第25章 稳健回归 186

25.1l2损失最小化的非稳健性 186

25.2l1损失最小化 187

25.3Huber损失最小化 187

25.3.1定义 188

25.3.2随机梯度算法 188

25.3.3迭代加权最小二乘 188

25.3.4l1约束Huber损失最小化 190

25.4Tukey损失最小化 193

第26章 最小二乘分类器 195

26.1基于最小二乘回归的分类器 195

26.2 0/1损失和间隔 196

26.3多类分类器 198

第27章 支持向量分类 200

27.1最大间隔分类 200

27.1.1硬间隔支持向量分类 200

27.1.2软间隔支持向量分类 201

27.2支持向量分类的对偶最优化问题 201

27.3对偶解的稀疏性 203

27.4使用核技巧的非线性模型 204

27.5多类扩展 206

27.6损失最小化观点 207

27.6.1Hinge损失最小化 207

27.6.2平方Hinge损失最小化 208

27.6.3Ramp损失最小化 210

第28章 概率分类法 212

28.1Logistic回归 212

28.1.1Logistic模型与极大似然估计 212

28.1.2损失最小化的观点 214

28.2最小二乘概率分类 214

第29章 结构化分类 217

29.1序列分类器 217

29.2序列的概率分类 217

29.2.1条件随机场 218

29.2.2极大似然估计 219

29.2.3递归计算 219

29.2.4新样本预测 221

29.3序列的确定性分类 222

第五部分 高级主题 226

第30章 集成学习 226

30.1决策树桩分类器 226

30.2bagging算法 227

30.3boosting算法 228

30.3.1adaboost算法 228

30.3.2损失最小化观点 230

30.4泛化集成学习 233

第31章 在线学习 234

31.1随机梯度下降法 234

31.2被动攻击学习 235

31.2.1分类 235

31.2.2回归 237

31.3加权向量的自适应正则化 238

31.3.1参数的不确定性 238

31.3.2分类 239

31.3.3回归 240

第32章 预测的置信度 241

32.1l2正则化最小二乘的预测方差 241

32.2bootstrap法置信区间估计 243

32.3应用 244

32.3.1时间序列预测 244

32.3.2调整参数的优化 245

第33章 半监督学习 248

33.1流形正则化 248

33.1.1输入样本的流形结构 248

33.1.2计算解决方案 249

33.2协变量移位的适应 251

33.2.1重要度加权学习 251

33.2.2相对重要度加权学习 252

33.2.3重要度加权交叉检验 253

33.2.4重要度估计 253

33.3类别平衡变化下的适应 255

33.3.1类别平衡加权学习 256

33.3.2类别平衡估计 256

第34章 多任务学习 259

34.1任务相似度正则化 259

34.1.1公式化 259

34.1.2解析解 260

34.1.3多任务的有效计算方法 260

34.2多维函数学习 261

34.2.1公式化 261

34.2.2有效的分析解决方案 263

34.3矩阵正则化 263

34.3.1参数矩阵正则化 264

34.3.2迹范数正则化的梯度法 265

第35章 线性降维 268

35.1维度灾难 268

35.2无监督降维法 269

35.2.1主成分分析 270

35.2.2局部保留投影 271

35.3分类的线性判别分析 272

35.3.1Fisher判别分析法 273

35.3.2局部Fisher判别分析法 274

35.3.3半监督局部Fisher判别分析法 276

35.4回归问题的充分降维 277

35.4.1信息论公式化 278

35.4.2直接导数估计 279

35.5矩阵插补 282

第36章 非线性降维 285

36.1利用核技巧的降维 285

36.1.1核主成分分析 285

36.1.2拉普拉斯特征映射 288

36.2通过神经网络的监督降维法 289

36.3通过自编码器的非监督降维法 290

36.3.1自编码器 290

36.3.2通过梯度下降法的训练 290

36.3.3稀疏自编码器 292

36.4通过受限玻尔兹曼机的非监督降维法 292

36.4.1模型 293

36.4.2通过梯度下降法的训练 293

36.5深度学习 296

第37章 聚类 297

37.1k均值聚类 297

37.2核k均值聚类 299

37.3谱聚类 299

37.4调谐参数的选择 299

第38章 异常检测 304

38.1密度估计和局部异常因子 304

38.2支持向量数据描述 305

38.3基于正常值的异常检测 308

第39章 变化检测 312

39.1基于分布模型的变化检测 312

39.1.1KL散度 312

39.1.2Pearson散度 313

39.1.3L2距离 313

39.1.4L1距离 315

39.1.5最大均值差异 317

39.1.6能量距离 317

39.1.7时序变化检测的应用 317

39.2基于结构模型的变化检测 318

39.2.1稀疏极大似然估计 319

39.2.2稀疏密度比估计 321

参考文献 324

索引 329