机器学习与应用PDF电子书下载

第一部分 基本概念与数学知识 3

第1章 机器学习简介 3

1.1机器学习是什么 3

1.1.1一个简单的例子 3

1.1.2为什么需要机器学习 5

1.2典型应用 7

1.2.1语音识别 7

1.2.2人脸检测 8

1.2.3人机对弈 9

1.2.4机器翻译 10

1.2.5自动驾驶 11

1.3发展历程 11

1.3.1历史成就 11

1.3.2当前进展 12

1.4关于本书 13

参考文献 15

第2章 数学知识 17

2.1微积分和线性代数 17

2.1.1导数 17

2.1.2向量与矩阵 19

2.1.3偏导数与梯度 21

2.1.4雅克比矩阵 22

2.1.5 Hessian矩阵 23

2.1.6泰勒展开 24

2.1.7行列式 24

2.1.8特征值与特征向量 25

2.1.9奇异值分解 26

2.1.10二次型 26

2.1.11向量与矩阵求导 26

2.2最优化方法 27

2.2.1梯度下降法 27

2.2.2牛顿法 28

2.2.3坐标下降法 29

2.2.4拉格朗日乘数法 30

2.2.5凸优化 30

2.2.6拉格朗日对偶 34

2.2.7 KKT条件 36

2.2.8拟牛顿法 37

2.2.9面临的问题 38

2.3概率论 39

2.3.1随机事件与概率 39

2.3.2条件概率 39

2.3.3随机变量 40

2.3.4数学期望与方差 41

2.3.5随机向量 41

2.3.6最大似然估计 42

参考文献 43

第3章 基本概念 44

3.1算法分类 44

3.1.1监督信号 44

3.1.2分类问题与回归问题 45

3.1.3判别模型与生成模型 47

3.1.4强化学习 47

3.2模型评价指标 48

3.2.1精度与召回率 48

3.2.2 ROC曲线 48

3.2.3混淆矩阵 50

3.2.4交叉验证 50

3.3模型选择 50

3.3.1过拟合与欠拟合 50

3.3.2偏差与方差分解 51

3.3.3正则化 52

参考文献 54

第二部分 主要的机器学习算法与理论 57

第4章 贝叶斯分类器 57

4.1贝叶斯决策 57

4.2朴素贝叶斯分类器 58

4.2.1离散型特征 58

4.2.2连续型特征 59

4.3正态贝叶斯分类器 59

4.3.1训练算法 59

4.3.2预测算法 60

4.4实验程序 61

4.5源代码分析 64

4.5.1主要数据结构 64

4.5.2训练函数 65

4.5.3预测函数 68

4.6应用 70

参考文献 71

第5章 决策树 72

5.1树形决策过程 72

5.2分类与回归树 73

5.3训练算法 74

5.3.1递归分裂过程 74

5.3.2寻找最佳分裂 74

5.3.3叶子节点值的设定 77

5.3.4属性缺失问题 77

5.3.5剪枝算法 78

5.4实验程序 79

5.5源代码分析 81

5.5.1主要数据结构 81

5.5.2递归分裂 84

5.5.3寻找最佳分裂 90

5.5.4寻找替代分裂 96

5.5.5变量的重要性 99

5.5.6预测算法 100

5.6应用 103

参考文献 103

第6章 k近邻算法 104

6.1基本概念 104

6.2预测算法 104

6.3距离定义 105

6.3.1常用距离定义 105

6.3.2距离度量学习 106

6.4实验程序 107

6.5应用 109

参考文献 110

第7章 数据降维 111

7.1主成分分析 111

7.1.1数据降维问题 111

7.1.2计算投影矩阵 111

7.1.3向量降维 114

7.1.4向量重构 114

7.2源代码分析 114

7.2.1主要数据结构 114

7.2.2计算投影矩阵 115

7.2.3向量降维 117

7.2.4向量重构 117

7.3流形学习 118

7.3.1局部线性嵌入 119

7.3.2拉普拉斯特征映射 119

7.3.3局部保持投影 122

7.3.4等距映射 123

7.4应用 124

参考文献 124

第8章 线性判别分析 125

8.1用投影进行分类 125

8.2投影矩阵 125

8.2.1一维的情况 125

8.2.2推广到高维 127

8.3实验程序 128

8.4源代码分析 131

8.4.1主要数据结构 131

8.4.2计算投影矩阵 132

8.4.3向量投影 135

8.4.4向量重构 136

8.5应用 136

参考文献 137

第9章 人工神经网络 138

9.1多层前馈型神经网络 138

9.1.1神经元 138

9.1.2网络结构 139

9.1.3正向传播算法 140

9.2反向传播算法 141

9.2.1一个简单的例子 141

9.2.2完整的算法 145

9.3实验程序 149

9.4理论解释 152

9.4.1数学性质 152

9.4.2与神经系统的关系 153

9.5面临的问题 153

9.5.1梯度消失 153

9.5.2退化 154

9.5.3局部极小值 154

9.5.4鞍点 154

9.6实现细节问题 154

9.6.1输入值与输出值 154

9.6.2网络规模 155

9.6.3激活函数 155

9.6.4损失函数 156

9.6.5权重初始化 156

9.6.6正则化 156

9.6.7学习率的设定 156

9.6.8动量项 156

9.7源代码分析 157

9.7.1主要数据结构 157

9.7.2激活函数 160

9.7.3权重初始化 163

9.7.4训练函数 164

9.7.5预测函数 177

9.8应用 179

参考文献 180

第10章 支持向量机 182

10.1线性分类器 182

10.1.1线性分类器概述 182

10.1.2分类间隔 182

10.2线性可分的问题 183

10.2.1原问题 183

10.2.2对偶问题 184

10.3线性不可分的问题 187

10.3.1原问题 187

10.3.2对偶问题 187

10.4核映射与核函数 190

10.5 SMO算法 193

10.5.1求解子问题 193

10.5.2优化变量的选择 196

10.6多分类问题 197

10.7实验程序 198

10.8源代码分析 200

10.8.1求解算法 201

10.8.2主要数据结构 204

10.8.3求解器 211

10.9应用 222

参考文献 223

第11章 线性模型 225

11.1 logistic回归 225

11.2正则化logistic回归 228

11.2.1对数似然函数 228

11.2.2 L2正则化原问题 229

11.2.3 L2正则化对偶问题 232

11.2.4 L1正则化原问题 233

11.2.5实验程序 234

11.3线性支持向量机 236

11.3.1 L2正则化L1-loss SVC原问题 236

11.3.2 L2正则化L2-loss SVC原问题 237

11.3.3 L2正则化SVC对偶问题 237

11.3.4 L1正则化L2-loss SVC原问题 238

11.3.5多类线性支持向量机 238

11.3.6实验程序 240

11.4源代码分析 241

11.4.1求解的问题 241

11.4.2主要数据结构 241

11.4.3求解器 249

11.5 softmax回归 262

11.6应用 263

参考文献 264

第12章 随机森林 266

12.1集成学习 266

12.1.1随机抽样 266

12.1.2 Bagging算法 267

12.2随机森林概述 267

12.3训练算法 267

12.4变量的重要性 268

12.5实验程序 269

12.6源代码分析 271

12.6.1主要数据结构 271

12.6.2训练算法 273

12.6.3预测算法 282

12.7应用 282

参考文献 283

第13章 Boosting算法 284

13.1 AdaBoost算法简介 284

13.2训练算法 284

13.3训练误差分析 286

13.4广义加法模型 288

13.5各种AdaBoost算法 290

13.5.1离散型AdaBoost 290

13.5.2实数型 AdaBoost 292

13.5.3 LogitBoost 292

13.5.4 Gentle型AdaBoost 294

13.6实现细节问题 294

13.6.1弱分类器的选择 295

13.6.2弱分类器的数量 295

13.6.3样本权重削减 295

13.7实验程序 295

13.8源代码分析 297

13.8.1主要数据结构 297

13.8.2弱分类器 300

13.8.3强分类器 306

13.9应用——目标检测 318

13.9.1 VJ框架的原理 319

13.9.2模型训练 321

参考文献 322

第14章 深度学习概论 324

14.1机器学习面临的挑战 324

14.1.1人工特征 325

14.1.2机器学习算法 326

14.2深度学习技术 326

14.3进展与典型应用 328

14.3.1计算机视觉 329

14.3.2语音识别 331

14.3.3自然语言处理 331

14.3.4计算机图形学 332

14.3.5推荐系统 332

14.3.6深度强化学习 333

14.4自动编码器 333

14.4.1自动编码器简介 333

14.4.2去噪自动编码器 334

14.4.3稀疏自动编码器 334

14.4.4收缩自动编码器 335

14.4.5多层编码器 335

14.5受限玻尔兹曼机 335

14.5.1玻尔兹曼分布 335

14.5.2受限玻尔兹曼机 336

14.5.3训练算法 338

14.5.4深度玻尔兹曼机 339

14.5.5深度置信网 339

参考文献 339

第15章 卷积神经网络 347

15.1网络结构 347

15.1.1卷积层 348

15.1.2池化层 351

15.1.3全连接层 351

15.2训练算法 352

15.2.1卷积层 352

15.2.2池化层 355

15.2.3随机梯度下降法 356

15.2.4迁移学习 357

15.3典型网络 357

15.3.1 LeNet-5网络 357

15.3.2 AlexNet网络 358

15.3.3 VGG网络 359

15.3.4 GoogLeNet网络 360

15.4理论分析 361

15.4.1反卷积运算 361

15.4.2卷积层可视化 362

15.4.3理论解释 364

15.5挑战与改进措施 365

15.5.1卷积层 365

15.5.2池化层 365

15.5.3激活函数 366

15.5.4损失函数 366

15.5.5网络结构 366

15.5.6批量归一化 370

15.6实际例子 371

15.6.1 LeNet-5网络 371

15.6.2训练自己的模型 373

15.7源代码分析 374

15.7.1 Caffe简介 374

15.7.2数据层 376

15.7.3卷积层 376

15.7.4池化层 378

15.7.5神经元层 378

15.7.6内积层 384

15.7.7损失层 386

15.7.8网络的实现——Net类 396

15.7.9求解器 398

15.8应用——计算机视觉 413

15.8.1人脸检测 414

15.8.2通用目标检测 416

15.8.3人脸关键点定位 425

15.8.4人脸识别 425

15.8.5图像分割 428

15.8.6边缘检测 429

15.8.7风格迁移 432

15.8.8图像增强 433

15.8.9三维视觉 435

15.8.10目标跟踪 436

15.9应用——计算机图形学 437

15.9.1几何模型 438

15.9.2物理模型 439

15.9.3纹理合成 440

15.9.4图像彩色化 441

15.9.5 HDR 442

15.10应用——自然语言处理 444

15.10.1文本分类 444

15.10.2机器翻译 444

参考文献 444

第16章 循环神经网络 450

16.1网络结构 450

16.1.1循环层 450

16.1.2输出层 451

16.1.3一个简单的例子 452

16.1.4深层网络 452

16.2网络的训练 453

16.2.1一个简单的例子 453

16.2.2完整的算法 455

16.3挑战与改进措施 457

16.3.1梯度消失 457

16.3.2长短期记忆模型 458

16.3.3门控循环单元 459

16.3.4双向网络 459

16.4序列预测问题 460

16.4.1序列标注问题 460

16.4.2连接主义时序分类 461

16.4.3序列到序列学习 465

16.5应用——语音识别 467

16.5.1语音识别问题 467

16.5.2隐马尔可夫模型 468

16.5.3高斯混合模型 474

16.5.4 GMM-HMM框架 475

16.5.5深度模型 475

16.6应用——自然语言处理 478

16.6.1中文分词 479

16.6.2词性标注 480

16.6.3命名实体识别 480

16.6.4文本分类 481

16.6.5自动摘要 483

16.6.6机器翻译 483

16.7应用——机器视觉 485

16.7.1字符识别 485

16.7.2目标跟踪 486

16.7.3视频分析 488

参考文献 490

第17章 生成对抗网络 494

17.1随机数据生成 494

17.2生成对抗网络简介 495

17.2.1生成模型 495

17.2.2判别模型 496

17.3模型的训练 496

17.3.1目标函数 496

17.3.2训练算法 497

17.3.3理论分析 498

17.4应用与改进 499

17.4.1改进方案 500

17.4.2典型应用 503

参考文献 505

第18章 聚类算法 506

18.1问题定义 506

18.2层次聚类 507

18.3基于质心的算法 507

18.4基于概率分布的算法 508

18.5基于密度的算法 512

18.5.1 DBSCAN算法 512

18.5.2 OPTICS算法 514

18.5.3 Mean Shift算法 516

18.6基于图的算法 517

18.7算法评价指标 518

18.7.1内部指标 518

18.7.2外部指标 518

18.8应用 519

参考文献 519

第19章 半监督学习 521

19.1问题假设 521

19.1.1连续性假设 521

19.1.2聚类假设 521

19.1.3流形假设 521

19.1.4低密度分割假设 521

19.2启发式算法 522

19.2.1自训练 522

19.2.2协同训练 522

19.3生成模型 522

19.4低密度分割 523

19.5基于图的算法 523

19.6半监督深度学习 524

参考文献 525

第20章 强化学习 527

20.1强化学习简介 527

20.1.1问题定义 527

20.1.2马尔可夫决策过程 528

20.2基于动态规划的算法 532

20.2.1策略迭代算法 532

20.2.2价值迭代算法 534

20.3蒙特卡洛算法 535

20.3.1算法简介 535

20.3.2状态价值函数估计 536

20.3.3动作价值函数估计 537

20.3.4蒙特卡洛控制 537

20.4时序差分学习 538

20.4.1 Sarsa算法 538

20.4.2Q学习 539

20.5深度强化学习 540

20.5.1深度Q网络 541

20.5.2策略梯度算法 544

20.6应用 547

参考文献 547

第三部分 工程实践问题 551

第21章 工程实践问题概述 551

21.1实现细节问题 551

21.1.1训练样本 551

21.1.2特征预处理 552

21.1.3模型选择 552

21.1.4过拟合问题 552

21.2安全性问题 553

21.2.1对抗样本 553

21.2.2形成原因分析 555

21.3实现成本问题 556

21.3.1训练样本量 556

21.3.2计算与存储成本 556

21.4深度模型优化 557

21.4.1剪枝与编码 557

21.4.2二值化网络 558

21.4.3卷积核分离 562

参考文献 563

附录A 各种机器学习算法的总结 565

附录B 梯度下降法的演化关系（见第15章） 569

附录C EM算法的推导（见第18章） 570