机器学习精讲 基础、算法及应用PDF电子书下载

第1章 引言 1

1.1教计算机区分猫和狗 1

1.2预测学习问题 5

1.2.1回归 5

1.2.2分类 7

1.3特征设计 9

1.4数值优化 11

1.5小结 13

第一部分 基本工具及概念 16

第2章 数值优化基础 16

2.1微积分定义的最优性 16

2.1.1泰勒级数逼近 16

2.1.2最优性的一阶条件 17

2.1.3凸性的便利 19

2.2优化数值方法 20

2.2.1概览 20

2.2.2停止条件 21

2.2.3梯度下降 22

2.2.4牛顿法 24

2.3小结 28

2.4习题 28

第3章 回归 34

3.1线性回归基础 34

3.1.1符号和建模 34

3.1.2用于线性回归的最小二乘代价函数 35

3.1.3最小二乘代价函数的最小化 36

3.1.4所学模型的效力 37

3.1.5预测新输入数据的值 37

3.2知识驱动的回归特征设计 38

3.3非线性回归和l2正则化 41

3.3.1逻辑回归 41

3.3.2非凸代价函数和l2正则化 43

3.4小结 45

3.5习题 46

第4章 分类 53

4.1感知机代价函数 53

4.1.1基本感知机模型 53

4.1.2 softmax代价函数 55

4.1.3间隔感知机 57

4.1.4间隔感知机的可微近似 58

4.1.5所学分类器的精度 60

4.1.6预测新输入数据的标签 60

4.1.7哪个代价函数会产生最好的结果 61

4.1.8感知机和计数代价的关联 62

4.2逻辑回归视角下的softmax代价 63

4.2.1阶梯函数和分类 64

4.2.2凸逻辑回归 64

4.3支持向量机视角下的间隔感知机 66

4.3.1寻找最大间隔超平面 66

4.3.2硬间隔支持向量机问题 68

4.3.3软间隔支持向量机问题 68

4.3.4支持向量机和逻辑回归 69

4.4多分类 69

4.4.1一对多的多分类 70

4.4.2多分类softmax分类 72

4.4.3所学多分类器的精度 75

4.4.4哪种多分类方法表现最好 76

4.5面向分类的知识驱动特征设计 76

4.6面向真实数据类型的直方图特征 78

4.6.1文本数据的直方图特征 79

4.6.2图像数据的直方图特征 81

4.6.3音频数据的直方图特征 85

4.7小结 85

4.8习题 86

第二部分 完全数据驱动的机器学习工具 96

第5章 回归的自动特征设计 96

5.1理想回归场景中的自动特征设计 96

5.1.1向量逼近 97

5.1.2从向量到连续函数 97

5.1.3连续函数退近 98

5.1.4连续函数遇近的常见基 99

5.1.5获取权重 103

5.1.6神经网络的图表示 103

5.2真实回归场景中的自动特征设计 104

5.2.1离散化的连续函数逼近 104

5.2.2真实回归场景 105

5.3回归交叉验证 108

5.3.1诊断过拟合与欠拟合问题 110

5.3.2留出交叉验证 110

5.3.3留出交叉验证的计算 112

5.3.4 k折交叉验证 112

5.4哪个基最好 115

5.4.1理解数据背后的现象 115

5.4.2实践方面的考虑 115

5.4.3什么时候可任意选择基 116

5.5小结 117

5.6习题 117

5.7关于连续函数逼近的注释 122

第6章 分类中的自动特征设计 123

6.1理想分类场景中的自动特征设计 123

6.1.1分段连续函数遇近 123

6.1.2指示函数的形式化定义 124

6.1.3指示函数逼近 126

6.1.4获取权重 126

6.2真实分类场景中的自动特征设计 126

6.2.1离散化的指示函数逼近 126

6.2.2真实的分类场景 128

6.2.3分类器精度和边界定义 132

6.3多分类 132

6.3.1一对多的多分类 132

6.3.2多分类softmax分类 133

6.4分类交叉验证 133

6.4.1留出交叉验证 134

6.4.2留出交叉验证的计算 136

6.4.3 k折交叉验证 136

6.4.4一对多多分类的k折交叉验证 138

6.5哪个基最好 139

6.6小结 140

6.7习题 140

第7章 核、反向传播和正则化交叉验证 145

7.1固定特征核 145

7.1.1线性代数基本定理 145

7.1.2核化代价函数 146

7.1.3核化的价值 147

7.1.4核的例子 148

7.1.5核作为相似矩阵 149

7.2反向传播算法 150

7.2.1计算两层网络代价函数的梯度 150

7.2.2计算三层神经网络的梯度 152

7.2.3动量梯度下降 153

7.3 l2正则化交叉验证 155

7.3.1 l2正则化和交叉验证 156

7.3.2回归的k折正则化交叉验证 156

7.3.3分类的正则化交叉验证 157

7.4小结 157

7.5更多的核计算 158

7.5.1核化不同的代价函数 158

7.5.2傅里叶核——标量输入 159

7.5.3傅里叶核——向量输入 159

第三部分 大规模数据机器学习方法 162

第8章 高级梯度算法 162

8.1梯度下降法的固定步长规则 162

8.1.1梯度下降法和简单的二次代理 162

8.1.2有界曲率函数和最优保守步长规则 164

8.1.3如何使用保守固定步长规则 165

8.2梯度下降的自适应步长规则 167

8.2.1回溯线性搜索的自适应步长规则 167

8.2.2如何使用自适应步长规则 168

8.3随机梯度下降 169

8.3.1梯度分解 169

8.3.2随机梯度下降迭代 170

8.3.3随机梯度下降的价值 171

8.3.4随机梯度下降的步长规则 172

8.3.5在实践中如何使用随机梯度下降法 172

8.4梯度下降方案的收敛性证明 173

8.4.1利普希茨常数固定步长梯度下降的收敛性 173

8.4.2回溯线性搜索梯度下降的收敛性 174

8.4.3随机梯度法的收敛性 174

8.4.4面向凸函数的固定步长梯度下降的收敛速度 176

8.5计算利普希茨常数 177

8.6小结 178

8.7习题 178

第9章 降维技术 180

9.1数据的降维技术 180

9.1.1随机子采样 180

9.1.2 K均值聚类 181

9.1.3 K均值问题的优化 183

9.2主成分分析 184

9.3推荐系统 188

9.3.1矩阵填充模型 189

9.3.2矩阵填充模型的优化 189

9.4小结 190

9.5习题 190

第四部分 附录 194

附录A 基本的向量和矩阵运算 194

附录B 向量微积分基础 197

附录C 基本的矩阵分解及伪逆 202

附录D 凸几何 205

参考文献 207

索引 212