机器学习基础 原理、算法与实践PDF电子书下载

第1章 机器学习介绍 1

1.1 机器学习简介 2

1.1.1 什么是机器学习 2

1.1.2 机器学习与日常生活 3

1.1.3 如何学习机器学习 4

1.1.4 MATLAB优势 5

1.2 基本概念 5

1.2.1 机器学习的种类 6

1.2.2 有监督学习 6

1.2.3 无监督学习 7

1.2.4 机器学习术语 7

1.2.5 预处理 9

1.3 MATLAB数据格式 10

1.3.1 标称数据 10

1.3.2 序数数据 11

1.3.3 分类数据 11

1.4 示例数据集 12

1.4.1 天气问题 12

1.4.2 鸢尾花 15

1.4.3 其他数据集 16

1.5 了解你的数据 16

习题 20

第2章 线性回归 21

2.1 从一个实际例子说起 22

2.1.1 模型定义 23

2.1.2 模型假设 23

2.1.3 模型评估 24

2.2 最小二乘法 24

2.2.1 最小二乘法求解参数 25

2.2.2 用最小二乘法来拟合奥运会数据 26

2.2.3 预测比赛结果 27

2.3 梯度下降 27

2.3.1 基本思路 28

2.3.2 梯度下降算法 29

2.3.3 梯度下降求解线性回归问题 30

2.4 多变量线性回归 32

2.4.1 多变量线性回归问题 33

2.4.2 多变量梯度下降 34

2.4.3 随机梯度下降 38

2.4.4 正规方程 40

2.5 多项式回归 42

2.5.1 多项式回归算法 42

2.5.2 正则化 45

习题 47

第3章 逻辑回归 49

3.1 逻辑回归介绍 50

3.1.1 线性回归用于分类 50

3.1.2 假设函数 51

3.1.3 决策边界 52

3.2 逻辑回归算法 53

3.2.1 代价函数 53

3.2.2 梯度下降算法 54

3.2.3 MATLAB优化函数 56

3.2.4 多项式逻辑回归 58

3.3 多元分类 60

3.3.1 一对多 60

3.3.2 一对一 62

3.3.3 Softmax回归 64

习题 66

第4章 贝叶斯分类器 67

4.1 简介 68

4.1.1 概述 68

4.1.2 判别模型和生成模型 68

4.1.3 极大似然估计 69

4.2 高斯判别分析 72

4.2.1 多元高斯分布 72

4.2.2 高斯判别模型 73

4.3 朴素贝叶斯 75

4.3.1 朴素贝叶斯算法 76

4.3.2 文本分类 81

习题 86

第5章 模型评估与选择 87

5.1 简介 88

5.1.1 训练误差与泛化误差 88

5.1.2 偏差和方差 89

5.2 评估方法 90

5.2.1 训练集、验证集和测试集的划分 91

5.2.2 交叉验证 92

5.3 性能度量 95

5.3.1 常用性能度量 95

5.3.2 查准率和查全率 96

5.3.3 ROC和AUC 98

5.4 偏差与方差折中 100

5.4.1 偏差与方差诊断 101

5.4.2 正则化与偏差方差 102

5.4.3 学习曲线 103

习题 104

第6章 K-均值算法和EM算法 107

6.1 聚类分析 108

6.1.1 K-means算法描述 108

6.1.2 K-means算法应用 112

6.1.3 注意事项 113

6.2 EM算法 114

6.2.1 基本EM算法 114

6.2.2 EM算法的一般形式 115

6.2.3 混合高斯模型 118

习题 123

第7章 决策树 125

7.1 决策树介绍 126

7.2 ID3算法 127

7.2.1 信息熵 127

7.2.2 信息增益计算示例 127

7.2.3 ID3算法描述 132

7.2.4 ID3算法实现 134

7.3 C4.5算法 134

7.3.1 基本概念 135

7.3.2 剪枝处理 139

7.3.3 C4.5算法描述 140

7.3.4 C4.5算法实现 142

7.4 CART算法 144

7.4.1 CART算法介绍 144

7.4.2 CART算法描述 147

7.4.3 CART算法实现 149

习题 150

第8章 神经网络 151

8.1 神经网络介绍 152

8.1.1 从一个实例说起 152

8.1.2 神经元 153

8.1.3 神经网络结构 154

8.1.4 简化的神经网络模型 157

8.1.5 细节说明 160

8.2 神经网络学习 161

8.2.1 代价函数 161

8.2.2 BP算法 162

8.2.3 BP算法实现 166

8.2.4 平方代价函数的情形 171

习题 171

第9章 隐马尔科夫模型 173

9.1 隐马尔科夫模型基本概念 174

9.1.1 离散马尔科夫过程 174

9.1.2 扩展至隐马尔科夫模型 176

9.1.3 HMM的组成和序列生成 179

9.1.4 三个基本问题 181

9.2 求解HMM三个基本问题 182

9.2.1 评估问题 183

9.2.2 解码问题 187

9.2.3 学习问题 190

习题 196

第10章 支持向量机 197

10.1 支持向量机介绍 198

10.2 最大间隔超平面 198

10.2.1 SVM问题的形式化描述 199

10.2.2 函数间隔和几何间隔 199

10.2.3 最优间隔分类器 201

10.2.4 使用优化软件求解SVM 203

10.3 对偶算法 204

10.3.1 SVM对偶问题 204

10.3.2 使用优化软件求解对偶SVM 206

10.4 非线性支持向量机 208

10.4.1 核技巧 208

10.4.2 常用核函数 210

10.5 软间隔支持向量机 213

10.5.1 动机及原问题 213

10.5.2 对偶问题 214

10.5.3 使用优化软件求解软间隔对偶SVM 215

10.6 SMO算法 218

10.6.1 SMO算法描述 218

10.6.2 简化SMO算法实现 221

10.7 LibSVM 226

10.7.1 LibSVM的安装 226

10.7.2 LibSVM函数 228

10.7.3 LibSVM实践指南 230

习题 232

第11章 推荐系统 233

11.1 推荐系统介绍 234

11.1.1 什么是推荐系统 234

11.1.2 数据集描述 235

11.1.3 推荐系统符号 236

11.2 基于用户的协同过滤 236

11.2.1 相似性度量 237

11.2.2 算法描述 239

11.2.3 算法实现 240

11.3 基于物品的协同过滤 241

11.3.1 调整余弦相似度和预测 241

11.3.2 Slope One算法描述与实现 243

11.4 基于内容的协同过滤算法与实现 247

11.4.1 算法描述 247

11.4.2 算法实现 250

习题 251

第12章 主成分分析 253

12.1 主成分分析介绍 254

12.2 本征值与奇异值分解 255

12.2.1 本征值分解 255

12.2.2 奇异值分解 256

12.3 PCA算法描述 256

12.3.1 PCA算法 257

12.3.2 从压缩表示中重建 258

12.3.3 确定主成分数量 258

12.4 PCA实现 260

12.4.1 假想实例 260

12.4.2 MNIST实例 264

习题 265

习题参考答案 267

符号表 294

参考文献 295