第1章 机器学习算法概述 1
1.1 什么是机器学习 2
1.2 机器学习的形式分类 4
1.2.1 监督式学习 4
1.2.2 无监督学习 7
1.2.3 强化学习 8
1.3 机器学习算法综览 9
1.4 有关术语的约定 15
小结 16
第2章 监督式学习算法基础 17
2.1 监督式学习基本概念 17
2.2 经验损失最小化架构 20
2.3 监督式学习与经验损失最小化实例 23
2.4 正则化算法 29
小结 34
习题 35
第3章 线性回归算法 38
3.1 线性回归基本概念 38
3.2 线性回归优化算法 43
3.3 多项式回归 49
3.4 线性回归的正则化算法 52
3.5 线性回归的特征选择算法 58
3.5.1 逐步回归 58
3.5.2 分段回归 63
小结 66
习题 66
第4章 机器学习中的搜索算法 70
4.1 梯度下降算法与次梯度下降算法 71
4.2 随机梯度下降算法 77
4.3 牛顿迭代算法 83
4.4 坐标下降算法 87
小结 91
习题 92
第5章 Logistic回归算法 94
5.1 Logistic回归基本概念 94
5.2 Logistic回归优化算法 100
5.3 分类问题的度量 107
5.3.1 准确率 107
5.3.2 精确率与召回率 108
5.3.3 ROC曲线及AUC度量 112
5.4 Softmax回归 115
5.4.1 Softmax回归基本概念 115
5.4.2 Softmax回归优化算法 116
5.4.3 Softmax模型与指数分布族 121
小结 123
习题 123
第6章 支持向量机算法 126
6.1 支持向量机基本概念 126
6.1.1 支持向量机思想起源 127
6.1.2 支持向量机的凸优化描述 129
6.1.3 支持向量机的对偶 132
6.2 支持向量机优化算法 133
6.3 核方法 140
6.4 软间隔支持向量机 147
6.4.1 软间隔支持向量机基本概念 147
6.4.2 软间隔支持向量机优化算法 149
6.4.3 Hinge损失与软间隔支持向量机 152
小结 153
习题 154
第7章 决策树 158
7.1 决策树的基本概念 158
7.2 决策树优化算法 166
7.2.1 决策树回归问题的CART算法 166
7.2.2 决策树分类问题的CART算法 168
7.3 CART算法实现及应用 171
7.3.1 决策树CART算法基类 171
7.3.2 决策树回归问题的CART算法的实现及应用 175
7.3.3 决策树分类问题的CART算法的实现及应用 178
7.4 集成学习算法 180
7.4.1 随机森林分类算法 181
7.4.2 随机森林回归算法 187
7.5 梯度提升决策树回归算法 189
小结 192
习题 193
第8章 神经网络 197
8.1 神经网络基本概念 197
8.1.1 神经网络模型 197
8.1.2 神经网络算法描述 202
8.2 神经网络优化算法 204
8.3 神经网络算法实现 208
8.4 神经网络的TensorFlow实现 216
小结 218
习题 218
第9章 深度学习 222
9.1 卷积神经网络 222
9.1.1 滤镜 224
9.1.2 卷积层 226
9.1.3 卷积神经网络的实现 230
9.2 循环神经网络 237
9.2.1 循环神经网络基本概念 238
9.2.2 循环神经网络的实现 241
9.2.3 时间反向传播算法 245
9.2.4 长短时记忆基本概念 246
9.2.5 长短时记忆的实现 249
小结 250
习题 251
第10章 降维算法 256
10.1 主成分分析法 256
10.1.1 算法思想 256
10.1.2 算法实现 261
10.1.3 奇异值分解 263
10.2 主成分分析的核方法 265
10.2.1 主成分分析法的等价形式 265
10.2.2 核方法算法描述 266
10.2.3 核方法算法实现 268
10.3 线性判别分析法 271
10.3.1 算法思想 271
10.3.2 算法实现 273
10.4 流形降维算法 275
10.4.1 局部线性嵌入法 276
10.4.2 多维缩放法 280
10.5 自动编码器 284
小结 287
习题 288
第11章 聚类算法 293
11.1 k均值算法 293
11.2 合并聚类算法 298
11.3 DBSCAN算法 304
小结 309
习题 310
第12章 强化学习 313
12.1 强化学习基本概念 314
12.1.1 马尔可夫环境模型 314
12.1.2 策略 316
12.2 动态规划型算法 318
12.2.1 值迭代算法 319
12.2.2 策略迭代算法 323
12.3 时序差分型算法 327
12.4 深度Q神经网络 335
12.5 策略梯度型算法 341
12.5.1 REINFORCE算法 342
12.5.2 Actor-Critic算法 345
小结 348
习题 349
附录A 机器学习数学基础 352
A.1 线性代数 352
A.2 微积分 357
A.3 优化理论 361
A.3.1 凸函数的定义及判定 361
A.3.2 无约束凸优化问题 362
A.3.3 带约束凸优化问题 364
A.4 概率论简介 366
附录B Python语言与机器学习工具库 370
B.1 Python语言基础 370
B.2 SciPy工具库 374
B.2.1 NumPy简介 374
B.2.2 Matplotlib简介 378
B.2.3 Pandas简介 379
B.3 Sklearn简介 380
B.4 TensorFlow简介 383
附录C 本书使用的数据集 387
参考文献 388