第1章 机器学习概述 1
1.1 何谓机器学习 1
1.1.1 机器学习常用基本概念 2
1.1.2 机器学习类型 3
1.1.3 机器学习应用开发步骤 4
1.2 集成学习发展与XGBoost提出 5
1.2.1 集成学习 5
1.2.2 XGBoost 6
1.3 小结 7
第2章 XGBoost骊珠初探 9
2.1 搭建Python机器学习环境 9
2.1.1 Jupyter Notebook 10
2.1.2 NumPy 11
2.1.3 Pandas 18
2.1.4 Matplotlib 32
2.1.5 scikit-learn 39
2.2 搭建XGBoost运行环境 39
2.3 示例：XGBoost告诉你蘑菇是否有毒 42
2.4 小结 44
第3章 机器学习算法基础 45
3.1 KNN 45
3.1.1 KNN关键因素 46
3.1.2 用KNN预测鸢尾花品种 47
3.2 线性回归 52
3.2.1 梯度下降法 53
3.2.2 模型评估 55
3.2.3 通过线性回归预测波士顿房屋价格 55
3.3 逻辑回归 57
3.3.1 模型参数估计 59
3.3.2 模型评估 60
3.3.3 良性／恶性乳腺肿瘤预测 61
3.3.4 softmax 64
3.4 决策树 65
3.4.1 构造决策树 66
3.4.2 特征选择 67
3.4.3 决策树剪枝 71
3.4.4 决策树解决肿瘤分类问题 71
3.5 正则化 75
3.6 排序 78
3.6.1 排序学习算法 80
3.6.2 排序评价指标 81
3.7 人工神经网络 85
3.7.1 感知器 85
3.7.2 人工神经网络的实现原理 87
3.7.3 神经网络识别手写体数字 90
3.8 支持向量机 92
3.8.1 核函数 95
3.8.2 松弛变量 97
3.8.3 通过SVM识别手写体数字 98
3.9 小结 99
第4章 XGBoost小试牛刀 100
4.1 XGBoost实现原理 100
4.2 二分类问题 101
4.3 多分类问题 109
4.4 回归问题 113
4.5 排序问题 117
4.6 其他常用功能 121
4.7 小结 145
第5章 XGBoost原理与理论证明 146
5.1 CART 146
5.1.1 CART生成 147
5.1.2 剪枝算法 150
5.2 Boosting算法思想与实现 151
5.2.1 AdaBoost 151
5.2.2 Gradient Boosting 151
5.2.3 缩减 153
5.2.4 Gradient Tree Boosting 153
5.3 XGBoost中的Tree Boosting 154
5.3.1 模型定义 155
5.3.2 XGBoost中的Gradient Tree Boosting 156
5.4 切分点查找算法 161
5.4.1 精确贪心算法 161
5.4.2 基于直方图的近似算法 163
5.4.3 快速直方图算法 165
5.4.4 加权分位数概要算法 167
5.4.5 稀疏感知切分点查找算法 167
5.5 排序学习 169
5.5.1 RankNet 169
5.5.2 LambdaRank 172
5.5.3 LambdaMART 173
5.6 DART 174
5.7 树模型的可解释性 177
5.7.1 Saabas 177
5.7.2 SHAP 179
5.8 线性模型原理 183
5.8.1 Elastic Net回归 183
5.8.2 并行坐标下降法 184
5.8.3 XGBoost线性模型的实现 185
5.9 系统优化 187
5.9.1 基于列存储数据块的并行学习 188
5.9.2 缓存感知访问 190
5.9.3 外存块计算 191
5.10 小结 192
第6章 分布式XGBoost 193
6.1 分布式机器学习框架Rabit 193
6.1.1 AllReduce 193
6.1.2 Rabit 195
6.1.3 Rabit应用 197
6.2 资源管理系统YARN 200
6.2.1 YARN的基本架构 201
6.2.2 YARN的工作流程 202
6.2.3 XGBoost on YARN 203
6.3 可移植分布式XGBoost4J 205
6.4 基于Spark平台的实现 208
6.4.1 Spark架构 208
6.4.2 RDD 210
6.4.3 XGBoost4J-Spark 211
6.5 基于Flink平台的实现 223
6.5.1 Flink原理简介 224
6.5.2 XGBoost4J-Flink 227
6.6 基于GPU加速的实现 229
6.6.1 GPU及其编程语言简介 229
6.6.2 XGBoost GPU加速原理 230
6.6.3 XGBoost GPU应用 236
6.7 小结 239
第7章 XGBoost进阶 240
7.1 模型训练、预测及解析 240
7.1.1 树模型训练 240
7.1.2 线性模型训练 256
7.1.3 模型预测 258
7.1.4 模型解析 261
7.2 树模型更新 264
7.2.1 updater_colmaker 264
7.2.2 updater_histmaker 264
7.2.3 updater_fast_hist 271
7.2.4 其他更新器 276
7.3 目标函数 278
7.3.1 二分类 279
7.3.2 回归 280
7.3.3 多分类 282
7.3.4 排序学习 284
7.4 评估函数 288
7.4.1 概述 289
7.4.2 二分类 291
7.4.3 多分类 295
7.4.4 回归 296
7.4.5 排序 297
7.5 小结 299
第8章 模型选择与优化 300
8.1 偏差与方差 300
8.2 模型选择 303
8.2.1 交叉验证 304
8.2.2 Bootstrap 306
8.3 超参数优化 307
8.3.1 网格搜索 308
8.3.2 随机搜索 310
8.3.3 贝叶斯优化 313
8.4 XGBoost超参数优化 315
8.4.1 XGBoost参数介绍 315
8.4.2 XGBoost调参示例 319
8.5 小结 334
第9章 通过XGBoost实现广告分类器 335
9.1 PCA 335
9.1.1 PCA的实现原理 335
9.1.2 通过PCA对人脸识别数据降维 338
9.1.3 利用PCA实现数据可视化 341
9.2 通过XGBoost实现广告分类器 343
9.3 小结 357
第10章 基于树模型的其他研究与应用 358
10.1 GBDT、LR融合提升广告点击率 358
10.2 mGBDT 360
10.3 DEF 362
10.4 一种基于树模型的强化学习方法 366
10.5 小结 370