第一部分 本书的安排及软件 1
第1章 本书的内容安排及教学建议 3
1.1 适用对象 3
1.2 内容及教学建议 3
1.3 根据需要和疑问调整教学内容 5
1.3.1 拉动式学习方法 5
1.3.2 根据学生的需要教学 6
1.3.3 老师应该让学生产生质疑 6
第2章 软件准备 7
2.1 软件准备 7
2.2 R——为领悟而运行 7
2.2.1 R简介 7
2.2.2 安装和运行 8
2.2.3 试试R编程 10
2.3 Python——为领悟而运行 20
2.3.1 Python简介 20
2.3.2 安装和运行 21
2.3.3 试试Python编程 22
2.3.4 Numpy模块 26
2.3.5 Pandas模块 31
2.3.6 Matplotlib模块 32
2.4 习题 34
第二部分 数据及探索性数据分析 35
第3章 数据的形式、获得及简单描述 37
3.1 数据的意义及获取 37
3.1.1 数据 37
3.1.2 数据的获取 38
3.2 标准格式数据 39
3.2.1 变量和观测值 39
3.2.2 数据的输入和简单展示 40
3.2.3 数据阵中的元素 41
3.2.4 变量的种类 41
3.2.5 统计与计算机术语的区别 43
3.3 简单的数据汇总 44
3.3.1 一些汇总统计量 44
3.3.2 汇总统计量的计算 45
3.3.3 从“被平均”谈均值 46
3.3.4 例3.1 数据的简单汇总 47
3.4 数据的图形描述 48
3.4.1 程序包的安装和使用 48
3.4.2 散点图 49
3.4.3 直方图 53
3.4.4 盒形图 54
3.4.5 条形图 55
3.4.6 三维曲面图及等高线图 56
3.4.7 更多的图形 57
3.5 本章的Python代码 63
3.6 习题 73
第4章 数据整理和清理案例 75
4.1 GDP数据案例 75
4.1.1 形成某年各国的多指标数据 77
4.1.2 形成某国各个时期不同指标的多元时间序列 78
4.1.3 形成某指标的各个时期不同国家的多元时间序列 79
4.2 世界卫生组织案例之一 80
4.2.1 数据的提取 81
4.2.2 删除多余的行和列 82
4.2.3 把多个数据合并成一个数据 83
4.3 世界卫生组织案例之二 84
4.3.1 输入并识别数据 85
4.3.2 删除多余的行和列 85
4.3.3 合并数据 86
4.3.4 清理数据中的其他问题 88
4.4 数据中的缺失值 89
4.4.1 缺失值的审视与标记 89
4.4.2 删除缺失值的方法及问题 93
4.4.3 用认定值或某些准则来填补缺失值 95
4.4.4 利用可预测模型来填补缺失值 96
4.5 本章的Python代码 101
4.5.1 读入例4.1 数据形成2016年的各国数据 101
4.5.2 形成某国各个时期不同指标的多元时间序列 102
4.5.3 某指标的各个时期不同国家的多元时间序列 102
4.5.4 世界卫生组织案例一 103
4.5.5 每个数据集只要一年的数据来合并 104
4.5.6 世界卫生组织案例二 104
4.5.7 数据的缺失值 107
4.6 习题 113
第三部分 有监督学习 115
第5章 有监督学习概论 117
5.1 “学习”的概念 117
5.1.1 有监督学习 118
5.1.2 无监督学习 119
5.2 模型和拟合 119
5.2.1 训练决策树模型分类的例子 119
5.2.2 训练简单最小二乘线性回归模型的例子 129
5.2.3 模型的普遍意义和过拟合 132
5.2.4 警告：训练集的MSE和测试集的MSE的计算不一样！ 133
5.3 模型评价 134
5.3.1 交叉验证 134
5.3.2 分类问题交叉验证的预测精度标准 135
5.3.3 回归问题交叉验证预测精度标准 135
5.3.4 Z折交叉验证时提取各折下标集的R函数 136
5.4 本章的Python代码 138
5.4.1 例5.1 数据的决策树分类 138
5.4.2 例5.2 数据的决策树分类 139
5.4.3 例5.3 的简单线性回归 140
5.4.4 Z折交叉验证时提取各折下标集的Python函数 141
5.5 习题 143
第6章 最小二乘线性回归 146
6.1 基本概念 146
6.2 一个回归实例 147
6.3 多自变量线性回归系数大小有意义吗？ 149
6.4 本章的Python代码 150
第7章 Logistic回归 151
7.1 基本概念 151
7.2 Logistic回归及ROC曲线 154
7.3 本章的Python代码 157
第8章 决策树及其组合方法 159
8.1 决策树 159
8.1.1 决策树分类 159
8.1.2 决策树回归 168
8.2 有放回再抽样简介 170
8.2.1 有放回再抽样 171
8.2.2 经验分布 171
8.2.3 OOB数据 172
8.2.4 非等权放回再抽样 173
8.3 Bagging 173
8.3.1 Bagging的原理 173
8.3.2 Bagging分类 174
8.3.3 Bagging回归 175
8.4 随机森林 176
8.4.1 随机森林分类 177
8.4.2 随机森林回归 181
8.4.3 一个解释随机森林的程序包 184
8.5 AdaBoost分类 189
8.6 本章的Python代码 191
8.6.1 决策树分类 191
8.6.2 决策树回归 194
8.6.3 Bagging分类 195
8.6.4 Bagging回归 196
8.6.5 随机森林分类 196
8.6.6 随机森林回归 197
8.6.7 AdaBoost分类 197
第9章 支持向量机 199
9.1 支持向量机分类 199
9.2 支持向量机回归 201
9.3 本章的Python代码 202
9.3.1 支持向量机分类 202
9.3.2 支持向量机回归 202
第10章 人工神经网络 204
10.1 基本概念 204
10.2 神经网络分类 207
10.3 神经网络回归 209
10.4 本章的Python代码 212
10.4.1 人工神经网络分类 212
10.4.2 人工神经网络回归 212
第11章 朴素贝叶斯 214
11.1 朴素贝叶斯原理 214
11.2 朴素贝叶斯方法分类 215
11.3 本章的Python代码 216
第12章 K最近邻方法 217
12.1 K最近邻方法概要 217
12.1.1 K最近邻分类 218
12.1.2 K最近邻回归 220
12.2 本章的Python代码 221
12.2.1 K最近邻方法分类 221
12.2.2 K最近邻方法回归 221
第13章 有监督学习模型比较案例及第三部分习题 223
13.1 多分类问题例子 223
13.1.1 二分类问题 224
13.1.2 回归问题 226
13.2 本章的Python代码 228
13.3 习题 232
第四部分 无监督学习 235
第14章 降维：主成分分析 237
14.1 变量之间的关系与降维的可能性 237
14.2 两维空间的降维 238
14.3 通过特征值问题求各个主成分 242
14.4 各个观测值在新坐标中的记分 245
14.5 主成分分析在图像处理中的应用 247
14.6 本章的Python代码 249
14.7 习题 255
第15章 聚类分析 256
15.1 聚类分析概论 256
15.1.1 点间距离 257
15.1.2 类间距离 258
15.1.3 分层聚类 259
15.1.4 K均值聚类 261
15.1.5 聚类数目的选择 264
15.1.6 图像色彩的聚类 266
15.2 本章的Python代码 271
15.3 习题 274
第五部分 网络爬虫 277
第16章 网络抓取／网络爬虫入门 279
16.1 引言 279
16.1.1 目的 279
16.1.2 手段 280
16.2 HTML网页结构 280
16.2.1 简单的网页 281
16.2.2 元素（element）和标签（tag）的语法 282
16.2.3 HTML的属性 287
16.3 网络抓取的步骤 288
16.3.1 使用Python软件 288
16.3.2 使用R软件 292
16.4 网络爬虫的若干案例 294
16.4.1 抓取新京报动新闻标题 294
16.4.2 马克思恩格斯全集文章的抓取 296
16.4.3 抓取狄更斯小说《双城记》全部原文内容 297
16.4.4 抓取豆瓣《月亮与六便士》书评 299
16.4.5 抓取微博账号“公安部儿童失踪信息紧急发布平台”儿童失踪信息 302
16.5 表格数据爬取 303
16.6 习题 305
参考文献 306