第一部分 引论 3
第1章 引论 3
1.1 序言 3
1.2 数据科学简述 3
1.2.1 数据科学的定义 3
1.2.2 数据科学的由来 4
1.2.3 数据科学的研究范畴 5
1.2.4 数据科学的学习意义 6
1.3 本书结构 6
第二部分 大数据及其产生根源 11
第2章 数据 11
2.1 数据的定义 11
2.1.1 数据的定义 11
2.1.2 其他相关概念 11
2.2 数据简史 12
第3章 大数据的概念和特征 19
3.1 大数据的概念 19
3.2 大数据的4V特性 20
3.2.1 体量（Volume） 20
3.2.2 多样性（Variety） 22
3.2.3 价值/真实性（Value/Veracity） 23
3.2.4 速度（Velocity） 24
3.2.5 对4V特性的体会 24
第4章 大数据的产生根源 25
4.1 大数据的产生根源 25
4.1.1 大数据时代出现的技术基础 25
4.1.2 大数据时代出现的数据基础 25
4.2 大数据简史 26
4.3 大数据时代的挑战 28
4.3.1 数据规模 30
4.3.2 数据的多样性和异构性 31
4.3.3 数据的不可靠问题 31
4.3.4 数据的实时性要求 31
4.3.5 数据隐私问题 31
4.3.6 人机协作问题 31
4.3.7 数据的访问与共享 31
4.3.8 数据运用的合理性 32
4.3.9 小结 32
第三部分 大数据研究的重要性 35
第5章 大数据研究的现状 35
5.1 政府篇 35
5.1.1 联合国的大数据研究 35
5.1.2 美国的大数据研究 36
5.1.3 欧盟的大数据研究 37
5.2 企业篇 39
5.2.1 谷歌 39
5.2.2 IBM 39
5.2.3 百度 41
5.2.4 阿里巴巴 41
5.2.5 腾讯 42
第6章 关联分析 44
6.1 啤酒与尿布 44
6.1.1 案例详析 44
6.1.2 购物篮分析法 45
6.1.3 商品间相关性分析 47
6.1.4 外界因素的影响 51
6.1.5 思维启示 52
6.2 亚马逊的个性化推荐 54
6.2.1 案例详析 54
6.2.2 亚马逊的推荐方式 55
6.2.3 推荐算法 57
6.3 潘多拉音乐组计划 61
6.3.1 案例详析 61
6.3.2 标签的运用 64
6.4 塔吉特的大数据营销 67
6.4.1 案例详析 67
6.4.2 思维启示——数据应用已经渗入生活的方方面面 68
第7章 趋势预测 70
7.1 “搜索＋比价” 70
7.1.1 Farecast案例详析 70
7.1.2 Decide案例详析 72
7.1.3 思维启示 75
7.2 Twitter与对冲基金 75
7.2.1 案例详析 75
7.2.2 思维启示：数据可以预测趋势与规律 77
7.3 疾病预测 77
7.3.1 谷歌流感趋势 77
7.3.2 其他案例 81
7.3.3 思维启示 81
7.4 电影票房预测 83
7.4.1 案例详析 83
7.4.2 工作模式 84
7.4.3 思维启示：简单的就是最好的 87
7.5 奥斯卡预测 88
7.5.1 案例详析 88
7.5.2 思维启示：大数据可以做预测 90
第8章 决策支持 92
8.1 《纸牌屋》 92
8.1.1 案例详析 92
8.1.2 大数据的运用方式 93
8.1.3 思维启示 93
8.2 美国总统大选 96
8.2.1 案例详析 96
8.2.2 大数据的运用方式 96
8.2.3 思维启示 99
第9章 模式创新 100
9.1 大数据与反恐 100
9.1.1 美国“棱镜”计划 100
9.1.2 加拿大的“棱镜门” 102
9.1.3 思维启示 103
9.2 利用大数据打击犯罪 105
9.2.1 “先知”系统 105
9.2.2 “犯罪数据分析和趋势预测系统” 106
9.3 大数据与破案 107
9.3.1 《源代码》 107
9.4 大数据的其他运用方式 108
9.4.1 大数据与纽约沙井盖维护 108
9.4.2 大数据帮助寻根问祖 109
第四部分 数据科学的研究方式 117
第10章 数据密集型研究方法 117
10.1 范式和范式的演化过程 117
10.1.1 范式的定义 117
10.1.2 范式的演变过程 118
10.2 第四范式兴起的社会根源 120
10.2.1 数据洪流的到来 120
10.2.2 科学界对海量数据的关注 121
10.2.3 关联数据运动 122
10.2.4 政府数据开放运动 123
10.3 对第四范式的分析 124
10.3.1 科学数据与科学研究的问题 124
10.3.2 解决方案 124
10.4 数据科学研究的一般流程 125
第11章 数据的获取和预处理 127
11.1 数据的获取 127
11.1.1 数据的类型 127
11.1.2 网络爬虫技术 129
11.2 数据预处理的目的 136
11.3 数据清洗 137
11.3.1 填补空缺值 137
11.3.2 平滑噪声数据 138
11.4 数据集成 142
11.4.1 多信息源的匹配 142
11.4.2 冗余数据的处理 143
11.5 数据变换 145
11.5.1 数据规范化 145
11.6 数据归约 146
11.6.1 数据立方体聚集 147
11.6.2 维归约 148
11.6.3 特征值归约 150
第12章 数据的存储与管理 151
12.1 数据的存储 151
12.1.1 数据存储的发展 151
12.1.2 大数据对存储带来的挑战 155
12.1.3 云存储方式 156
12.2 数据的管理 157
12.2.1 数据管理的发展阶段 157
12.2.2 大数据时代数据管理的特点 160
12.2.3 非关系型数据 161
12.2.4 开源的NoSQL数据库软件 161
第13章 数据的处理 165
13.1 Hadoop 165
13.1.1 Hadoop的起源 165
13.1.2 优点 165
13.1.3 架构 166
13.1.4 MapReduce流程 167
13.2 Spark 168
13.2.1 概述 168
13.2.2 Spark的特点 169
13.2.3 编程模型 169
13.2.4 运行和调度 170
第14章 数据的可视化 173
14.1 概述 173
14.2 可视化工具 174
14.2.1 Excel 174
14.2.2 Raphael 174
14.2.3 Visual.ly 175
14.2.4 Crossfilter 175
14.2.5 Polymaps 175
14.2.6 Kartograph 176
14.2.7 Processing 176
14.2.8 R 177
14.2.9 Weka 177
14.2.10 Gephi 178
第五部分 数据与未来 183
第15章 大数据与智慧城市 183
15.1 概述 183
15.1.1 智慧城市的定义 183
15.1.2 智慧城市产生背景 184
15.2 大数据与智慧城市 186
15.2.1 智慧城市的基本特征与层次构成 186
15.2.2 智慧城市建设中所应用的数据科学技术 188
15.3 智慧城市案例 190
15.3.1 韩国 191
15.3.2 日本 192
15.3.3 美国 192
15.3.4 爱沙尼亚 196
15.3.5 荷兰 198
15.3.6 英国 199
15.3.7 巴西 200
第16章 大数据与智慧医疗 205
16.1 概述 205
16.2 智慧医疗的范畴 205
16.2.1 临床操作 205
16.2.2 付款/定价 207
16.2.3 研发 208
16.2.4 新的商业模式 209
16.2.5 公众健康 209
16.2.6 给我们的思维模式启示 210
16.3 大数据与智慧医疗 210
16.3.1 大数据服务心脏病患者 210
16.3.2 “魔毯”病人的监控 211
16.3.3 大数据监测脑外伤病人恢复 211
16.3.4 大数据帮助实现个性化用药和诊断 212
16.4 可穿戴技术 213
16.4.1 可穿戴技术的概念 213
16.4.2 可穿戴设备简析 214
16.4.3 可穿戴设备与智慧医疗 218
16.4.4 思维启示——可穿戴设备的缺陷 218
第17章 大数据与未来生活 221
17.1 数据科学家 221
17.1.1 数据科学家的定义 221
17.1.2 数据科学家的从业前景 221
17.2 对未来数据科学发展的探讨 224
17.2.1 数据不是万能 224
17.2.2 提防进入数据误区 225