基础篇 3
第1章 绪论 3
1.1概述 3
1.1.1数据 4
1.1.2数据中蕴含的价值 6
1.1.3获取数据中蕴含的价值 8
1.2大数据的内涵和外延 9
1.2.1大数据时代的驱动力 9
1.2.2大数据的概念和特征 10
1.2.3大数据带来的思维模式改变 12
1.2.4大数据的作用和意义 13
1.3大数据的技术挑战和科学意义 15
1.3.1数据处理的一般过程 16
1.3.2大数据计算面临的挑战 17
1.3.3大数据计算的特点 18
1.3.4大数据计算平台 19
1.3.5大数据与云计算、人工智能的关系 20
1.4数据科学 22
1.4.1数据科学的提出 23
1.4.2数据科学的范畴 23
1.4.3数据科学对学科发展的影响 24
习题 25
参考文献及扩展阅读资料 26
技术篇 29
第2章 数据采集与治理 29
2.1概述 30
2.2大数据的来源与多源数据的采集方式 30
2.2.1大数据的来源 30
2.2.2多源数据的采集 31
2.2.3数据离散化 33
2.3数据集成和跨界应用的数据集成方法 34
2.3.1数据集成的定义与形式 34
2.3.2传统数据集成 35
2.3.3跨界数据集成 38
2.4数据的预处理 40
2.4.1数据变换 40
2.4.2数据质量的检验与提升 41
习题 44
参考文献及扩展阅读资料 44
第3章 数据管理 46
3.1概述 46
3.2关系数据库 47
3.2.1关系数据模型 48
3.2.2结构化查询语言 51
3.2.3数据库事务 52
3.2.4关系数据库管理系统 53
3.3分布式文件系统 54
3.3.1Hadoop 55
3.3.2Ceph 57
3.3.3GlusterFS 59
3.3.4分布式文件系统对比 60
3.4新型数据管理与查询系统 61
3.4.1NoSQL数据库 61
3.4.2SQL on Hadoop系统 65
习题 68
参考文献及扩展阅读资料 68
第4章 数据分析 69
4.1概述 69
4.2统计数据分析 71
4.2.1数据描述性分析 71
4.2.2回归分析 74
4.3基于机器学习的数据分析 76
4.3.1非监督学习方法 77
4.3.2监督学习方法 77
4.4图的数据分析 84
4.4.1图的基本概念 85
4.4.2中心性和相似性分析 86
4.4.3社交网络上的算法 89
4.5自然语言中的数据分析 92
4.5.1词表示分析 92
4.5.2语言模型 94
4.5.3话题模型 95
习题 96
参考文献及扩展阅读资料 96
第5章 数据可视化 98
5.1概述 98
5.2数据可视化主要技术 101
5.2.1高维数据可视化 102
5.2.2网络数据可视化 106
5.2.3层次结构数据可视化 109
5.2.4时空数据可视化 112
5.2.5文本数据可视化 115
5.3高可扩展可视化技术 117
5.3.1科学可视化中的高可扩展性 117
5.3.2支持数据高效的存储和检索的可视化 121
5.3.3支持可扩展可视化的交互手段 123
5.4大数据可视化与可视分析案例 125
5.4.1VAST Challenge 2017的可视分析案例 125
5.4.2车辆轨迹数据的可视分析案例 128
5.5可视化工具和软件 131
5.5.1高维数据可视化工具 131
5.5.2文本可视化工具 132
5.5.3网络可视化工具 132
5.5.4可视化编程工具 132
习题 132
参考文献及扩展阅读资料 132
第6章 数据安全与隐私保护 135
6.1概述 135
6.1.1数据安全与传统信息安全的共异点 136
6.1.2数据采集及传输中的安全与隐私 136
6.1.3数据存储的安全与隐私 138
6.1.4数据分析挖掘及处理的安全与隐私 138
6.1.5数据交互、共享与服务的安全与隐私 139
6.2数据安全及隐私保护支撑技术 140
6.2.1密码学基础及关键技术 140
6.2.2公钥基础设施 146
6.2.3授权管理基础设施 147
6.2.4PKI与PMI协同工作原理 148
6.2.5秘密分割与共享管理技术 149
6.3数据脱敏技术与实践 150
6.3.1数据交互安全与脱敏技术 150
6.3.2静态数据脱敏技术 150
6.3.3动态数据脱敏技术 150
6.3.4数据脱敏实例 151
6.4数据生命周期安全的防护及管理体系 151
6.4.1数据安全防护体系 151
6.4.2数据安全标准 153
6.4.3数据生命周期安全实施方案与数据安全管理 154
习题 155
参考文献及扩展阅读资料 155
第7章 大数据处理平台 157
7.1概述 157
7.2大数据处理平台架构 158
7.2.1技术架构 158
7.2.2开源平台 159
7.3批量大数据计算 161
7.3.1基本概念 161
7.3.2典型批量计算系统 162
7.3.3实例：微博用户群体年度热词统计 164
7.4流式大数据计算 166
7.4.1基本概念 166
7.4.2典型流式计算系统 168
7.4.3实例：微博用户群体实时热门话题分析 169
7.5大规模图数据计算 170
7.5.1基本概念 170
7.5.2典型图计算系统 172
7.5.3实例：微博用户影响力排名 174
习题 175
参考文献及扩展阅读资料 176
应用篇 179
第8章 社会网络大数据 179
8.1概述 179
8.2社会网络大数据面临的挑战 181
8.3社会网络中的用户影响力 182
8.3.1影响力检测实验 183
8.3.2影响力传播模型 185
8.3.3影响力度量算法 186
8.3.4社会影响力应用 186
8.4在线社会媒体中信息传播的建模与预测 187
8.4.1网络信息传播模型 187
8.4.2传播网络推断 188
8.4.3影响力最大化 188
8.4.4信息传播预测 189
习题 192
参考文献及扩展阅读资料 192
第9章 城市大数据 194
9.1概述 194
9.1.1城市数据的分类 195
9.1.2城市数据的特点 195
9.2智慧城市 197
9.2.1智慧城市的概念 197
9.2.2智慧城市的发展现状 198
9.2.3智慧城市的未来趋势 199
9.3智慧城市的技术体系框架 200
9.3.1智慧城市的技术框架 200
9.3.2以数据为中心的智慧城市特点 201
9.3.3智慧城市中的典型应用与服务 203
9.4城市大数据应用案例 205
9.4.1交通大数据的来源与种类 206
9.4.2交通大数据的分析与处理 206
9.4.3交通大数据的应用成果 207
9.5城市大数据未来展望 208
习题 209
参考文献及扩展阅读资料 210
第10章 工业大数据 211
10.1概述 211
10.1.1工业大数据的内涵 212
10.1.2工业大数据的特点 213
10.2工业大数据典型应用场景 218
10.2.1现有业务优化 218
10.2.2促进企业升级转型 219
10.3工业大数据分析技术 220
10.3.1工业大数据分析工作准备 221
10.3.2工业大数据分析工作实施 222
10.3.3工业大数据分析关键技术 225
10.4工业大数据分析案例 226
10.4.1大唐集团工业大数据应用实践 226
10.4.2中联重科工业大数据应用实践 229
习题 233
参考文献及扩展阅读资料 233
第11章 教育大数据 234
11.1概述 234
11.2教育大数据的采集与应用场景 235
11.2.1信息化校园 236
11.2.2智能辅导系统和在线题库 238
11.2.3大规模开放式在线课程 239
11.3认知诊断分析 241
11.3.1认知诊断任务描述 242
11.3.2经典认知诊断方法 242
11.3.3基于大数据的协同认知诊断 244
11.4知识跟踪分析 245
11.4.1知识跟踪任务描述 246
11.4.2经典知识跟踪方法 246
11.4.3联合知识跟踪 247
11.5习题资源分析与挖掘 249
11.5.1相似习题判定任务描述 249
11.5.2相似习题判定技术 249
11.5.3其他习题分析与挖掘应用 250
11.6MOOC平台活跃度预测 251
11.6.1活跃度预测任务描述 251
11.6.2活跃度预测分析方法 251
11.7教育大数据应用案例 252
11.7.1基于大数据分析的学生“隐形补助”体系 252
11.7.2基于大数据技术的个性化学习 255
习题 258
参考文献及扩展阅读资料 258
数据管理篇 263
第12章 数据开放与共享 263
12.1概述 263
12.1.1数据开放与共享的概念 263
12.1.2数据开放与共享的发展历程 264
12.2数据开放与共享的原则与政策 266
12.2.1数据开放与共享原则 266
12.2.2国外数据开放与共享政策 266
12.2.3中国数据开放与共享政策 269
12.2.4数据开放与共享实施指南 270
12.3数据开放与共享分类 270
12.3.1政府数据开放与共享 271
12.3.2公共财政资助产生的科学数据开放与共享 271
12.3.3企业数据开放与共享 272
12.3.4个人数据开放与共享 272
12.4数据开放与共享平台 273
12.4.1数据开放与共享综合平台 273
12.4.2数据开放与共享领域平台 275
12.4.3数据开放与共享平台的基本功能 279
12.4.4数据开放与共享平台的产权保护 281
习题 282
参考文献及扩展阅读资料 282
第13章 大数据的法律政策规范 284
13.1大数据政策法规指引 284
13.1.1大数据政策法规发展过程 284
13.1.2中国的数据保护监管机构 286
13.2数据主权与数据权利 287
13.2.1数据主权 288
13.2.2数据权利 288
13.2.3数据权利主体和其他利益相关主体 288
13.3个人数据立法保护 289
13.3.1国外个人数据保护制度 289
13.3.2中国个人数据保护制度 292
13.4数据跨境流动监管法律机制 295
13.4.1国外数据跨境及数据本地化立法 296
13.4.2中国数据跨境流动法律制度 298
13.4.3数据跨境流动法律制度设计 299
13.5大数据伦理 301
习题 302
参考文献及扩展阅读资料 302