第一篇 现象及感性思辨 3
第1章 大数据溯源 3
1.1 引言 3
1.2 数觉及数的起源 7
1.3 模拟与数字计算 10
1.4 从数据到大数据 15
1.5 大数据时代 19
1.6 本章小结 23
本章参考文献 23
第2章 大数据现象 25
2.1 引言 25
2.2 政界大数据 28
2.3 业界大数据 33
2.4 学界大数据 39
2.5 本章小结 44
本章参考文献 45
第3章 大数据产业 46
3.1 引言 46
3.2 大数据产业环境 49
3.2.1 政策环境 49
3.2.2 应用环境 51
3.2.3 技术环境 52
3.3 大数据产业地图 53
3.3.1 大数据产业地图由来 53
3.3.2 大数据产业地图明细 54
3.3.3 大数据产业地图意义 61
3.4 大数据应用提示 62
3.4.1 大数据中文解析及提示 62
3.4.2 大数据应用场景及策略 64
3.4.3 大数据陷阱及应用提示 65
3.5 本章小结 67
本章参考文献 68
第二篇 技术及选型思路 71
第4章 大数据支撑技术 71
4.1 引言 71
4.2 大数据流程 73
4.2.1 显式挑战 74
4.2.2 隐式困难 76
4.2.3 评估思路 78
4.3 基础支撑技术 78
4.3.1 数据采集 79
4.3.2 数据存储 81
4.3.3 数据建模 82
4.3.4 计算架构 85
4.4 高级支撑技术 90
4.4.1 云计算背景 90
4.4.2 云计算定义 91
4.4.3 云计算本质 93
4.4.4 应用提示 96
4.5 本章小结 97
本章参考文献 98
第5章 数据采集与整合 99
5.1 引言 99
5.2 大数据的数据源 101
5.2.1 数据分布 101
5.2.2 内部数据 103
5.2.3 互联网数据 105
5.2.4 应用提示 105
5.3 内部数据及内部数据采集 106
5.3.1 目标任务 106
5.3.2 关键技术 107
5.3.3 ETL工具 110
5.3.4 应用提示 111
5.4 互联网数据及互联网数据采集 113
5.4.1 目标任务 113
5.4.2 关键技术 114
5.4.3 开源网络爬虫 118
5.4.4 应用提示 120
5.5 本章小结 121
本章参考文献 123
第6章 数据存储与管理 124
6.1 引言 124
6.2 数据组织 127
6.2.1 集中与分布 128
6.2.2 SQL与NoSQL 130
6.3 数据存储 138
6.4 云存储 141
6.5 本章小结 144
本章参考文献 145
第7章 数据表示与理解 146
7.1 引言 146
7.2 度量方法 149
7.2.1 相似系数函数 150
7.2.2 距离函数 152
7.3 数据规范 154
7.4 特征工程 155
7.4.1 特征表示 156
7.4.2 特征提取 156
7.4.3 特征选择 175
7.5 应用提示 178
7.6 本章小结 181
本章参考文献 181
第8章 数据理解与建模 183
8.1 引言 183
8.2 机器学习 185
8.3 非监督学习 187
8.3.1 K-Means 188
8.3.2 EM 189
8.4 监督学习 192
8.4.1 回归 192
8.4.2 分类 196
8.5 本章小结 226
本章参考文献 227
第9章 知识发现与应用 229
9.1 引言 229
9.2 从机器学习到数据挖掘 233
9.2.1 统计与统计学 234
9.2.2 智能与人工智能 235
9.2.3 人工智能与机器学习 237
9.2.4 数据挖掘及技术路径 239
9.2.5 应用提示 245
9.3 从数据挖掘到数据科学 246
9.3.1 从“惊奇”引发的科学之母 246
9.3.2 从“科学”引发的研究范式 249
9.3.3 从“数据”引发的数据科学 251
9.4 从算法到大数据方法论 252
9.4.1 演绎与归纳 252
9.4.2 因果与相关 255
9.4.3 定律与模型 257
9.5 本章小结 260
本章参考文献 260
第三篇 实施及理性思考 265
第10章 大数据实施 265
10.1 引言 265
10.2 工程管理 267
10.2.1 思维层的应用模式梳理 267
10.2.2 开发层的工程实施路径 270
10.2.3 运维层的平台应用保障 273
10.3 技术管理 274
10.3.1 生产流程管理 274
10.3.2 技术流程管理 277
10.3.3 知识流程管理 279
10.4 商务管理 282
10.4.1 商业模式价值逻辑 282
10.4.2 大数据与商业模式 283
10.4.3 典型商业模式示例 287
10.5 本章小结 290
本章参考文献 291
第11章 大数据价值 292
11.1 引言 292
11.2 从数据到价值 294
11.2.1 数据的价值 295
11.2.2 信息的价值 297
11.2.3 知识的价值 299
11.2.4 应用提示 300
11.3 从闭环到开环 302
11.3.1 垂直应用价值 302
11.3.2 平台集成价值 303
11.3.3 生态协同价值 305
11.3.4 应用提示 305
11.4 大数据评估 306
11.4.1 数据价值评估 306
11.4.2 数据质量评估 310
11.4.3 平台价值评估 312
11.4.4 应用提示 315
11.5 本章小结 321
本章参考文献 322
第12章 大数据思维 323
12.1 引言 323
12.2 数据层 325
12.2.1 数据全采样 325
12.2.2 数据交叉复用 327
12.2.3 数据云化存储 328
12.3 分析层 330
12.3.1 相关重于因果 330
12.3.2 效率重于精度 332
12.3.3 离线分析＋实时运行 334
12.4 应用层 336
12.4.1 数据质量溯源 336
12.4.2 服务和应用 340
12.4.3 开放和合作 342
12.5 本章小结 345
本章参考文献 347
第四篇 机遇及应用思索 351
第13章 大数据机遇 351
13.1 引言 351
13.2 互联网＋ 356
13.3 电子商务 359
13.3.1 电子商务概述 359
13.3.2 移动电子商务 362
13.3.3 跨境电子商务 363
13.3.4 应用提示 365
13.4 工业互联网 368
13.4.1 基本概念 368
13.4.2 笑脸曲线 368
13.4.3 工业4.0 371
13.4.4 应用提示 376
13.5 互联网金融 380
13.5.1 基本概念 380
13.5.2 面向投融资的互联网金融 381
13.5.3 面向支付的互联网金融 384
13.5.4 其他类型的互联网金融 387
13.5.5 应用提示 390
13.6 本章小结 392
本章参考文献 394
跋 395