第1章 大数据概述 2
1.1数据 2
1.1.1数据的概念 2
1.1.2数据类型 2
1.1.3数据组织形式 3
1.1.4数据生命周期 3
1.1.5数据的使用 3
1.1.6数据的价值 5
1.1.7数据爆炸 5
1.2大数据时代 6
1.2.1第三次信息化浪潮 6
1.2.2信息科技为大数据时代提供技术支撑 6
1.2.3数据产生方式的变革促成大数据时代的来临 9
1.3大数据的发展历程 11
1.4世界各国的大数据发展战略 13
1.4.1美国 13
1.4.2英国 14
1.4.3法国 14
1.4.4韩国 14
1.4.5 日本 15
1.4.6中国 15
1.5大数据的概念 16
1.5.1数据量大 16
1.5.2数据类型繁多 17
1.5.3处理速度快 18
1.5.4价值密度低 18
1.6大数据的影响 19
1.6.1大数据对科学研究的影响 19
1.6.2大数据对社会发展的影响 20
1.6.3大数据对就业市场的影响 21
1.6.4大数据对人才培养的影响 22
1.7大数据的应用 23
1.8大数据产业 25
1.9本章小结 26
习题 26
第2章 大数据与云计算、物联网、人工智能 30
2.1云计算 30
2.1.1云计算的概念 30
2.1.2云计算的服务模式和类型 33
2.1.3云计算数据中心 33
2.1.4云计算的应用 34
2.1.5云计算产业 35
2.2物联网 36
2.2.1物联网的概念 36
2.2.2物联网的关键技术 37
2.2.3物联网的应用 39
2.2.4物联网产业 40
2.3大数据与云计算、物联网的关系 40
2.4人工智能 42
2.4.1人工智能的概念 42
2.4.2人工智能的关键技术 42
2.4.3人工智能的应用 47
2.4.4人工智能产业 51
2.5大数据与人工智能的关系 54
2.6本章小结 55
习题 55
第3章 大数据技术 58
3.1概述 58
3.2数据采集与预处理 58
3.2.1数据采集的概念 59
3.2.2数据采集的3大要点 59
3.2.3数据采集的数据源 60
3.2.4数据清洗 61
3.3数据存储和管理 63
3.3.1传统的数据存储和管理技术 63
3.3.2大数据时代的数据存储和管理技术 65
3.4数据处理与分析 67
3.4.1数据挖掘和机器学习算法 67
3.4.2大数据处理与分析技术 68
3.5数据可视化 70
3.5.1数据可视化的概念 70
3.5.2数据可视化的重要作用 71
3.5.3数据可视化案例 73
3.6数据安全和隐私保护 75
3.6.1数据安全技术 75
3.6.2隐私保护技术 76
3.7本章小结 76
习题 76
第4章 大数据应用 80
4.1大数据在互联网领域的应用 80
4.1.1推荐系统的概念 80
4.1.2长尾理论 81
4.1.3推荐方法 81
4.1.4推荐系统模型 82
4.1.5推荐系统的应用 83
4.2大数据在生物医学领域的应用 84
4.2.1流行病预测 84
4.2.2智慧医疗 87
4.2.3生物信息学 88
4.2.4案例：基于大数据的综合健康服务平台 89
4.3大数据在物流领域的应用 93
4.3.1智能物流的概念 93
4.3.2智能物流的作用 94
4.3.3智能物流的应用 94
4.3.4大数据是智能物流的关键 95
4.3.5中国智能物流骨干网——菜鸟 95
4.4大数据在城市管理领域的应用 98
4.4.1智能交通 98
4.4.2环保监测 99
4.4.3城市规划 100
4.4.4安防领域 101
4.5大数据在金融领域的应用 102
4.5.1高频交易 102
4.5.2市场情绪分析 102
4.5.3信贷风险分析 103
4.5.4大数据征信 104
4.6大数据在汽车领域的应用 106
4.7大数据在零售领域的应用 107
4.7.1发现关联购买行为 107
4.7.2客户群体细分 108
4.7.3供应链管理 109
4.8大数据在餐饮领域的应用 109
4.8.1餐饮行业拥抱大数据 109
4.8.2餐饮020 109
4.9大数据在电信领域的应用 111
4.10大数据在能源领域的应用 112
4.11大数据在体育和娱乐领域的应用 113
4.11.1训练球队 113
4.11.2投拍影视作品 114
4.11.3预测比赛结果 115
4.12大数据在安全领域的应用 116
4.12.1大数据与国家安全 116
4.12.2应用大数据技术防御网络攻击 117
4.12.3警察应用大数据工具预防犯罪 117
4.13大数据在政府领域的应用 118
4.14大数据在日常生活中的应用 119
4.15本章小结 120
习题 121
第5章 大数据安全 124
5.1传统数据安全 124
5.2大数据安全与传统数据安全的不同 124
5.3大数据安全问题 125
5.3.1隐私和个人信息安全问题 125
5.3.2国家安全问题 127
5.4典型案例 128
5.4.1棱镜门事件 128
5.4.2维基解密 129
5.4.3 Facebook数据滥用事件 129
5.4.4手机应用软件过度采集个人信息 130
5.4.5 12306数据泄露 131
5.4.6免费WiFi窃取用户信息 132
5.4.7收集个人隐私信息的“探针盒子” 132
5.5大数据保护的基本原则 132
5.5.1数据主权原则 133
5.5.2数据保护原则 133
5.5.3数据自由流通原则 133
5.5.4数据安全原则 133
5.6大数据时代数据安全与隐私保护的对策 134
5.7世界各国保护数据安全的实践 134
5.7.1欧盟 135
5.7.2美国 136
5.7.3英国 137
5.7.4中国 137
5.7.5其他国家 138
5.8本章小结 139
习题 139
第6章 大数据思维 142
6.1传统的思维方式 142
6.2大数据时代需要新的思维方式 142
6.3大数据思维方式 143
6.3.1全样而非抽样 144
6.3.2效率而非精确 144
6.3.3相关而非因果 145
6.3.4以数据为中心 145
6.3.5我为人人，人人为我 146
6.4运用大数据思维的具体实例 147
6.4.1商品比价网站 147
6.4.2啤酒与尿布 148
6.4.3零售商Target的基于大数据的商品营销 148
6.4.4吸烟有害身体健康的法律诉讼 148
6.4.5基于大数据的药品研发 150
6.4.6基于大数据的谷歌广告 151
6.4.7搜索引擎“点击模型” 151
6.4.8迪士尼MagicBand手环 152
6.4.9谷歌流感趋势预测 153
6.4.10大数据的简单算法比小数据的复杂算法更有效 153
6.4.11谷歌翻译 153
6.5本章小结 154
习题 154
第7章 大数据伦理 158
7.1大数据伦理概念 158
7.2大数据伦理的典型案例 158
7.2.1徐玉玉事件 159
7.2.2大麦网撞库事件 159
7.2.3大数据“杀熟” 159
7.2.4隐性偏差问题 160
7.2.5魏则西事件 160
7.2.6“信息茧房”问题 161
7.3大数据的伦理问题 162
7.3.1隐私泄露问题 162
7.3.2数据安全问题 164
7.3.3数字鸿沟问题 164
7.3.4数据独裁问题 165
7.3.5数据垄断问题 165
7.3.6数据的真实可靠问题 166
7.3.7人的主体地位问题 166
7.4大数据伦理问题产生的原因 167
7.4.1人类社会价值观的转变 167
7.4.2数据伦理责任主体不明确 167
7.4.3相关主体的利益牵涉 167
7.4.4道德规范的缺失 168
7.4.5法律体系不健全 168
7.4.6管理机制不完善 168
7.4.7技术乌托邦的消极影响 169
7.4.8大数据技术本身的缺陷 169
7.5大数据伦理问题的治理 169
7.5.1提高保护个人隐私数据的意识 170
7.5.2加强大数据伦理规约的构建 170
7.5.3努力实现以技术治理大数据 170
7.5.4完善大数据立法 171
7.5.5完善大数据伦理管理机制 171
7.5.6引导企业坚持责任与利益并重 171
7.5.7努力弘扬共享精神化解数字鸿沟 172
7.5.8倡导跨行业跨部门合作 172
7.6本章小结 173
习题 173
第8章 数据共享 176
8.1数据孤岛问题 176
8.1.1政府的数据孤岛问题 176
8.1.2企业的数据孤岛问题 176
8.2数据孤岛问题产生的原因 177
8.2.1政府数据孤岛的产生原因 177
8.2.2企业数据孤岛的产生原因 177
8.3消除数据孤岛的重要意义 178
8.3.1对于政府的意义 178
8.3.2对于企业的意义 178
8.4实现数据共享所面临的挑战 179
8.4.1政府层面的挑战 179
8.4.2企业层面的挑战 179
8.5推进数据共享开放的举措 180
8.5.1政府层面的举措 180
8.5.2企业层面的举措 181
8.6数据共享案例 181
8.6.1案例1：菜鸟物流 181
8.6.2案例2：政府一站式平台——i厦门 182
8.6.3案例3：浙江打通政府数据，让群众最多跑一次 184
8.7本章小结 186
习题 186
第9章 数据开放 188
9.1政府开放数据的理论基础 188
9.1.1数据资产理论 188
9.1.2数据权理论 188
9.1.3开放政府理论 189
9.2政府信息公开与政府数据开放的联系与区别 190
9.3政府数据开放的重要意义 191
9.3.1政府开放数据有利于促进开放透明政府的形成 191
9.3.2政府开放数据有利于创新创业和经济增长 192
9.3.3政府开放数据有利于社会治理创新 192
9.4国外政府开放数据的经验 193
9.4.1概述 193
9.4.2 G8数据开放原则 194
9.4.3美国开放数据国家行动计划 195
9.4.4英国开放数据国家行动计划 195
9.4.5德国政府开放数据行动 197
9.4.6日本政府开放数据行动 197
9.5.国内政府开放数据 198
9.5.1概述 199
9.5.2我国政府数据开放制度体系 199
9.5.3当前数据开放存在的主要问题 200
9.5.4各地政府数据开放实践 204
9.6政府数据开放的几点启示 208
9.7本章小结 209
习题 210
第10章 大数据交易 212
10.1概述 212
10.2大数据交易发展现状 213
10.3大数据交易平台 214
10.3.1交易平台的类型 214
10.3.2交易平台的数据来源 215
10.3.3交易平台的产品类型 215
10.3.4交易平台涉及的主要领域 216
10.3.5平台的交易规则 216
10.3.6交易平台的运营模式 216
10.3.7代表性的大数据交易平台 217
10.4大数据交易在发展过程中出现的问题 218
10.4.1互联网数据马太效应显现 218
10.4.2大数据产权界定不清晰 219
10.4.3大数据交易规则和标准缺乏 219
10.4.4数据估值定价机制有待完善 219
10.4.5大数据需求不明确，抑制交易市场发展 220
10.4.6大数据交易组织机构定位不清 220
10.4.7用户隐私保护隐患重重 220
10.4.8大数据交易专业人才缺乏 221
10.5推进大数据交易发展的对策 221
10.5.1加快制定隐私保护相关法律法规 221
10.5.2加快推进政府数据开放共享 221
10.5.3加快完善市场交易机制 222
10.5.4加快建立大数据交易监管职能部门 222
10.5.5加快培育大数据交易人才 222
10.6本章小结 223
习题 223
第11章 大数据治理 226
11.1概述 226
11.1.1数据治理的必要性 226
11.1.2数据治理的基本概念 226
11.1.3数据治理与数据管理的关系 227
11.1.4大数据治理的基本概念 228
11.1.5大数据治理与数据治理的关系 230
11.1.6大数据治理的重要意义和作用 231
11.2大数据治理的要素 232
11.3大数据治理模型 233
11.3.1 ISACA数据治理模型 233
11.3.2 HESA数据治理模型 234
11.3.3数据治理螺旋模型 234
11.4大数据治理保障机制 235
11.4.1大数据治理战略目标 235
11.4.2大数据治理组织 236
11.4.3制度章程 237
11.4.4流程管理 238
11.4.5技术应用 238
11.5本章小结 239
习题 239
参考文献 241