大数据与智慧社会 数据驱动变革、构建未来世界PDF电子书下载

第1章 大数据概述 1

1.1 什么是大数据 2

1.1.1 大数据的定义和特征 2

1.1.2 大数据的发展历程 6

1.1.3 大数据的来源 11

1.2 大数据的哲学本质 12

1.2.1 大数据与世界观 13

1.2.2 大数据与认识论 14

1.2.3 大数据与方法论 15

1.2.4 大数据与价值观 18

1.3 大数据技术框架 19

1.3.1 大数据处理系统综述 19

1.3.2 大数据平台基础 20

1.3.3 大数据存储系统 22

1.3.4 大数据计算模型 23

1.4 大数据发展趋势 26

1.4.1 大数据的技术发展趋势 26

1.4.2 大数据的应用发展趋势 30

第2章 大数据的云计算基础 33

2.1 虚拟化技术 34

2.1.1 虚拟化的概念 34

2.1.2 虚拟化技术分类 35

2.1.3 虚拟化解决方案 36

2.1.4 虚拟化技术与大数据 39

2.2 OpenStack技术 40

2.2.1 OpenStack概述 40

2.2.2 OpenStack历史 41

2.2.3 OpenStack系统架构 41

2.2.4 OpenStack的优势和劣势 44

2.2.5 虚拟化与OpenStack技术比较 46

2.3 IaaS平台建设 47

2.3.1 IaaS平台介绍 47

2.3.2 IaaS云平台的种类 49

2.3.3 IaaS平台设计 51

2.3.4 IaaS平台解决方案 53

2.3.5 IaaS平台搭建 55

第3章 Hadoop基础组件 57

3.1 Hadoop概述 58

3.1.1 Hadoop简介 58

3.1.2 Hadoop系统架构 59

3.1.3 Hadoop的优势与不足 60

3.1.4 Hadoop的适用场景 63

3.1.5 Hadoop的商业模式 64

3.2 Hadoop分布式文件系统HDFS 65

3.2.1 HDFS的设计目标 65

3.2.2 HDFS的基本架构 67

3.2.3 HDFS的特点 68

3.2.4 HDFS的优势与缺点 70

3.3 Hadoop分布式计算框架MapReduce 72

3.3.1 MapReduce简介 72

3.3.2 MapReduce的运行流程 73

3.3.3 MapReduce与DataFlow比较 75

3.4 Hadoop统一资源管理框架YARN 76

3.4.1 YARN架构简介 76

3.4.2 YARN架构框架 77

3.4.3 YARN与旧MapReduce框架对比 79

3.4.4 YARN与Mesos框架对比 79

3.5 Hadoop分布式集群管理系统ZooKeeper 81

3.5.1 ZooKeeper简介 81

3.5.2 ZooKeeper总体架构 82

3.5.3 ZooKeeper的运行模式 84

3.5.4 ZooKeeper的设计要点 85

3.5.5 ZooKeeper的使用 87

第4章 Hadoop其他常用组件 89

4.1 Hadoop数据仓库工具Hive 90

4.1.1 Hive简介 90

4.1.2 Hive架构设计 91

4.1.3 Hive部署模式 92

4.1.4 Hive与关系型数据库比较 94

4.2 Hadoop分布式数据库HBase 97

4.2.1 HBase简介 97

4.2.2 HBase体系架构 97

4.2.3 HBase 性能分析 99

4.2.4 HBase容错机制 101

4.3 Hadoop实时流式处理引擎Storm-YARN 102

4.3.1 流式处理概述 102

4.3.2 Storm简介 103

4.3.3 Storm架构 105

4.3.4 Storm与Spark Streaming比较 106

4.4 Hadoop交互式查询引擎Impala 108

4.4.1 Impala简介 108

4.4.2 Impala架构分析 109

4.4.3 Impala与Hive比较 110

第5章 Spark内存计算框架 113

5.1 内存计算与Spark 114

5.1.1 内存计算概念 114

5.1.2 内存计算分类 116

5.1.3 Spark与内存数据处理系统 118

5.2 Spark概述 119

5.2.1 Spark架构 119

5.2.2 Spark的RDD模型 121

5.2.3 Spark与Hadoop的性能对比 121

5.3 Spark核心组件介绍 122

5.3.1 Spark SQL 122

5.3.2 Spark MLlib 123

5.3.3 Spark GraphX 123

5.3.4 Spark Streaming 124

5.4 Spark集群管理 125

5.4.1 Spark部署方式 125

5.4.2 Spark资源调度 126

5.4.3 Spark任务调度 127

第6章 大数据可视化技术 129

6.1 数据可视化的基本概念 131

6.2 数据可视化的发展趋势 132

6.3 数据可视化应用与设计 135

第7章 数据挖掘技术 139

7.1 什么是数据挖掘 140

7.2 数据挖掘的流程 142

7.3 数据挖掘典型算法 143

7.4 数据挖掘与大数据 151

第8章 大数据系统评价标准 153

8.1 大数据系统评价概述 154

8.1.1 信息时代的“云大物移” 154

8.1.2 大数据项目失败的常见原因 155

8.2 评价指标选取原则 157

8.3 大数据系统评价标准 159

8.3.1 通用评价要素 159

8.3.2 专有评价要素 160

8.4 大数据系统定位 161

8.4.1 与企业战略相匹配 161

8.4.2 与企业架构相匹配 162

8.4.3 与企业需求相匹配 162

8.5 大数据价值评估模型 164

8.6 大数据质量评价 165

8.6.1 数据流程视角 165

8.6.2 数据技术视角 167

8.6.3 数据管理视角 168

8.7 大数据安全评价 169

第9章 大数据在生活中的应用 173

9.1 食：食品安全 174

案例：阿里巴巴大数据协助食品安全风险控制 175

9.2 住：智能家居 176

案例：无锡市智能家居 177

9.3 行：智能交通 177

案例：深圳市智能综合交通运行指挥中心 180

9.4 游：智慧旅游 180

案例：无锡市智慧旅游立体化营销体系 181

9.5 购：电商营销 183

案例：京东大数据营销 185

第10章 大数据在政务领域的应用 187

10.1 条块分割拖累政务发展 188

10.2 数据统筹助力决策参考 190

案例：佛山市南海区数据统筹 192

10.3 服务整合创新社会管理 193

案例：无锡市智慧城管系统 194

10.4 资源整合强化公共服务 196

案例：无锡市政务服务平台 197

10.5 数据公开辅助政府监督 200

案例：上海市利用大数据实现市场监管 201

第11章 大数据在交通领域的应用 203

11.1 频繁拥堵造就城市顽疾 204

11.2 客流分析改进公交线路设计 205

案例：北京市大数据路线优化 206

11.3 多源数据辅助交通调查 206

案例：上海市综合交通特征分析 208

11.4 整合信息优化资源配置 210

案例：无锡市智慧交通信息工程 211

11.5 智能数据释难最后一公里 213

案例：共享单车便捷出行 214

第12章 大数据在医疗领域的应用 215

12.1 医疗数据挖掘行业价值 217

案例：无锡市智慧健康工程 218

12.2 海量数据助推远程医疗 221

案例：中日医院基于大数据让远程医疗、分级诊疗深入临床一线 222

12.3 移动医疗缓解资源紧缺 223

案例：春雨掌上医生 224

12.4 健康数据实现精准医疗 226

案例：微软亚洲研究院利用大数据推动癌症精准医疗 226

第13章 大数据在金融领域的应用 229

13.1 交易数据饱含金融商机 231

13.2 智能分析防范金融欺诈 232

案例：天下无贼反信息诈骗联盟 235

13.3 征信预测改善金融风控 236

案例：ZestFinance公司 237

13.4 “互联网＋”催生金融产品 239

案例：蚂蚁金服 239

参考文献 241