大数据 战略·技术·实践PDF电子书下载

第一部分 大数据技术概览 2

第1章 概述 2

1.1 什么是大数据 2

1.1.1 大数据的定义及特征 3

1.1.2 大数据结构类型 6

1.1.3 大数据实例 8

1.2 大数据发展史 10

1.3 大数据技术架构 12

1.4 机遇与挑战 14

参考文献 16

第2章 大数据应用 18

2.1 大数据驱动新应用 18

2.1.1 大数据生态系统 18

2.1.2 新的业务应用 20

2.2 行业应用实例 22

2.2.1 奥巴马的大数据 22

2.2.2 预测犯罪 23

2.2.3 数据让游戏更精彩 24

2.2.4 智能交通 25

2.2.5 大学教育 27

2.2.6 大数据的姻缘 28

2.2.7 传媒出版 29

参考文献 31

第3章 大数据基础设施 32

3.1 云端大数据 32

3.1.1 云基础设施 34

3.1.2 虚拟化的三驾马车 34

3.1.3 云安全和云平台 35

3.2 计算虚拟化 37

3.2.1 基本概念 38

3.2.2 从部分虚拟化到全虚拟化 39

3.2.3 处理器（CPU）的虚拟化 40

3.2.4 内存（Memory）的虚拟化 42

3.3 大数据存储 44

3.3.1 传统存储系统时代的简单回顾 44

3.3.2 大数据时代的新挑战 45

3.3.3 分布式存储及其案例 47

3.3.4 云存储及其存储虚拟化 48

3.3.5 大数据存储的其他需求及其特点 49

3.4 网络虚拟化 52

3.4.1 网卡虚拟化 52

3.4.2 虚拟交换机（Virtual Switch） 54

3.4.3 接入层的虚拟化 54

3.4.4 覆盖网络虚拟化（Network Virtualization Overlay） 56

3.4.5 软件定义的网络（SDN） 58

3.4.6 对大数据处理的意义 60

3.5 基础架构的安全：云环境中面临的新的安全挑战 60

3.5.1 计算资源方面的安全和挑战 62

3.5.2 存储方面的安全和挑战 64

3.5.3 网络方面的安全和挑战 66

3.6 大数据时代的云服务 69

3.6.1 大数据与基础设施即服务 70

3.6.2 亚马逊云计算服务的解决方案 71

3.6.3 OpenStack解决方案 72

3.6.4 大数据与应用平台即服务 74

参考文献 77

第4章 大数据管理 80

4.1 大数据事务处理（OLTP） 80

4.1.1 NoSQL 83

4.1.2 NewSQL 94

4.2 大数据分析处理（OLAP） 99

4.2.1 分布式大规模批量处理 （MapReduce/Hadoop） 100

4.2.2 MPP数据库 114

4.3 流数据管理 117

4.3.1 流数据管理简介 117

4.3.2 复杂事件处理简介 117

4.3.3 复杂事件处理软件Esper介绍 120

4.3.4 大数据流处理 127

4.3.5 大数据摄取与处理 132

参考文献 133

第5章 大数据分析 136

5.1 数据分析的演变与现状 136

5.1.1 数据分析的商业驱动力 136

5.1.2 面向分析的数据环境的演变 137

5.1.3 传统分析架构 138

5.2 大数据分析平台 139

5.2.1 大数据分析平台的要点 140

5.2.2 大数据分析平台实例：Cetas 144

5.3 高级分析理论与方法 146

5.3.1 聚类分析 147

5.3.2 关联规则 151

5.3.3 回归和分类预测 160

5.4 数据可视化 170

5.4.1 数据可视化基础 171

5.4.2 用数据讲故事 172

5.4.3 数据可视化的模式 177

5.4.4 数据可视化工具基础 182

5.4.5 大数据的可视化 188

参考文献 189

第6章 数据科学与数据科学家 193

6.1 商业智能vs数据科学 193

6.2 数据科学家 194

6.2.1 大数据生态系统中的关键角色 194

6.2.2 数据科学家的特质 195

6.3 数据分析生命周期模型 196

6.3.1 模型概述 197

6.3.2 阶段1：探索发现 199

6.3.3 阶段2：数据准备 201

6.3.4 阶段3：模型规划 203

6.3.5 阶段4：模型建造 205

6.3.6 阶段5：沟通结果 206

6.3.7 阶段6：项目实施 207

6.4 使用范例：企业创新分析 209

6.4.1 阶段1：探索发现 209

6.4.2 阶段2：数据准备 213

6.4.3 阶段3：模型规划 218

6.4.4 阶段4：模型建造 219

6.4.5 阶段5：沟通结果 223

6.4.6 阶段6：项目实施 223

参考文献 224

第二部分 大数据解决方案范例 228

第7章 医疗大数据解决方案 228

7.1 医疗信息化 228

7.1.1 全球医疗信息化历史回顾 228

7.1.2 我国医疗信息化发展趋势 230

7.2 医疗数据综述 230

7.2.1 医疗数据的大数据特性 231

7.2.2 医疗大数据挑战和机遇 233

7.3 医疗大数据基础架构 234

7.3.1 建设原则 234

7.3.2 面向医疗大数据的信息基础架构方案 235

7.4 医疗大数据分析 246

7.4.1 医疗云的兴起 246

7.4.2 医疗云上的大数据 248

7.4.3 医疗大数据分析解决方案 249

7.5 医疗大数据的展望 250

参考文献 252

第8章 物联网大数据解决方案 253

8.1 物联网 253

8.1.1 物联网的概念 253

8.1.2 物联网技术 254

8.1.3 物联网数据 254

8.1.4 物联网的机遇和挑战 254

8.1.5 物联网应用实例 255

8.2 应用行业背景 256

8.2.1 脱硫系统的必要性 256

8.2.2 脱硫系统工作原理 256

8.2.3 大数据时代的数据挖掘 257

8.3 参数分析 258

8.3.1 火电厂的大数据 258

8.3.2 脱硫相关参数 259

8.4 优化目标 259

8.4.1 脱硫参数优化 259

8.4.2 目标成本优化 260

8.5 优化方法 260

8.5.1 基于数据的理论与方法 260

8.5.2 最优化脱硫系统可调参数 261

8.5.3 最小化脱硫系统成本 262

8.6 数据相关问题 262

8.6.1 主要监控参数 262

8.6.2 业务相关假设 263

8.6.3 数据中存在的问题 263

8.7 优化目标1：脱硫运行参数最优目标值挖掘 263

8.7.1 数据分布直方图 263

8.7.2 基于历史数据的工况划分 266

8.7.3 FCM与模糊关联规则挖掘最优可调参数 267

8.8 优化目标2：最优目标成本计算 269

8.8.1 增压风机用电成本估计 269

8.8.2 石灰石成本函数 270

8.9 实现简介 271

8.9.1 基于HBase的数据模型 272

8.9.2 对Mahout的改进 272

8.10 总结 272

参考文献 273

第9章 移动平台大数据解决方案 274

9.1 移动平台的大数据挑战 274

9.2 Instagram案例研究 276

9.2.1 面临的挑战 277

9.2.2 解决方案 277

9.3 Mobile Back-end as a Service基础 279

9.4 MBaaS提供商案例研究 283

9.5 基于PaaS的MBaaS大数据解决方案 288

参考文献 289

第10章 社交网站大数据解决方案 291

10.1 大数据时代社交网站面临的挑战 291

10.2 Twitter解决方案 294

10.2.1 Twitter在线部分大数据解决方案 295

10.2.2 Twitter离线部分大数据解决方案 297

10.3 LinkedIn解决方案 297

10.4 Facebook解决方案 300

10.5 国内社交网络解决方案 302

10.5.1 腾讯大数据解决方案 302

10.5.2 新浪微博大数据解决方案 303

参考文献 304

第11章 大数据未来展望 306

11.1 大数据发展趋势 306

11.2 新的机遇与挑战 307

参考文献 310