大数据技术与应用PDF电子书下载

第1章 大数据概述 1

1.1 什么是大数据 1

1.1.1 大数据的定义 2

1.1.2 用3V描述大数据的特征 3

1.1.3 广义的大数据 6

1.2 大数据的结构类型 7

1.3 大数据的发展 8

1.3.1 硬件性价比提高与软件技术进步 8

1.3.2 云计算的普及 9

1.3.3 大数据作为BI的进化形式 10

1.3.4 从交易数据分析到交互数据分析 11

1.4 大数据技术的意义 12

1.5 延伸阅读：得数据者得天下 12

1.6 实验与思考：了解大数据及其在线支持 14

第2章 大数据的行业应用 17

2.1 奥巴马的竞选大数据 17

2.2 大都市的智能交通 18

2.3 互联网企业对大数据的运用 20

2.4 互联网竞拍公司eBay 22

2.4.1 超乎寻常的数据产生速度 23

2.4.2 eBay的数据分析基础架构 24

2.5 游戏分析公司Zynga 25

2.5.1 社交游戏经济的重要指标 25

2.5.2 提高病毒系数的方法 26

2.5.3 数据驱动游戏 26

2.5.4 三次点击法则 26

2.6 延伸阅读：大数据正在改变汽车保险 27

2.7 实验与思考：熟悉大数据应用 28

第3章 大数据的基础设施 31

3.1 云端大数据 31

3.1.1 什么是云计算 31

3.1.2 云计算的服务形式 32

3.1.3 云计算与大数据 33

3.1.4 云基础设施 34

3.1.5 云平台 35

3.2 计算虚拟化 36

3.3 存储虚拟化（大数据存储） 37

3.3.1 传统存储系统时代 37

3.3.2 大数据时代的新挑战 38

3.3.3 分布式存储 39

3.3.4 云存储及存储虚拟化 40

3.3.5 大数据存储的其他需求及特点 41

3.4 网络虚拟化 42

3.4.1 网卡虚拟化 42

3.4.2 虚拟交换机 42

3.4.3 接入层的虚拟化 43

3.4.4 覆盖网络虚拟化 43

3.4.5 软件定义的网络（SDN） 44

3.4.6 对大数据处理的意义 44

3.5 云环境基础架构的安全 45

3.6 延伸阅读：用云数据提高农业产量并做出决策 45

3.7 实验与思考：了解大数据的基础设施 47

第4章 大数据技术基础 50

4.1 技术进步与摩尔定律 50

4.2 大数据的技术架构 51

4.3 大数据的运用形式 52

4.4 大数据运用模式的分类 54

4.4.1 个别优化·批处理型 55

4.4.2 个别优化·实时型 56

4.4.3 整体优化·批处理型 56

4.4.4 整体优化·实时型 56

4.5 大数据的运用级别 57

4.5.1 对过去／现状的把握 57

4.5.2 发现模式 57

4.5.3 预测 58

4.5.4 优化 58

4.6 大数据运用的真正价值 59

4.7 相关的大数据技术 59

4.7.1 神经网络 60

4.7.2 自然语言处理 61

4.7.3 语义检索 61

4.7.4 链接挖掘 62

4.7.5 A/B测试 63

4.8 延伸阅读：高科技促使大数据互联网金融步入快车道 63

4.9 实验与思考：熟悉大数据的技术基础 67

第5章 Hadoop分布式架构 69

5.1 什么是分布式系统 69

5.2 什么是Hadoop 70

5.2.1 Hadoop的由来 70

5.2.2 Hadoop的优势 72

5.2.3 Hadoop的发行版本 72

5.2.4 发行版本众多的原因 74

5.3 Hadoop架构元素 74

5.4 Hadoop集群系统 76

5.5 Hadoop开源实现 76

5.6 Hadoop信息安全 77

5.7 Hadoop考试认证与开源社区 78

5.8 延伸阅读：有一家大数据公司声称要做地球的操作系统 78

5.9 实验与思考：什么是Hadoop 79

第6章 大数据管理 81

6.1 大数据的数据处理基础 81

6.2 大数据事务处理（OLTP） 82

6.2.1 传统OLTP系统 82

6.2.2 NoSQL 83

6.2.3 NewSQL 89

6.3 大数据分析处理（OLAP） 93

6.3.1 OLAP与数据立方体 93

6.3.2 分布式大规模批量处理（MapReduce/Hadoop） 96

6.3.3 Hadoop HDFS分布式文件系统 96

6.3.4 MapReduce计算模型 97

6.3.5 MPP数据库 97

6.3.6 分析型数据库的特征 97

6.4 流数据管理（实时数据处理） 98

6.5 自行开发流数据处理技术 99

6.6 延伸阅读：“大数据时代预言家”提醒学校规避“数据独裁” 100

6.7 实验与思考：了解大数据管理技术 101

第7章 大数据分析 104

7.1 数据分析的演变 104

7.1.1 数据分析的商业驱动力 104

7.1.2 数据分析环境的演变 105

7.1.3 传统分析架构 106

7.2 大数据分析平台 107

7.2.1 敏捷计算平台 107

7.2.2 线性扩展能力 108

7.2.3 全方位、遍布式、协作性用户体验 110

7.3 大数据与数据挖掘 111

7.3.1 什么是数据挖掘 112

7.3.2 数据挖掘解决的商业问题 113

7.4 数据挖掘的高级分析方法 114

7.4.1 分类 115

7.4.2 聚类分析 115

7.4.3 关联规则 116

7.4.4 回归分析 117

7.4.5 预测 118

7.4.6 序列分析 119

7.4.7 偏差分析 119

7.5 数据挖掘项目的生命周期 120

7.5.1 商业问题的形成 120

7.5.2 数据收集 120

7.5.3 数据清理和转换 120

7.5.4 模型构建 121

7.5.5 模型评估 121

7.5.6 报告和预测 122

7.5.7 应用集成 122

7.5.8 模型管理 122

7.6 大数据可视化 122

7.6.1 数据可视化的运用 123

7.6.2 可视化对认知的帮助 124

7.6.3 七个数据类型 125

7.6.4 七个基本任务 127

7.6.5 数据可视化的挑战 128

7.7 延伸阅读：什么是大数据分析做不了的？ 129

7.8 实验与思考：了解大数据分析技术 130

第8章 人工智能与机器学习 134

8.1 什么是人工智能 134

8.1.1 人工智能的定义 135

8.1.2 数据的相关性 135

8.1.3 大数据中的因果关系 136

8.2 机器学习及其研究 138

8.2.1 什么是机器学习 139

8.2.2 基本结构 140

8.2.3 研究领域 141

8.3 机器学习的分类 141

8.3.1 基于学习策略的分类 141

8.3.2 基于所获取知识的表示形式的分类 143

8.3.3 按应用领域分类 143

8.3.4 按学习形式分类 144

8.4 延伸阅读：ZestFinance公司的金融风险平估 144

8.5 实验与思考：了解人工智能，熟悉机器学习 145

第9章 数据科学与数据科学家 148

9.1 什么是数据科学 148

9.2 数据分析生命周期模型 149

9.2.1 模型概述 149

9.2.2 阶段1：探索发现 151

9.2.3 阶段2：数据准备 153

9.2.4 阶段3：模型规划 154

9.2.5 阶段4：模型建造 155

9.2.6 阶段5：沟通结果 156

9.2.7 阶段6：项目实施 156

9.3 数据科学家 157

9.3.1 大数据生态系统中的关键角色 158

9.3.2 数据科学家所需的技能 159

9.3.3 数据科学家所需的素质 161

9.3.4 数据科学家的学习内容 164

9.4 延伸阅读：基于技能的改善数据科学实践的方法 165

9.5 实验与思考：了解数据科学，熟悉数据科学家 169

第10章 开放数据的时代 172

10.1 大数据时代的隐私问题 172

10.1.1 隐私与创新 173

10.1.2 社交化档案的是非 174

10.1.3 消费者隐私权法案 175

10.2 连接开放数据 176

10.2.1 LOD运动 177

10.2.2 对政府公开的影响 178

10.2.3 创业型公司——综合气候保险 179

10.3 数据市场的兴起 180

10.3.1 Factual 180

10.3.2 Windows Azure Marketplace 180

10.3.3 Infochimps 181

10.3.4 Public Data Sets On AWS 181

10.4 不同的商业模式 181

10.5 延伸阅读：美国几乎可监控网民所有的网络活动 182

10.6 实验与思考：了解大数据时代的安全与隐私保护 184

第11章 大数据发展与展望 187

11.1 大数据时代的企业IT战略 187

11.2 拥有原创数据的优势 189

11.3 供应商企业的新商机：数据聚合商 190

11.3.1 数据聚合商的作用 191

11.3.2 谁能成为数据聚合商 191

11.4 支付服务商向数据聚合商的演化 192

11.4.1 VISA 192

11.4.2 PayPal 193

11.4.3 美国运通 193

11.5 数据整合之妙：将原创数据变为增值数据 194

11.6 大数据未来展望 195

11.6.1 大数据的存储和管理 195

11.6.2 传统IT系统到大数据系统的过渡 196

11.6.3 大数据分析 196

11.6.4 大数据安全 197

11.7 延伸阅读：智能大数据分析或成热点 198

11.8 课程实验总结 199

11.8.1 实验的基本内容 199

11.8.2 实验的基本评价 201

11.8.3 课程学习能力测评 201

11.8.4 大数据技术与应用实验总结 202

11.8.5 实验总结评价（教师） 203

参考文献 204