大数据技术与应用专业规划教材 大数据基础及应用PDF电子书下载

第一部分 大数据概述及基础 3

第1章 大数据概念和发展背景 3

1.1 什么是大数据 3

1.2 大数据的特点 3

1.3 大数据的发展 4

1.4 大数据的应用 5

1.5 习题 6

第2章 大数据系统架构概述 7

2.1 总体架构概述 7

2.1.1 总体架构设计原则 7

2.1.2 总体架构参考模型 9

2.2 运行架构概述 11

2.2.1 物理架构 11

2.2.2 集成架构 11

2.2.3 安全架构 12

2.3 阿里云飞天系统体系架构 13

2.3.1 阿里云飞天整体架构 13

2.3.2 阿里云飞天平台内核 15

2.3.3 阿里云飞天开放服务 15

2.3.4 阿里云飞天的特色 17

2.4 主流大数据系统厂商 18

2.4.1 阿里云数加平台 18

2.4.2 Cloudera 19

2.4.3 Hortonworks 20

2.4.4 Amazon 20

2.4.5 Google 21

2.4.6 微软 21

2.5 习题 22

第3章 分布式通信与协同 23

3.1 数据编码传输 23

3.1.1 数据编码概述 23

3.1.2 LZSS算法 24

3.1.3 Snappy压缩库 25

3.2 分布式通信系统 26

3.2.1 远程过程调用 26

3.2.2 消息队列 27

3.2.3 应用层多播通信 27

3.2.4 阿里云夸父RPC系统 28

3.2.5 Hadoop IPC的应用 29

3.3 分布式协同系统 30

3.3.1 Chubby锁服务 30

3.3.2 ZooKeeper 32

3.3.3 阿里云女娲协同系统 33

3.3.4 ZooKeeper在HDFS高可用方案中的使用 33

3.4 习题 35

第4章 大数据存储 36

4.1 大数据存储技术的发展 37

4.2 海量数据存储的关键技术 38

4.2.1 数据分片与路由 38

4.2.2 数据复制与一致性 43

4.3 重要数据结构和算法 44

4.3.1 Bloom Filter 44

4.3.2 LSM Tree 46

4.3.3 Merkle Tree 47

4.3.4 Cuckoo Hash 49

4.4 分布式文件系统 49

4.4.1 文件存储格式 49

4.4.2 GFS 52

4.4.3 HDFS 54

4.4.4 阿里云盘古 55

4.5 分布式数据库NoSQL 56

4.5.1 NoSQL数据库概述 56

4.5.2 KV数据库 57

4.5.3 列式数据库 58

4.5.4 图数据库 60

4.5.5 文档数据库 62

4.6 阿里云数据库 63

4.6.1 云数据库Redis 63

4.6.2 云数据库RDS 66

4.6.3 云数据库Memcache 68

4.7 大数据存储技术的趋势 72

4.8 习题 72

第二部分 大数据处理 75

第5章 分布式处理 75

5.1 CPU多核和POSIX Thread 75

5.2 MFI并行计算框架 76

5.3 Hadoop MapReduce 77

5.4 Spark 78

5.5 数据处理技术的发展 79

5.6 习题 80

第6章 Hadoop MapReduce解析 81

6.1 Hadoop MapReduce架构 81

6.2 Hadoop MapReduce与高效能计算、网格计算的区别 83

6.3 MapReduce工作机制 83

6.3.1 Map 84

6.3.2 Reduce 85

6.3.3 Combine 85

6.3.4 Shuffle 85

6.3.5 Speculative Task 86

6.3.6 任务容错 87

6.4 应用案例 88

6.4.1 WordCount 88

6.4.2 WordMean 91

6.4.3 Grep 93

6.5 MapReduce的缺陷与不足 95

6.6 习题 95

第7章 Spark解析 96

7.1 Spark RDD 96

7.2 Spark与MapReduce的对比 97

7.3 Spark的工作机制 98

7.3.1 DAG工作图 98

7.3.2 Partition 99

7.3.3 Lineage容错方法 100

7.3.4 内存管理 100

7.3.5 数据持久化 102

7.4 数据的读取 102

7.4.1 HDFS 102

7.4.2 Amazon S3 102

7.4.3 HBase 103

7.5 应用案例 103

7.5.1 日志挖掘 103

7.5.2 判别西瓜好坏 104

7.6 Spark的发展趋势 107

7.7 习题 107

第8章 流计算 108

8.1 流计算概述 108

8.2 流计算与批处理系统的对比 109

8.3 Storm流计算系统 109

8.4 Samza流计算系统 112

8.5 阿里云流计算 113

8.6 集群日志文件的实时分析 115

8.7 流计算的发展趋势 119

8.8 习题 120

第9章 图计算 121

9.1 图计算概述 121

9.2 图计算与流计算、批处理的对比 123

9.3 Spark GraphX 124

9.4 Pregel 126

9.5 航班机场状态分析 127

9.6 图计算的发展趋势 128

9.7 习题 129

第10章 阿里云大数据计算服务平台 130

10.1 MaxCompute概述 130

10.2 MR计算 131

10.3 SQL计算 138

10.4 Graph计算 140

10.5 习题 144

第11章 集群资源管理与调度 145

11.1 集群资源统一管理系统 146

11.1.1 集群资源管理概述 146

11.1.2 Apache YARN 147

11.1.3 Apache Mesos 152

11.1.4 Google Omega 153

11.2 资源管理模型 154

11.2.1 基于slot的资源表示模型 154

11.2.2 基于最大最小公平原则的资源分配模型 154

11.3 资源调度策略 155

11.3.1 调度策略概述 155

11.3.2 Capacity Scheduler调度 156

11.3.3 Fair Scheduler调度 158

11.4 在YARN上运行计算框架 160

11.4.1 MapReduce on YARN 160

11.4.2 Spark on YARN 161

11.4.3 YARN程序设计 162

11.5 阿里云伏羲调度系统 168

11.5.1 伏羲调度系统架构 168

11.5.2 5K挑战 169

11.5.3 伏羲优化实践 170

11.6 习题 171

第三部分 大数据分析与应用 175

第12章 数据分析 175

12.1 数据操作与绘图 175

12.1.1 数据结构 175

12.1.2 绘图功能 176

12.2 初级数据分析 177

12.2.1 描述性统计分析 178

12.2.2 回归诊断 178

12.3 交互式数据分析 179

12.3.1 交互式数据分析的特征 179

12.3.2 交互式数据处理的典型应用 179

12.3.3 典型的处理系统 180

12.4 数据仓库与分析 181

12.4.1 数据仓库的基本架构 182

12.4.2 数据仓库的实现步骤 182

12.4.3 分布式数据仓库Hive 184

12.4.4 数据仓库之SQL分析 186

12.4.5 阿里云MaxCompute数据仓库案例 187

12.5 习题 192

第13章 数据挖掘与机器学习技术 193

13.1 相关理论基础知识 193

13.1.1 数据挖掘与机器学习简介 193

13.1.2 关联分析 194

13.1.3 分类与回归 197

13.1.4 聚类分析 200

13.1.5 离群点检测 201

13.1.6 复杂数据类型的挖掘 202

13.2 应用实践 203

13.2.1 广告点击率预测 203

13.2.2 并行随机梯度下降 203

13.2.3 自然语言处理：文档相似性的计算 204

13.2.4 阿里云PAI与ET 205

13.3 深度学习 207

13.3.1 深度学习简介 207

13.3.2 DistBelief 208

13.3.3 TensorFlow 209

13.4 数据挖掘与机器学习的发展趋势 212

13.5 习题 212

第14章 大数据实践：基于数加平台的推荐系统 213

14.1 数据集简介 213

14.2 数据探索 214

14.3 方案设计 216

14.4 训练集构造 216

14.4.1 MapReduce环境配置 216

14.4.2 MapReduce代码编写 217

14.4.3 特征提取与标签提取 222

14.4.4 训练集采样 224

14.4.5 缺失值填充 225

14.5 模型训练与预测 225

14.6 模型预测的准确性评测 229

14.7 特征重要性的评估 230

14.8 总结 231

参考文献 232