Spark 原理、机制及应用PDF电子书下载

第一篇 概念篇 2

第1章 Spark概述 2

1.1 Spark初见 2

1.1.1 Spark的发展史及近况 2

1.1.2 Spark的特点 5

1.1.3 Spark的作用 6

1.1.4 Spark的体系结构 6

1.1.5 Spark的发展趋势 6

1.2 Spark框架 7

1.2.1 批处理框架 7

1.2.2 流处理框架 8

1.3 Spark的生态系统 8

1.4 Spark的数据存储 11

1.5 本章小结 11

第2章 Spark环境配置 12

2.1 Spark运行环境配置 12

2.1.1 先决条件 12

2.1.2 下载与运行Spark 13

2.1.3 使用交互式Shell 14

2.1.4 搭建Spark Standalone集群 16

2.2 Spark开发环境配置 18

2.2.1 Spark独立应用程序 18

2.2.2 构建IDE开发环境 24

2.3 Spark编译环境配置 29

2.3.1 使用Maven编译项目源码 30

2.3.2 使用IDEA搭建源码编译与阅读环境 31

2.4 本章小结 35

第二篇 开发篇 37

第3章 Spark核心开发 37

3.1 Spark编程模型概述 37

3.2 SparkContext 38

3.2.1 SparkContext的作用 38

3.2.2 SparkContext的创建 38

3.2.3 使用Shell 41

3.2.4 应用实践 41

3.3 RDD简介 42

3.3.1 RDD创建 42

3.3.2 RDD转换操作 43

3.3.3 RDD动作操作 44

3.3.4 RDD惰性计算 44

3.3.5 RDD持久化 44

3.3.6 RDD检查点 45

3.4 共享变量 45

3.4.1 广播变量 45

3.4.2 累加器 46

3.5 Spark核心开发实践 46

3.5.1 单值型Trasnformation算子 46

3.5.2 键值对型Transformation算子 58

3.5.3 Action算子 64

3.6 本章小结 72

第4章 Spark四大应用技术框架 73

4.1 Spark SQL 73

4.1.1 Spark SQL入门 73

4.1.2 数据源 75

4.1.3 性能调优 81

4.1.4 分布式SQL引擎 82

4.1.5 Shark迁移至Spark SQL指南 82

4.1.6 Hive的兼容性 83

4.1.7 Spark SQL数据类型 85

4.2 Spark Streaming 86

4.2.1 Spark Streaming简介 87

4.2.2 入门实例 87

4.2.3 基本概念 89

4.3 Spark GraphX 97

4.3.1 Spark GraphX简介 97

4.3.2 属性图 98

4.3.3 图操作 100

4.3.4 Pregel API 108

4.3.5 图构造器 110

4.3.6 顶点与边相关RDD 111

4.3.7 最优化表示 113

4.3.8 图算法 114

4.3.9 Example 116

4.4 Spark MLlib 116

4.4.1 SparkMLlib简介 116

4.4.2 数据类型 117

4.4.3 基本统计分析 121

4.4.4 分类与回归 123

4.4.5 协同过滤 136

4.4.6 聚类 138

4.4.7 降维 139

4.4.8 特征提取与转换 141

4.4.9 频繁模式挖掘 146

4.4.10 最优化算法 147

4.4.11 导出PMML模式 149

4.5 SparkR 150

4.5.1 SparkR DataFrame 150

4.5.2 DataFrame的相关操作 152

4.5.3 从SparkR运行SQL查询 153

第5章 Spark系统配置与调优 154

5.1 Spark运行监控 154

5.2 Spark配置参数 158

5.2.1 应用属性 159

5.2.2 运行环境属性 159

5.2.3 Shuffle操作属性 160

5.2.4 压缩与序列化属性 161

5.2.5 数据序列化 161

5.3 内存调优 162

5.3.1 调整数据结构 162

5.3.2 序列化RDD存储 162

5.3.3 GC 162

5.4 其他调优 164

5.4.1 并行度 164

5.4.2 Reduce任务 164

5.4.3 广播变量 165

5.4.4 数据本地化 165

5.4.5 网络通信调优 165

5.4.6 磁盘空间优化 166

5.4.7 任务执行速度“倾斜” 166

5.5 本章小结 166

第三篇 机制篇 168

第6章 RDD内部结构 168

6.1 RDD接口 168

6.2 分区 169

6.2.1 分区接口 169

6.2.2 分区个数 170

6.2.3 分区内部的记录个数 171

6.3 依赖关系 172

6.3.1 依赖与RDD 173

6.3.2 依赖分类 173

6.3.3 窄依赖 174

6.3.4 Shuffle依赖 175

6.3.5 依赖与容错机制 176

6.3.6 依赖与并行计算 177

6.4 计算函数 179

6.4.1 compute方法 179

6.4.2 iterator方法 179

6.5 分区器 181

6.5.1 哈希分区器 181

6.5.2 范围分区器 181

6.5.3 默认分区器 182

6.6 持久化 183

6.7 检查点 184

6.8 本章小结 184

第7章 Spark调度机制 186

7.1 调度基础 186

7.1.1 基本概念 187

7.1.2 通信框架 187

7.2 集群资源调度 188

7.2.1 集群部署图 188

7.2.2 集群资源注册 189

7.2.3 集群资源申请与分配 191

7.3 DAG调度 194

7.3.1 DAG调度通信机制 194

7.3.2 作业处理流程 195

7.3.3 阶段划分 200

7.4 任务调度 201

7.4.1 任务分类与执行 201

7.4.2 任务划分与提交 202

7.4.3 任务调度算法 204

7.4.4 任务调度相关类 205

7.4.5 任务分配 205

7.4.6 任务接收与执行 207

7.5 本章小结 207

第8章 Shuffle过程 208

8.1 与Hadoop Shuffle过程的区别 208

8.1.1 MR模型的Shuffle过程 208

8.1.2 聚合器 209

8.1.3 哈希Shuffle与排序Shuffle 211

8.1.4 Spark的Shuffle过程 211

8.2 Shuffle写过程 213

8.2.1 哈希Shuffle写过程 213

8.2.2 排序Shuffle写过程 215

8.3 Shuffle读过程 216

8.4 本章小结 218

第四篇 应用篇 220

第9章 视频娱乐领域 220

9.1 腾讯公司在Hadoop和Spark平台上的应用 220

9.1.1 公司背景特点 220

9.1.2 业务需求 221

9.1.3 解决方案 221

9.1.4 方案效果 225

9.1.5 小结 225

9.2 Spotify公司在Hadoop和Spark平台ALS算法的运行时间对比 226

9.2.1 公司背景特点 226

9.2.2 业务需求 226

9.2.3 解决方案 226

9.2.4 方案效果 227

9.2.5 小结 228

9.3 本章小结 228

第10章 电商领域 229

10.1 淘宝公司在Spark平台上对GraphX与Bagel的运行效果对比 229

10.1.1 公司背景特点 229

10.1.2 业务需求 229

10.1.3 解决方案 230

10.1.4 方案效果 232

10.1.5 小结 232

10.2 Yahoo ！关于Hive与Shark的应用 233

10.2.1 公司背景特点 233

10.2.2 业务需求 233

10.2.3 解决方案 234

10.2.4 方案效果 235

10.2.5 小结 235

10.3 本章小结 235

第11章 电信领域 236

11.1 Telefonica应用Spark和Cassandra方案解决多用户事务查询 236

11.1.1 公司背景特点 236

11.1.2 业务需求 236

11.1.3 解决方案 237

11.1.4 方案效果 239

11.1.5 小结 239

11.2 NTT DATA对Spark on YARN架构各项性能测试分析 240

11.2.1 公司背景特点 240

11.2.2 业务需求 240

11.2.3 解决方案 240

11.2.4 方案效果 245

11.2.5 小结 245

11.3 本章小结 245

第12章 零售领域 246

12.1 Euclid Analysis基于Spark的地理位置分析服务 246

12.1.1 公司背景特点 246

12.1.2 业务需求 247

12.1.3 解决方案 248

12.1.4 方案效果 249

12.1.5 小结 250

12.2 Graphflow应用Spark MLlib进行实时个性化推荐 250

12.2.1 公司背景特点 251

12.2.2 业务需求 251

12.2.3 解决方案 252

12.2.4 方案效果 253

12.2.5 小结 254

12.3 本章小结 254

第13章 其他领域 255

13.1 Uber基于Spark的私家车搭乘服务 255

13.1.1 公司背景特点 255

13.1.2 业务需求 256

13.1.3 解决方案 257

13.1.4 方案效果 258

13.1.5 小结 259

13.2 PubMatic应用Spark提供广告服务 260

13.2.1 公司背景特点 260

13.2.2 业务需求 260

13.2.3 解决方案 261

13.2.4 方案效果 262

13.2.5 小结 263

13.3 本章小结 264