第1章 从Hadoop到Spark 1
1.1 Hadoop——大数据时代的火种 1
1.1.1 大数据的由来 1
1.1.2 Google解决大数据计算问题的方法 5
1.1.3 Hadoop的由来与发展 10
1.2 Hadoop的局限性 12
1.2.1 Hadoop运行机制 13
1.2.2 Hadoop的性能问题 15
1.2.3 针对Hadoop的改进 20
1.3 大数据技术新星——Spark 21
1.3.1 Spark的出现与发展 21
1.3.2 Spark协议族 24
1.3.3 Spark的应用及优势 25
第2章 体验Spark 28
2.1 安装和使用Spark 28
2.1.1 安装Spark 28
2.1.2 了解Spark目录结构 31
2.1.3 使用Spark Shell 32
2.2 编写和运行Spark程序 35
2.2.1 安装Scala插件 35
2.2.2 编写Spark程序 37
2.2.3 运行Spark程序 42
2.3 Spark Web UI 45
2.3.1 访问实时Web UI 45
2.3.2 从实时UI查看作业信息 46
第3章 Spark原理 50
3.1 Spark工作原理 50
3.2 Spark架构及运行机制 54
3.2.1 Spark系统架构与节 点角色 54
3.2.2 Spark作业执行过程 57
3.2.3 应用初始化 59
3.2.4 构建RDD有向无环图 62
3.2.5 RDD有向无环图拆分 64
3.2.6 Task调度 68
3.2.7 Task执行 71
第4章 RDD算子 74
4.1 创建算子 74
4.1.1 基于集合类型数据创建RDD 74
4.1.2 基于外部数据创建RDD 76
4.2 变换算子 80
4.2.1 对Value型RDD进行变换 80
4.2.2 对Key/Value型RDD进行变换 92
4.3 行动算子 108
4.3.1 数据运算类行动算子 108
4.3.2 存储型行动算子 117
4.4 缓存算子 119
第5章 Spark算法设计 123
5.1 过滤 123
5.2 去重计数 125
5.3 相关计数 127
5.4 相关系数 130
5.5 数据联结 135
5.6 Top-K 139
5.7 K-means 142
5.8 关联规则挖掘 146
5.9 kNN 152
5.10 朴素贝叶斯分类 155
第6章 善用Spark 161
6.1 合理分配资源 161
6.2 控制并行度 168
6.3 利用持久化 173
6.4 选择恰当的算子 177
6.5 利用共享变量 181
6.5.1 累加器变量 182
6.5.2 广播变量 184
6.6 利用序列化技术 186
6.7 关注数据本地性 188
6.8 内存优化策略 191
6.9 集成外部工具 195
参考文献 198