第1部分 第1步 3
第1章 Apache Spark简介 3
1.1 什么是Spark 4
1.1.1 Spark革命 4
1.1.2 MapReduce的缺点 5
1.1.3 Spark带来了什么有价值的东西 5
1.2 Spark组件 7
1.2.1 Spark Core 7
1.2.2 Spark SQL 8
1.2.3 Spark Streaming 9
1.2.4 Spark MLlib 9
1.2.5 Spark GraphX 9
1.3 Spark程序流程 9
1.4 Spark生态系统 12
1.5 设置spark-in-action VM 13
1.5.1 下载和启动虚拟机 13
1.5.2 关闭虚拟机 14
1.6 总结 15
第2章 Spark基础 16
2.1 使用spark-in-action VM 17
2.1.1 复制Spark in Action GitHub存储库 17
2.1.2 找到Java 17
2.1.3 使用虚拟机的Hadoop安装 18
2.1.4 检查虚拟机的Spark安装 19
2.2 用Spark shell编写第一个Spark程序 20
2.2.1 启动Spark shell 20
2.2.2 第一个Spark代码示例 22
2.2.3 弹性分布式数据集的概念 24
2.3 基本RDD行动和转换操作 24
2.3.1 使用map转换 25
2.3.2 使用distinct和flatMap转换 27
2.3.3 使用sample、 take和takeSample操作获取RDD的元素 30
2.4 Double RDD函数 32
2.4.1 Double RDD函数基础统计 33
2.4.2 使用直方图可视化数据分布 34
2.4.3 近似总和与平均 34
2.5 总结 35
第3章 编写Spark应用程序 36
3.1 在Eclipse中生成一个新的Spark项目 36
3.2 开发应用程序 41
3.2.1 准备GitHub归档数据集 41
3.2.2 加载JSON 43
3.2.3 使用Eclipse运行应用程序 45
3.2.4 数据汇总 47
3.2.5 排除非公司员工 48
3.2.6 广播变量 49
3.2.7 使用整个数据集 52
3.3 提交应用程序 53
3.3.1 构建uberjar 53
3.3.2 调整应用程序 54
3.3.3 使用spark-submit 56
3.4 总结 58
第4章 深入Spark API 60
4.1 使用键值对RDD 60
4.1.1 创建键值对RDD 61
4.1.2 键值对RDD的基本功能 61
4.2 了解数据分区和减少数据混排 66
4.2.1 使用Spark数据分区器 67
4.2.2 了解和避免不必要的混排 68
4.2.3 RDD重新分区 71
4.2.4 在分区中映射数据 72
4.3 连接、排序、分组数据 73
4.3.1 连接数据 74
4.3.2 数据排序 79
4.3.3 数据分组 82
4.4 理解RDD依赖 84
4.4.1 RDD依赖和Spark执行 84
4.4.2 Spark阶段和任务 86
4.4.3 使用检查节点保存Spark谱系 87
4.5 使用累加器和广播变量与Spark执行器进行通信 87
4.5.1 使用累加器从执行器获取数据 87
4.5.2 使用广播变量将数据发送到执行器 89
4.6 总结 90
第2部分 认识Spark家族 95
第5章 使用Spark SQL执行Spark查询 95
5.1 使用DataFrame 96
5.1.1 从RDD创建DataFrame 98
5.1.2 DataFrame API基础知识 105
5.1.3 使用SQL函数执行数据计算 107
5.1.4 使用缺失值 112
5.1.5 将DataFrame转换为RDD 113
5.1.6 分组和连接数据 113
5.1.7 执行连接 117
5.2 超越DataFrame：引入DataSet 118
5.3 使用SQL命令 119
5.3.1 表目录和Hive metastore 119
5.3.2 执行SQL查询 122
5.3.3 通过Thrift服务器连接到Spark SQL 123
5.4 保存并加载DataFrame数据 125
5.4.1 内置数据源 126
5.4.2 保存数据 126
5.4.3 加载数据 128
5.5 Catalyst优化器 129
5.6 Tungsten的性能改进 131
5.7 总结 132
第6章 使用Spark Streaming提取数据 133
6.1 编写Spark Streaming应用程序 134
6.1.1 介绍示例应用程序 134
6.1.2 创建流上下文 135
6.1.3 创建离散流 136
6.1.4 使用离散流 137
6.1.5 将结果保存到文件 138
6.1.6 启动和停止流计算 139
6.1.7 随时保存计算状态 140
6.1.8 使用窗口操作进行限时计算 146
6.1.9 检查其他内置输入流 148
6.2 使用外部数据源 149
6.2.1 设置Kafka 149
6.2.2 使用Kafka更改流应用程序 150
6.3 Spark Streaming作业的性能 156
6.3.1 获得良好的性能 157
6.3.2 实现容错 158
6.4 结构化流 159
6.4.1 创建流式DataFrame 160
6.4.2 输出流数据 160
6.4.3 检查流执行 161
6.4.4 结构化流的未来方向 161
6.5 总结 162
第7章 使用MLlib变得更智能 163
7.1 机器学习简介 164
7.1.1 机器学习的定义 166
7.1.2 机器学习算法的分类 166
7.1.3 使用Spark进行机器学习 168
7.2 Spark中的线性代数 169
7.2.1 本地向量和矩阵实现 169
7.2.2 分布式矩阵 173
7.3 线性回归 174
7.3.1 关于线性回归 174
7.3.2 简单线性回归 174
7.3.3 将模型扩展到多元线性回归 176
7.4 分析和准备数据 178
7.4.1 分析数据分布 178
7.4.2 分析列余弦相似性 179
7.4.3 计算协方差矩阵 179
7.4.4 转换为标记点 180
7.4.5 拆分数据 180
7.4.6 特征缩放和均值归一化 181
7.5 拟合和使用线性回归模型 181
7.5.1 预测目标值 182
7.5.2 评估模型的性能 182
7.5.3 解释模型参数 183
7.5.4 加载和保存模型 183
7.6 调整算法 184
7.6.1 找到正确的步长和迭代次数 184
7.6.2 添加高阶多项式 186
7.6.3 偏差-方差权衡和模型复杂度 187
7.6.4 绘制残差图 189
7.6.5 使用正则化避免过度拟合 190
7.6.6 k折交叉验证 191
7.7 优化线性回归 192
7.7.1 小批量随机梯度下降 192
7.7.2 LBFGS优化器 193
7.8 总结 194
第8章 ML：分类和聚类 195
8.1 Spark ML库 196
8.1.1 估计器、转换器和评估器 196
8.1.2 ML参数 196
8.1.3 ML管道 197
8.2 逻辑回归 197
8.2.1 二元逻辑回归模型 198
8.2.2 准备数据以使用Spark中的逻辑回归 199
8.2.3 训练模型 204
8.2.4 评估分类模型 205
8.2.5 执行k折交叉验证 208
8.2.6 多类逻辑回归 210
8.3 决策树和随机森林 212
8.3.1 决策树 213
8.3.2 随机森林 217
8.4 使用k-均值聚类 219
8.4.1 k-均值聚类 220
8.5 总结 224
第9章 使用GraphX连接点 226
9.1 Spark图形处理 226
9.1.1 使用GraphX API构建图 227
9.1.2 转换图 228
9.2 图算法 233
9.2.1 数据集的介绍 234
9.2.2 最短路径算法 235
9.2.3 页面排名 236
9.2.4 连通分量 236
9.2.5 强连通分量 237
9.3 实现A＊搜索算法 239
9.3.1 了解A＊算法 239
9.3.2 实现A＊算法 241
9.3.3 测试的实施 248
9.4 总结 249
第3部分 Spark ops 253
第10章 运行Spark 253
10.1 Spark运行时体系结构概述 253
10.1.1 Spark运行时组件 254
10.1.2 Spark集群类型 256
10.2 作业和资源调度 257
10.2.1 集群资源调度 257
10.2.2 Spark作业调度 257
10.2.3 数据局部性的考虑 259
10.2.4 Spark内存调度 260
10.3 配置Spark 261
10.3.1 Spark配置文件 261
10.3.2 命令行参数 261
10.3.3 系统环境变量 262
10.3.4 以编程方式设置配置 262
10.3.5 master参数 262
10.3.6 查看所有已配置的参数 263
10.4 Spark Web UI 263
10.4.1 Jobs（作业）页面 264
10.4.2 Stages（阶段）页面 264
10.4.3 Storage（存储）页面 267
10.4.4 Environment（环境）页面 267
10.4.5 Executors（执行器）页面 268
10.5 在本地机器上运行Spark 269
10.5.1 本地模式 269
10.5.2 本地集群模式 270
10.6 总结 270
第11章 在Spark standalone集群上运行 272
11.1 Spark standalone集群组件 272
11.2 启动standalone集群 274
11.2.1 使用shell脚本启动集群 274
11.2.2 手动启动集群 276
11.2.3 查看Spark进程 277
11.2.4 Standalone master高可用性和恢复性 277
11.3 Standalone集群Web UI 279
11.4 在standalone集群中运行应用程序 281
11.4.1 驱动器的位置 281
11.4.2 指定执行器的数量 282
11.4.3 指定额外的类路径和文件 282
11.4.4 终止应用程序 284
11.4.5 应用程序自动重启 284
11.5 Spark历史服务器和事件日志记录 284
11.6 在Amazon EC2上运行 285
11.6.1 先决条件 286
11.6.2 创建一个EC2 standalone集群 287
11.6.3 使用EC2集群 289
11.6.4 销毁集群 291
11.7 总结 292
第12章 在YARN和Mesos上运行 293
12.1 在YARN上运行Spark 293
12.1.1 YARN架构 294
12.1.2 安装配置启动YARN 294
12.1.3 YARN中的资源调度 296
12.1.4 向YARN提交Spark应用程序 297
12.1.5 在YARN上配置Spark 299
12.1.6 为Spark工作配置资源 300
12.1.7 YARN UI 301
12.1.8 在YARN上寻找日志 303
12.1.9 安全注意事项 304
12.1.10 动态资源分配 304
12.2 在Mesos上运行Spark 305
12.2.1 Mesos架构 306
12.2.2 安装配置Mesos 309
12.2.3 Mesos Web UI 310
12.2.4 Mesos资源调度 312
12.2.5 向Mesos提交Spark应用程序 313
12.2.6 使用 Docker运行Spark 314
12.3 总结 317
第4部分 协同使用 321
第13章 实例学习：实时仪表盘 321
13.1 了解用例 321
13.1.1 概况 321
13.1.2 了解应用程序组件 323
13.2 运行应用程序 324
13.2.1 在spark-in-action VM中运行应用程序 325
13.2.2 手动启动程序 328
13.3 理解源代码 330
13.3.1 KafkaLogsSimulator项目 330
13.3.2 StreamingLogAnalyzer项目 331
13.3.3 WebStatsDashboard项目 337
13.3.4 构建项目 337
13.4 总结 338
第14章 用H2O深入学习Spark 339
14.1 什么是深度学习 339
14.2 在Spark中使用H2O 341
14.2.1 什么是H2O 341
14.2.2 在Spark中启动Sparkling Water 342
14.2.3 启动H2O集群 344
14.2.4 访问Flow UI 344
14.3 使用H2O的深度学习进行回归 346
14.3.1 将数据加载到 H2O框架 346
14.3.2 使用Flow UI构建和评估深度学习模型 349
14.3.3 使用Sparkling Water API构建和评估深度学习模型 352
14.4 使用H2O的深度学习进行分类 357
14.4.1 加载和拆分数据 357
14.4.2 通过Flow UI构建模型 358
14.4.3 使用Sparkling Water API构建模型 361
14.4.4 停止H2O集群 362
14.5 总结 362
附录 363
附录A 安装Apache Spark 363
附录B 了解MapReduce 368
附录C 线性代数入门 370