Spark全栈数据分析PDF电子书下载

第Ⅰ部分 准备工作 3

第1章 理论 3

导论 3

定义 5

方法学 5

敏捷数据科学宣言 6

瀑布模型的问题 10

研究与应用开发 11

敏捷软件开发的问题 14

最终质量：偿还技术债 14

瀑布模型的拉力 15

数据科学过程 16

设置预期 17

数据科学团队的角色 18

认清机遇与挑战 19

适应变化 21

过程中的注意事项 23

代码审核与结对编程 25

敏捷开发的环境：提高生产效率 25

用大幅打印实现想法 27

第2章 敏捷工具 29

可伸缩性=易用性 30

敏捷数据科学之数据处理 30

搭建本地环境 32

配置要求 33

配置Vagrant 33

下载数据 33

搭建EC2环境 34

下载数据 38

下载并运行代码 38

下载代码 38

运行代码 38

Jupyter笔记本 39

工具集概览 39

敏捷开发工具栈的要求 39

Python 3 39

使用JSON行和Parquet序列化事件 42

收集数据 45

使用Spark进行数据处理 45

使用MongoDB发布数据 48

使用Elasticsearch搜索数据 50

使用Apache Kafka分发流数据 54

使用PySpark Streaming处理流数据 57

使用scikit-learn与Spark MLlib进行机器学习 58

使用Apache Airflow（孵化项目）进行调度 59

反思我们的工作流程 70

轻量级网络应用 70

展示数据 73

本章小结 75

第3章 数据 77

飞行航班数据 77

航班准点情况数据 78

OpenFlights数据库 79

天气数据 80

敏捷数据科学中的数据处理 81

结构化数据vs.半结构化数据 81

SQL vs.NoSQL 82

SQL 83

NoSQL与数据流编程 83

Spark：SQL＋NoSQL 84

NoSQL中的表结构 84

数据序列化 85

动态结构表的特征提取与呈现 85

本章小结 86

第Ⅱ部分 攀登金字塔 89

第4章 记录收集与展示 89

整体使用 90

航班数据收集与序列化 91

航班记录处理与发布 94

把航班记录发布到MongoDB 95

在浏览器中展示航班记录 96

使用Flask和pymongo提供航班信息 97

使用Jinja2渲染HTML5页面 98

敏捷开发检查站 102

列出航班记录 103

使用MongoDB列出航班记录 103

数据分页 106

搜索航班数据 112

创建索引 112

发布航班数据到Elasticsearch 113

通过网页搜索航班数据 114

本章小结 117

第5章 使用图表进行数据可视化 119

图表质量：迭代至关重要 120

用发布/装饰模型伸缩数据库 120

一阶形式 121

二阶形式 122

三阶形式 123

选择一种形式 123

探究时令性 124

查询并展示航班总数 124

提取“金属”（飞机（实体）） 132

提取机尾编号 132

评估飞机记录 139

数据完善 140

网页表单逆向工程 140

收集机尾编号 142

自动化表单提交 143

从HTML中提取数据 144

评价完善后的数据 147

本章小结 148

第6章 通过报表探索数据 149

提取航空公司为实体 150

使用PySpark把航空公司定义为飞机的分组 150

在MongoDB中查询航空公司数据 151

在Flask中构建航空公司页面 151

添加回到航空公司页面的链接 152

创建一个包括所有航空公司的主页 153

整理半结构化数据的本体关系 154

改进航空公司页面 155

给航空公司代码加上名称 156

整合维基百科内容 158

把扩充过的航空公司表发布到MongoDB 159

在网页上扩充航空公司信息 160

调查飞机（实体） 162

SQL嵌套查询vs.数据流编程 164

不使用嵌套查询的数据流编程 164

Spark SQL中的子查询 165

创建飞机主页 166

在飞机页面上添加搜索 167

创建飞机制造商的条形图 172

对飞机制造商条形图进行迭代 174

实体解析：新一轮图表迭代 177

本章小结 183

第7章 进行预测 185

预测的作用 186

预测什么 186

预测分析导论 187

进行预测 187

探索航班延误 189

使用PySpark提取特征 193

使用scikit-learn构建回归模型 198

读取数据 198

数据采样 199

向量化处理结果 200

准备训练数据 201

向量化处理特征 201

稀疏矩阵与稠密矩阵 203

准备实验 204

训练模型 204

测试模型 205

小结 207

使用Spark MLlib构建分类器 208

使用专用结构加载训练数据 208

处理空值 210

用Route（路线）替代FlightNum（航班号） 210

对连续变量分桶以用于分类 211

使用pyspark.ml.feature向量化处理特征 219

用Spark ML做分类 221

本章小结 223

第8章 部署预测系统 225

把scikit-learn应用部署为网络服务 225

scikit-learn模型的保存与读取 226

提供预测模型的准备工作 227

为航班延误回归分析创建API 228

测试API 232

在产品中使用API 232

使用Airflow部署批处理模式Spark ML应用 234

在生产环境中收集训练数据 235

Spark ML模型的训练、存储与加载 237

在MongoDB中创建预测请求 239

从MongoDB中获取预测请求 245

使用Spark ML以批处理模式进行预测 248

用MongoDB保存预测结果 252

在网络应用中展示批处理预测结果 253

用Apache Airflow（孵化项目）自动化工作流 256

小结 264

用Spark Streaming部署流式计算模式Spark ML应用 264

在生产环境中收集训练数据 265

Spark ML模型的训练、存储、读取 265

发送预测请求到Kafka 266

用Spark Streaming进行预测 277

测试整个系统 283

本章小结 285

第9章 改进预测结果 287

解决预测的问题 287

什么时候需要改进预测 288

改进预测表现 288

黏附试验法：找出黏性好的 288

为试验建立严格的指标 289

把当日时间作为特征 298

纳入飞机数据 302

提取飞机特征 302

在分类器模型中纳入飞机特征 305

纳入飞行时间 310

本章小结 313

附录A 安装手册 315

安装Hadoop 315

安装Spark 316

安装MongoDB 317

安装MongoDB的Java驱动 317

安装mongo-hadoop 318

编译mongo-hadoop 318

安装pymongo＿spark 318

安装Elasticsearch 318

安装Elasticsearch的Hadoop支持库 319

配置我们的Spark环境 320

安装Kafka 320

安装scikit-learn 320

安装Zeppelin 321