大数据技术与应用基础PDF电子书下载

第1章 大数据概述 1

1.1大数据的发展 1

1.2大数据的概念及特征 2

1.2.1大数据的概念 2

1.2.2大数据的特征 2

1.3大数据的产生及数据类型 3

1.3.1大数据的产生 3

1.3.2数据类型 3

1.4大数据计算模式和系统 4

1.5大数据的主要技术层面和技术内容 4

1.6大数据的典型应用 6

1.7本章小结 7

第2章 数据获取 8

2.1 Scrapy环境搭建 8

2.2爬虫项目创建 8

2.3采集目标数据项定义 10

2.4爬虫核心实现 11

2.5数据存储 15

2.6爬虫运行 17

2.7本章小结 18

第3章Hadoop基础 19

3.1 Hadoop概述 19

3.2 Hadoop原理 20

3.2.1 Hadoop HDFS原理 20

3.2.2 Hadoop MapReduce原理 21

3.2.3 Hadoop YARN原理 22

3.3 Hadoop的安装与配置 24

3.4 Hadoop生态系统简介 46

3.5本章小结 47

第4章HDFS基本应用 48

4.1实战命令行接口 48

4.2实战Java接口 52

4.3数据流 60

4.3.1数据流简介 60

4.3.2数据流读取 61

4.3.3数据流写入 62

4.4本章小结 64

第5章MapReduce应用开发 65

5.1配置Hadoop MapReduce开发环境 65

5.1.1系统环境及所需文件 65

5.1.2安装Eclipse 65

5.1.3向Eclipse中添加插件 66

5.2编写和运行第一个MapReduce程序前的准备 69

5.2.1系统环境及所需要的文件 69

5.2.2建立运行MapReduce程序的依赖环境 69

5.2.3建立编写MapReduce程序的依赖包 70

5.3 MapReduce应用案例 78

5.3.1单词计数 78

5.3.2数据去重 82

5.3.3排序 85

5.3.4单表关联 89

5.3.5多表关联 95

5.4本章小结 102

第6章 分布式数据库HBase 103

6.1 HBase简介 103

6.2 HBase接口 103

6.3安装HBase集群 104

6.3.1系统环境 104

6.3.2安装ZooKeeper 104

6.3.3安装HBase 106

6.4 HBase Shell 108

6.5 HBase API 110

6.6 HBase综合实例 113

6.7本章小结 118

第7章 数据仓库工具Hive 119

7.1 Hive简介 119

7.2 Hive接口实战 119

7.3 Hive复杂语句实战 124

7.4 Hive综合实例 127

7.4.1准备数据 127

7.4.2在Hive上创建数据库和表 128

7.4.3导入数据 129

7.4.4算法分析与执行HQL语句 130

7.4.5运行结果分析 131

7.5本章小结 132

第8章 开源集群计算环境Spark 133

8.1 Spark简介 133

8.2 Spark接口实战 133

8.2.1环境要求 133

8.2.2 IDEA使用和打包 134

8.3 Spark编程的RDD 137

8.3.1 RDD 137

8.3.2创建RDD 138

8.3.3 RDD中与Map和Reduce相关的API 138

8.4 Spark实战案例——统计1000万人口的平均年龄 141

8.4.1案例描述 141

8.4.2案例分析 143

8.4.3编程实现 143

8.4.4提交到集群运行 144

8.4.5监控执行状态 144

8.5 Spark MLlib实战——聚类实战 145

8.5.1算法说明 145

8.5.2实例介绍 145

8.5.3测试数据说明 146

8.5.4程序源码 146

8.5.5运行脚本 148

8.6本章小结 150

第9章 流实时处理系统Storm 152

9.1 Storm概述 152

9.1.1 Storm简介 152

9.1.2 Storm主要特点 152

9.2 Storm安装与配置 153

9.3本章小结 160

第10章 企业级、大数据流处理Apex 161

10.1 Apache Apex简介 161

10.2 Apache Apex开发环境配置 161

10.2.1部署开发工具 161

10.2.2安装Apex组件 162

10.2.3创建Top N Words应用 164

10.3运行TopN Words应用 166

10.3.1开启Apex客户端 166

10.3.2执行 166

10.4本章小结 167

第11章 事件流OLAP之Druid 168

11.1 Druid简介 168

11.2 Druid应用场所 168

11.3 Druid集群 169

11.4 Druid单机环境 170

11.4.1安装Druid 170

11.4.2安装ZooKeeper 170

11.4.3启动Druid服务 171

11.4.4批量加载数据 172

11.4.5加载流数据 175

11.4.6数据查询 177

11.5本章小结 180

第12章 事件数据流引擎Flink 181

12.1 Flink概述 181

12.2 Flink基本架构 181

12.3单机安装Flink 182

12.4 Flink运行第一个例子 184

12.5 Flirik集群部署 187

12.5.1环境准备 187

12.5.2安装和配置 187

12.5.3启动Flink集群 188

12.5.4集群中添加JobManager/TaskManager 189

12.6本章小结 189

第13章 分布式文件搜索Elasticsearch 190

13.1 Elasticsearch简介 190

13.2 Elasticsearch单节点安装 192

13.3插件Elasticsearch-head安装 193

13.4 Elasticsearch的基本操作 195

13.5综合实战 199

13.6本章小结 202

第14章 实例电商数据分析 203

14.1背景与挖掘目标 203

14.2分析方法与过程 203

14.2.1数据收集 203

14.2.2数据预处理 206

14.2.3导入数据到 Hadoop 206

14.2.4数据取样分析 209

14.3本章小结 211

参考文献 212