Hadoop大数据技术基础及应用PDF电子书下载

第1章 Hadoop概述 1

1.1Hadoop的前世今生 1

1.1.1 Hadoop是什么 1

1.1.2项目起源 1

1.1.3发展历程 2

1.1.4名字起源 2

1.2 Hadoop生态系统简介 2

1.3 Hadoop的优势及应用领域 4

1.3.1 Hadoop的优势 4

1.3.2 Hadoop的应用领域 4

1.4 Hadoop与云计算 5

1.4.1云计算的概念及特点 5

1.4.2 Hadoop与云计算之间的关系 6

1.5 Hadoop与Spark 6

1.5.1 Spark的概念及特点 6

1.5.2 Hadoop与Spark之间的关系 7

1.6 Hadoop与传统关系型数据库 8

1.6.1传统关系型数据库的概念及特点 8

1.6.2 Hadoop与传统数据库之间的关系 8

本章 小结 9

本章 习题 9

第2章 Hadoop开发及运行环境搭建 10

2.1Hadoop集群环境搭建概述 10

2.1.1虚拟机的安装部署 10

2.1.2 Linux操作系统的安装部署 11

2.1.3 Hadoop的运行模式 11

2.2 Hadoop伪分布式集群环境搭建 12

2.2.1关闭防火墙和禁用SELINUX 12

2.2.2配置hostname与IP地址之间的对应关系 13

2.2.3创建用户和用户组 14

2.2.4配置SSH免密码登录 15

2.2.5 JDK安装 17

2.2.6 Hadoop伪分布式集群的安装配置 19

2.2.7测试运行Hadoop集群 24

2.3搭建MyEclipse开发环境 26

2.3.1 JDK的安装配置 26

2.3.2安装MyEclipse 28

2.3.3在MyEclipse上安装Hadoop插件 28

2.3.4 Hadoop环境配置 31

2.3.5构建MapReduce项目 32

本章 小结 38

本章 习题 38

第3章 HDFS分布式文件系统 39

3.1HDFS体系结构详解 39

3.1.1什么是文件系统 39

3.1.2什么是分布式文件系统 39

3.1.3 HDFS分布式文件系统概述 40

3.2 HDFS的Shell操作 50

3.2.1 HDFS基本Shell操作命令 50

3.2.2 Hadoop管理员常用的Shell操作命令 52

3.3 HDFS的Java API操作 53

3.3.1获取HDFS文件系统 53

3.3.2文件/目录的创建与删除 53

3.3.3获取文件 54

3.3.4上传/下载文件 55

3.3.5获取HDFS集群节点信息 55

3.4 HDFS的新特性——HA 56

3.4.1HA机制产生背景 56

3.4.2 HDFS的HA机制 56

3.4.3 HDFS的HA架构 57

3.5实战：小文件合并程序的编写及运行 58

本章 小结 62

本章 习题 62

第4章 MapReduce分布式计算框架 63

4.1初识MapReduce 63

4.1.1 MapReduce概述 63

4.1.2 MapReduce的基本设计思想 64

4.1.3 MapReduce的优缺点 65

4.2 MapReduce编程模型 66

4.2.1 MapReduce编程模型简介 66

4.2.2深入剖析MapReduce编程模型——以WordCount为例 68

4.3 MapReduce运行框架 72

4.3.1 MapReduce架构 72

4.3.2 MapReduce的运行机制 75

4.3.3 MapReduce内部逻辑 77

4.3.4 MapReduce数据本地性 78

4.3.5 MapReduce框架的容错性 80

4.3.6 MapReduce资源组织方式 81

4.3.7 MapReduce的高级特性及应用 81

4.4实战：统计相同字母组成的不同单词 81

本章 小结 83

本章 习题 83

第5章 Hadoop的文件I/O 84

5.1Hadoop文件I/O概述 84

5.2 Hadoop文件I/O的数据完整性 85

5.2.1 Hadoop文件I/O的数据完整性的概念 85

5.2.2 Hadoop的数据校验方式 86

5.3 Hadoop文件的序列化 90

5.3.1什么是序列化 90

5.3.2为什么要序列化 90

5.3.3为什么不用Java的序列化 90

5.3.4 Hadoop对序列化机制的要求 90

5.3.5 Hadoop中定义的序列化相关接口 91

5.4 Hadoop数据的解压缩 94

5.4.1解压缩简介 94

5.4.2 Hadoop常见压缩格式及特点 94

5.4.3常见压缩的使用方式 95

5.5基于文件的数据结构 96

5.6实战：Hadoop源码编译及Snappy压缩的配置使用 101

本章 小结 103

本章 习题 104

第6章 YARN资源管理器 105

6.1初识YARN 105

6.1.1 YARN是什么 105

6.1.2 YARN的作用 106

6.2 YARN基本架构 106

6.3 YARN的工作原理 107

6.3.1 YARN上运行的应用程序 107

6.3.2 YARN的工作流程 108

6.3.3 MapReduce On YARN的工作流程 109

6.4 YARN的容错性 110

6.5 YARN HA 110

本章 小结 111

本章 习题 112

第7章 Zookeeper分布式协调服务 113

7.1 Zookeeper概述 113

7.1.1 ZooKeeper是什么 113

7.1.2 Zookeeper的特点 114

7.1.3 Zookeeper的基本架构 114

7.1.4 Zookeeper的工作原理 115

7.2 Zookeeper安装配置 115

7.3 Zookeeper服务 116

7.3.1数据模型 116

7.3.2基本操作 118

7.3.3实现方式 118

7.4 Zookeeper的应用 119

7.4.1数据发布与订阅 119

7.4.2负载均衡 119

7.4.3命名服务 120

7.4.4分布式通知/协调 120

7.4.5配置管理 120

7.4.6集群管理 120

7.4.7分布式锁 121

7.4.8分布式队列 121

7.5实战：模拟实现集群配置信息的订阅与发布 122

本章 小结 127

本章 习题 127

第8章 Hadoop分布式集群搭建与管理 128

8.1准备物理集群 128

8.1.1物理集群搭建方式 128

8.1.2虚拟机的准备 128

8.2集群规划 132

8.2.1主机规划 132

8.2.2软件规划 132

8.2.3用户规划 133

8.2.4目录规划 133

8.3集群安装前的准备 133

8.3.1时钟同步 133

8.3.2 hosts文件检查 134

8.3.3禁用防火墙 134

8.3.4配置SSH免密码通信 134

8.3.5脚本工具的使用 135

8.4 Hadoop相关软件安装 138

8.4.1JDK的安装 138

8.4.2 Zookeeper的安装 139

8.5 Hadoop集群环境的搭建 140

8.5.1 Hadoop软件的安装 140

8.5.2 Hadoop配置及使用HDFS 141

8.5.3 Hadoop配置及使用YARN 146

8.6集群启停 149

8.6.1启动集群 149

8.6.2关闭集群 150

8.7主机的维护操作 151

8.7.1 Active NameNode维护操作 151

8.7.2 Standby NameNode维护操作 151

8.7.3 DataNode维护操作 151

8.7.4 Active ResourceManager维护操作 151

8.7.5 Standby ResourceManager维护操作 152

8.7.6 NodeManager维护操作 152

8.8集群节点动态增加与删除 152

8.8.1增加DataNode 152

8.8.2删除DataNode 153

8.8.3增删NodeManager 153

8.9集群运维技巧 153

8.9.1查看日志 153

8.9.2清理临时文件 154

本章 小结 154

本章 习题 154

第9章 Hive数据仓库 155

9.1初识Hive 155

9.1.1 Hive是什么 155

9.1.2 Hive产生的背景 155

9.1.3什么是数据仓库 156

9.1.4 Hive在Hadoop生态系统中的位置 156

9.1.5 Hive和Hadoop的关系 157

9.1.6 Hive和普通关系数据库的异同 157

9.2 Hive的原理及架构 158

9.2.1 Hive的设计原理 158

9.2.2 Hive的体系架构 159

9.2.3 Hive的运行机制 160

9.2.4 Hive编译器的运行机制 161

9.2.5 Hive的优缺点 161

9.2.6 Hive的数据类型 161

9.2.7 Hive的数据存储 162

9.3 Hive的安装部署 163

9.3.1安装MySQL 163

9.3.2安装Hive 164

9.4 Hive数据库的相关操作 165

9.5 Hive数据表的相关操作 171

9.5.1常见数据表类型 171

9.5.2操作内部表 172

9.5.3操作外部表 177

9.5.4操作分区表 177

9.5.5操作桶表 180

9.6 Hive的数据操作语言DML 182

9.6.1通过LOAD语句向表中装载数据 182

9.6.2通过INSERT语句向表中插入数据 183

9.6.3利用动态分区向表中插入数据 184

9.6.4通过CTAS加载数据 186

9.6.5导出数据 186

9.7 Hive的数据查询语言DQL 187

9.7.1 SELECT …FROM语句 188

9.7.2 WHERE语句 189

9.7.3数据的递归查询 189

9.7.4 GROUP BY语句和HAVING语句 191

9.7.5 ORDER BY语句和SORT BY语句 192

9.7.6 DISTRIBUTE BY语句 194

9.7.7 CLUSTER BY语句 195

9.8实战：通过Hive分析股票走势规律 195

本章 小结 199

本章 习题 199

第10章 HBase分布式数据库 200

10.1 HBase概述 200

10.1.1 HBase是什么 200

10.1.2 Hbase的特点 200

10.2 HBase数据模型 201

10.2.1 Hbase逻辑模型 201

10.2.2 HBase数据模型的核心概念 202

10.2.3 Hbase的物理模型 203

10.2.4 Hbase的基本架构 204

10.3 HBase的核心概念 206

10.3.1预写日志 206

10.3.2 Region定位 206

10.3.3写入流程 208

10.3.4查询流程 209

10.3.5容错性 211

10.4 HBase集群安装部署 211

10.4.1集群规划 211

10.4.2 HBase集群安装 212

10.5 HBase Shell工具 217

10.5.1命令分类 217

10.5.2基本操作 218

10.6 HBase Java客户端 220

10.6.1客户端配置 220

10.6.2创建表 221

10.6.3删除表 222

10.6.4插入数据 223

10.6.5查询数据 223

10.6.6删除数据 225

10.6.7过滤查询 225

10.7实战：MapReduce批量操作HBase 226

本章 小结 230

本章 习题 230

第11章 Hadoop生态系统常用开发技术 231

11.1 Sqoop数据导入导出工具 231

11.1.1 Sqoop概述 231

11.1.2 Sqoop的优势 232

11.1.3 Sqoop的架构与工作机制 232

11.1.4 Sqoop Import流程 232

11.1.5 Sqoop Export流程 233

11.1.6 Sqoop的安装配置 234

11.1.7 Sqoop实战 236

11.2 Flume日志采集系统 238

11.2.1 Flume概述 238

11.2.2 Flume NG的架构及工作机制 238

11.2.3 Flume NG的核心功能模块 239

11.2.4 Flume NG的数据可靠性 242

11.2.5 Flume NG的应用场景 242

11.2.6 Flume NG的安装配置 244

11.2.7 Flume NG实战 246

11.3 Kafka分布式消息系统 248

11.3.1 Kafka概述 248

11.3.2 Kafka的特点 248

11.3.3 Kafka的架构 248

11.3.4 Kafka的相关服务 249

11.3.5 Kafka的安装配置 251

11.3.6 Kafka Shell操作 254

11.3.7 Kafka客户端操作 256

11.4 ElasticSearch全文检索工具 259

11.4.1 ElasticSearch概述 259

11.4.2 ElasticSearch的特点 259

11.4.3 ElasticSearch的架构 260

11.4.4 ElasticSearch的相关服务 261

11.4.5 ElasticSearch的索引模块 262

11.4.6 ElasticSearch的安装配置 266

11.4.7 ElasticSearch RESTful API 271

11.4.8 ElasticSearch Java API 280

11.5 Storm流式计算框架 285

11.5.1 Storm概述 285

11.5.2 Storm的特点 285

11.5.3 Storm的架构 285

11.5.4 Storm工作流 286

11.5.5 Storm数据流 287

11.5.6 Storm集群的安装配置 288

11.5.7实战：统计网站PV和UV 292

11.6 Spark内存计算框架 299

11.6.1 Spark概述 299

11.6.2 Spark的特点 299

11.6.3弹性分布式数据集RDD 300

11.6.4 Spark架构原理 301

11.6.5算子功能及分类 303

11.6.6 Spark集群的安装配置 304

11.6.7实战：搜狗搜索数据统计 308

本章 小结 310

本章 习题 310

第12章 项目实践：广电收视率数据统计分析 312

12.1项目背景 312

12.2项目需求 312

12.3项目分析 313

12.3.1认识数据源 313

12.3.2项目各个收视指标的定义及计算方法 313

12.4项目开发流程 315

12.4.1 Flume数据收集 316

12.4.2 MapReduce数据清洗及分析 317

12.4.3 Hive数据统计分析 319

12.4.4 Sqoop数据导出 321

12.4.5项目数据可视化展示 323

本章 小结 327

第13章 项目实践：视频网站爬虫系统开发 328

13.1项目背景 328

13.2项目需求 328

13.3项目分析 328

13.4项目环境准备 329

13.5项目开发流程 329

13.5.1数据采集 329

13.5.2数据存储 334

13.5.3数据处理 335

13.5.4数据展示 337

本章 小结 338

参考文献 339