Hadoop集群程序设计与开发PDF电子书下载

第1章 初识Hadoop 1

1.1 为什么要学习Hadoop 2

1.1.1 信息化项目衍生过程 2

1.1.2 Hadoop产生过程 5

1.1.3 Hadoop成功案例介绍 8

1.2 Hadoop与云计算的关系 8

1.2.1 什么是云计算 8

1.2.2 云计算演进历史 10

1.2.3 云计算相关技术介绍 12

1.2.4 Hadoop在云项目中扮演的角色 12

1.3 Hadoop与大数据的关系 13

1.3.1 什么是大数据 13

1.3.2 大数据的存储结构 15

1.3.3 大数据的计算模式 15

1.3.4 Hadoop在大数据中扮演的角色 16

1.4 学习Hadoop需要具备的知识基础 16

1.5 学习Hadoop需要的实验环境 17

1.6 Hadoop的用途 17

1.7 小结 17

第2章 Hadoop基础知识 18

2.1 Hadoop简介 19

2.1.1 Apache Hadoop项目核心模块 19

2.1.2 Apache Hadoop项目的其他模块 20

2.2 Hadoop版本演化 22

2.3 RPC工作原理 23

2.3.1 RPC简介 24

2.3.2 Hadoop中的RPC 25

2.3.3 RPCoIB和JVM-旁路缓冲管理方案：在高性能网络InfiniBand上数据交换的改进 28

2.4 MapReduce工作原理 30

2.4.1 MapReduce计算模型 32

2.4.2 MapReduce经典案例 33

2.4.3 MapReduce应用场景 34

2.5 Hadoop改进 34

2.5.1 LATE算法：良好的适应异构性环境 35

2.5.2 Mantri：MapReduce异常处理 36

2.5.3 SkewTune： MapReduce中数据偏斜处理 37

2.5.4 基于RDMA的MapReduce设计：提升大数据应用的性能和规模 42

2.6 HDFS工作原理 44

2.6.1 HDFS介绍 45

2.6.2 HDFS体系结构 47

2.6.3 文件系统的命名空间 50

2.6.4 HDFS中Block副本放置策略 51

2.6.5 HDFS机架感知 51

2.6.6 HDFS安全模式 53

2.6.7 HDFS应用场景介绍 53

2.6.8 混合HDFS的设计：充分利用硬件能力获得最佳性能 53

2.7 YARN工作原理 55

2.7.1 YARN on HDFS的工作原理 55

2.7.2 MapReduce on YARN的工作原理 58

2.8 容错机制 64

2.9 安全性 66

2.10 小结 67

第3章 Hadoop开发环境配置与搭建 68

3.1 集群部署 69

3.1.1 安装包版本的选择 69

3.1.2 Hadoop安装先决条件 69

3.1.3 Hadoop安装模式 70

3.2 本地/独立模式搭建 71

3.2.1 JDK安装与配置 71

3.2.2 SSH无密码登录 72

3.2.3 Hadoop本地环境参数配置 74

3.2.4 Hadoop本地模式验证 74

3.3 伪分布模式搭建 74

3.3.1 配置过程 75

3.3.2 格式化HDFS 76

3.3.3 Hadoop进程启停与验证 76

3.4 全分布模式搭建 77

3.4.1 Hadoop网络配置 77

3.4.2 Hadoop集群SSH配置 79

3.4.3 时间同步 80

3.4.4 IP与机器名映射 82

3.4.5 Hadoop环境配置 82

3.4.6 Hadoop集群启停与验证 84

3.5 基于Hadoop平台的Eclipse开发环境的搭建 84

3.5.1 Hadoop Eclipse插件配置 85

3.5.2 编写第一个MapReduce程序 88

3.5.3 编译打包及运行程序 90

3.6 小结 93

第4章 Hadoop分布式文件系统 94

4.1 HDFS工作原理 95

4.1.1 HDFS读数据的过程 95

4.1.2 HDFS写数据的过程 96

4.1.3 HDFS删除与恢复数据的过程 97

4.2 HDFS常用命令行操作概述 98

4.2.1 HDFS命令行 98

4.2.2 HDFS常用命令行操作 102

4.3 通过Web浏览HDFS文件 105

4.4 HDFS API 106

4.4.1 使用FileSystem API读取数据命令行 112

4.4.2 使用FileSystem API写入数据命令行 115

4.4.3 FileUtil文件处理 116

4.5 小结 117

第5章 Hadoop的I/O操作 118

5.1 压缩 119

5.1.1 Hadoop压缩类型 119

5.1.2 Compressi onCodec接口 121

5.1.3 CompressionCodecFactory类 123

5.1.4 压缩池 125

5.1.5 Hadoop中使用压缩 127

5.2 I/O序列化类型 128

5.2.1 W ritable接口 129

5.2.2 Java基本类型的Writable封装器 131

5.2.3 IntWritable与VIntWritable类 133

5.2.4 Text类 134

5.2.5 BytesWritable类 135

5.2.6 NullWritable类 136

5.2.7 ObjectWritable类 136

5.2.8 自定义Writable接口 138

5.3 基于文件的数据结构 141

5.3.1 SequenceFile 141

5.3.2 MapFile 144

5.4 小结 145

第6章 MapReduce编程基础 146

6.1 剖析MapReduce编程过程 147

6.2 由WordCount理解MapReduce编程过程 147

6.2.1 准备工作 147

6.2.2 Mapper工作过程 148

6.2.3 Reducer工作过程 151

6.2.4 Job工作过程 153

6.3 MapReduce类型 155

6.4 Mapper输入 155

6.4.1 默认输入格式 156

6.4.2 FileInput输入 160

6.4.3 多路径输入 161

6.4.4 自定义输入分片 163

6.5 Shuffle 166

6.5.1 Shuffle运行原理 166

6.5.2 分区 168

6.5.3 排序 170

6.5.4 分组 171

6.6 Combiner 172

6.6.1 由WordCount案例讲解Combiner 172

6.6.2 由SVG案例进一步讲解Combiner 173

6.7 OutputFormat输出 178

6.8 编程模型的扩展——FlumeJava：云计算高级编程模型 181

6.8.1 FlumeJava结构 181

6.8.2 FlumeJava优化 183

6.9 小结 183

第7章 MapReduce高级编程 184

7.1 计数器 185

7.1.1 内置计数器 185

7.1.2 自定义计数器 188

7.1.3 计数器结果查看 190

7.2 最值 191

7.2.1 单一最值 191

7.2.2 Top N 195

7.3 全排序 198

7.3.1 全排序业务需求 198

7.3.2 实验数据准备 199

7.3.3 自定义分区实现全排序过程 200

7.3.4 通过抽样实现全排序过程 203

7.4 二次排序 206

7.4.1 解决方案 207

7.4.2 例子 210

7.5 连接 211

7.5.1 Reduce端连接 213

7.5.2 Map端连接 217

7.6 小结 220

第8章 初识HBase 221

8.1 HBase基础知识 222

8.1.1 HBase特征 222

8.1.2 HBase数据模型 223

8.1.3 HBase体系结构 225

8.2 HBase开发环境配置与安装 231

8.2.1 HBase环境配置基本准备条件 232

8.2.2 HBase配置文件 233

8.2.3 HBase独立安装 234

8.2.4 HBase伪分布式安装 234

8.2.5 HBase完全分布式安装 235

8.2.6 HBase启动、停止、监控 236

8.3 HBase基本Shell操作 237

8.3.1 HBase Shell启动 237

8.3.2 HBase Shell通用命令 237

8.3.3 HBase Shell表管理命令 238

8.3.4 HBase Shell表操作命令 238

8.3.5 HBase Shell应用举例 239

8.4 基于HBase API程序设计 239

8.4.1 管理表结构 240

8.4.2 管理表信息 242

8.4.3 Scan 244

8.4.4 过滤器 245

8.4.5 协处理器 247

8.4.6 计数器 247

8.4.7 MapReduce与HBase互操作 247

8.5 RowKey设计 250

8.5.1 HBase值的存储与读取的特点 250

8.5.2 HBase值存储特点引发的问题 250

8.5.3 RowKey设计遵循的原则 251

8.6 HBase的高性能设计：使用InfiniBand的RDMA 253

8.6.1 设计 254

8.6.2 优势 254

8.7 小结 255

第9章 初识Hive 256

9.1 Hive基础知识 257

9.1.1 Hive的存储结构 257

9.1.2 Hive与传统数据库的比较 258

9.2 Hive环境安装 260

9.2.1 Hive内嵌模式安装 261

9.2.2 Hive独立模式安装 262

9.2.3 Hive远程模式安装 263

9.2.4 初识Hive Shell 264

9.2.5 Java通过JDBC对Hive操作 266

9.3 HiveQL基本语法 269

9.3.1 Hive中的数据库 270

9.3.2 创建表的基本语法 271

9.3.3 表中数据的加载 273

9.3.4 HiveQL的数据类型 274

9.3.5 数据类型转换 277

9.3.6 文本文件数据编码 278

9.3.7 分区和桶 279

9.3.8 表维护 282

9.4 HiveQL基本查询 283

9.4.1 SELECT…FROM语句 284

9.4.2 WHERE语句 285

9.4.3 嵌套SELECT语句 286

9.4.4 Hive函数 287

9.4.5 GROUP BY语句 303

9.4.6 JOIN语句 305

9.4.7 UNION ALL语句 310

9.4.8 ORDER BY和SORT BY语句 310

9.4.9 含有SORT BY的DISTRIBUTEBY语句 311

9.4.10 CLUSTER BY语句 312

9.5 视图和索引 313

9.5.1 视图 313

9.5.2 索引 314

9.6 Hive与HBase集成 315

9.7 小结 318

附录《 Hadoop集群程序设计与开发》配套套实验课程方案简介 319