Hadoop实战PDF电子书下载

第1章Hadoop简介 1

1.1什么是Hadoop 2

1.1.1 Hadoop概述 2

1.1.2 Hadoop的历史 2

1.1.3 Hadoop的功能与作用 2

1.1.4 Hadoop的优势 3

1.1.5 Hadoop的应用现状和发展趋势 3

1.2 Hadoop项目及其结构 3

1.3 Hadoop的体系结构 6

1.3.1 HDFS的体系结构 6

1.3.2 MapReduce的体系结构 7

1.4 Hadoop与分布式开发 7

1.5 Hadoop计算模型——MapReduce 10

1.6 Hadoop的数据管理 10

1.6.1 HDFS的数据管理 11

1.6.2 HBase的数据管理 12

1.6.3 Hive的数据管理 15

1.7小结 17

第2章Hadoop的安装与配置 18

2.1在Linux上安装与配置Hadoop 19

2.1.1安装JDK 1.6 19

2.1.2配置SSH免密码登录 20

2.1.3安装并运行Hadoop 21

2.2在Windows上安装与配置Hadoop 23

2.2.1安装Cygwin 24

2.2.2配置环境变量 24

2.2.3安装和启动sshd服务 24

2.2.4配置SSH免密码登录 24

2.3安装和配置Hadoop集群 25

2.3.1 网络拓扑 25

2.3.2定义集群拓扑 25

2.3.3建立和安装Cluster 26

2.4日志分析及几个小技巧 32

2.5小结 33

第3章 Hadoop应用案例分析 35

3.1 Hadoop在Yahoo！的应用 36

3.2 Hadoop在eBay的应用 38

3.3 Hadoop在百度的应用 40

3.4 Hadoop在Facebook的应用 43

3.5 Hadoop平台上的海量数据排序 46

3.6小结 53

第4章MapReduce计算模型 54

4.1为什么要用MapReduce 55

4.2 MapReduce计算模型 56

4.2.1 MapReduce Job 56

4.2.2 Hadoop中的Hello World程序 56

4.2.3 MapReduce的数据流和控制流 64

4.3 MapReduce任务的优化 65

4.4 Hadoop流 67

4.4.1 Hadoop流的工作原理 68

4.4.2 Hadoop流的命令 69

4.4.3实战案例：添加Bash程序和Python程序到Hadoop流中 70

4.5 Hadoop Pipes 72

4.6小结 74

第5章 开发MapReduce应用程序 75

5.1系统参数的配置 76

5.2配置开发环境 78

5.3编写MapReduce程序 79

5.3.1 Map处理 79

5.3.2 Reduce处理 80

5.4本地测试 81

5.5运行MapReduce程序 83

5.5.1打包 84

5.5.2在本地模式下运行 85

5.5.3在集群上运行 86

5.6网络用户界面 87

5.6.1JobTracker页面 87

5.6.2工作页面 88

5.6.3返回结果 90

5.6.4任务页面 93

5.6.5任务细节页面 93

5.7性能调优 94

5.8 MapReduce工作流 96

5.8.1将问题分解成MapReduce工作 97

5.8.2运行相互依赖的工作 97

5.9小结 98

第6章MapReduce应用案例 99

6.1单词计数 100

6.1.1实例描述 100

6.1.2设计思路 100

6.1.3程序代码 101

6.1.4代码解读 102

6.1.5程序执行 103

6.1.6代码结果 103

6.2数据去重 104

6.2.1实例描述 104

6.2.2设计思路 105

6.2.3程序代码 105

6.3排序 106

6.3.1实例描述 106

6.3.2设计思路 107

6.3.3程序代码 107

6.4单表关联 109

6.4.1实例描述 109

6.4.2设计思路 110

6.4.3程序代码 110

6.5多表关联 113

6.5.1实例描述 113

6.5.2设计思路 114

6.5.3程序代码 114

6.6小结 116

第7章MapReduce工作机制 117

7.1 MapReduce作业的执行流程 118

7.1.1 MapReduce任务的执行总流程 118

7.1.2提交作业 119

7.1.3初始化作业 121

7.1.4分配任务 123

7.1.5执行任务 125

7.1.6更新任务执行进度和状态 126

7.1.7完成作业 127

7.2错误处理机制 127

7.2.1硬件故障 127

7.2.2任务失败 128

7.3作业调度机制 128

7.4 shuffle和排序 129

7.4.1 map端 130

7.4.2 reduce端 131

7.4.3 shuffle过程的优化 132

7.5任务执行 133

7.5.1推测式执行 133

7.5.2任务JVM重用 134

7.5.3跳过坏记录 134

7.5.4任务执行环境 135

7.6小结 136

第8章Hadoop IO操作 137

8.1 IO操作中的数据检查 138

8.2数据的压缩 142

8.2.1 Hadoop对压缩工具的选择 142

8.2.2压缩分割和输入分割 143

8.2.3在MapReduce程序中使用压缩 143

8.3数据的IO中序列化操作 144

8.3.1 Writable类 144

8.3.2实现自己的Hadoop数据类型 152

8.4针对MapReduce的文件类 153

8.4.1 SequenceFile类 154

8.4.2 MapFile类 159

8.5小结 161

第9章HDFS详解 162

9.1 Hadoop的文件系统 163

9.2 HDFS简介 165

9.3 HDFS体系结构 166

9.3.1 HDFS的相关概念 166

9.3.2 HDFS的体系结构 167

9.4 HDFS的基本操作 169

9.4.1 HDFS的命令行操作 169

9.4.2 HDFS的Web界面 171

9.5 HDFS常用Java API详解 173

9.5.1使用Hadoop URL读取数据 173

9.5.2使用FileSystem API读取数据 174

9.5.3创建目录 176

9.5.4写数据 177

9.5.5删除数据 178

9.5.6文件系统查询 178

9.6 HDFS中的读写数据流 182

9.6.1文件的读取 182

9.6.2文件的写入 184

9.6.3一致性模型 185

9.7 HDFS命令详解 186

9.7.1通过distep进行并行复制 186

9.7.2 HDFS的平衡 187

9.7.3使用Hadoop归档文件 188

9.7.4其他命令 190

9.8小结 194

第10章Hadoop的管理 195

10.1 HDFS文件结构 196

10.2 Hadoop的状态监视和管理工具 200

10.2.1审计日志 200

10.2.2监控日志 200

10.2.3 Metrics 201

10.2.4 Java管理扩展 203

10.2.5 Ganglia 204

10.2.6 Hadoop管理命令 206

10.3 Hadoop集群的维护 210

10.3.1安全模式 210

10.3.2 Hadoop的备份 211

10.3.3 Hadoop的节点管理 212

10.3.4系统升级 214

10.4小结 216

第11章Hive详解 217

11.1 Hive简介 218

11.1.1 Hive的数据存储 218

11.1.2 Hive的元数据存储 220

11.2 Hive的基本操作 220

11.2.1在集群上安装Hive 220

11.2.2配置Hive 222

11.3 Hive QL详解 224

11.3.1数据定义（DDL）操作 224

11.3.2数据操作（DML） 231

11.3.3 SQL操作 233

11.3.4 Hive QL的使用实例 235

11.4 Hive的网络（WebUI）接口 237

11.5 Hive的JDBC接口 238

11.6 Hive的优化 241

11.7小结 243

第12章HBase详解 244

12.1 HBase简介 245

12.2 HBase的基本操作 245

12.2.1 HBase的安装 245

12.2.2运行HBase 249

12.2.3 HBase Shell 250

12.2.4 HBase配置 254

12.3 HBase体系结构 255

12.4 HBase数据模型 259

12.4.1数据模型 259

12.4.2概念视图 260

12.4.3物理视图 260

12.5 HBase与RDBMS 261

12.6 HBase与HDFS 262

12.7 HBase客户端 262

12.8 Java API 263

12.9 HBase编程实例之MapReduce 270

12.10模式设计 273

12.10.1学生表 273

12.10.2事件表 274

12.11小结 275

第13章Mahout详解 276

13.1 Mahout简介 277

13.2 Mahout的安装和配置 277

13.3 Mahout API简介 278

13.4 Mahout中的聚类和分类 280

13.4.1什么是聚类和分类 280

13.4.2 Mahout中的数据表示 281

13.4.3将文本转化成向量 282

13.4.4 Mahout中的聚类、分类算法 283

13.4.5算法应用实例 288

13.5 Mahout应用：建立一个推荐引擎 292

13.5.1推荐引擎简介 292

13.5.2使用Taste构建一个简单的推荐引擎 292

13.5.3简单分布式系统下基于产品的推荐系统简介 294

13.6小结 297

第14章Pig详解 299

14.1 Pig简介 300

14.2 Pig的安装和配置 300

14.2.1 Pig的安装条件 300

14.2.2 Pig的下载、安装和配置 301

14.2.3 Pig运行模式 301

14.3Pig Latin语言 304

14.3.1 Pig Latin语言简介 304

14.3.2 Pig Latin的使用 305

14.3.3 Pig Latin的数据类型 307

14.3.4 Pig Latin关键字 308

14.4用户定义函数 313

14.4.1编写用户定义函数 313

14.4.2使用用户定义函数 315

14.5 Pig实例 315

14.5.1 Local模式 316

14.5.2 MapReduce模式 318

14.6 Pig进阶 319

14.6.1数据实例 319

14.6.2 Pig数据分析 320

14.7小结 324

第15章ZooKeeper详解 326

15.1 ZooKeeper简介 327

15.1.1 ZooKeeper的设计目标 327

15.1.2数据模型和层次命名空间 328

15.1.3 ZooKeeper中的节点和临时节点 328

15.1.4 ZooKeeper的应用 329

15.2 ZooKeeper的安装和配置 329

15.2.1在集群上安装ZooKeeper 329

15.2.2配置ZooKeeper 334

15.2.3运行ZooKeeper 336

15.3 ZooKeeper的简单操作 339

15.3.1使用ZooKeeper命令的简单操作步骤 339

15.3.2 ZooKeeper API的简单使用 340

15.4 ZooKeeper的特性 343

15.4.1 ZooKeeper的数据模型 343

15.4.2 ZooKeeper会话及状态 345

15.4.3 ZooKeeper Watches 346

15.4.4 ZooKeeper ACL 346

15.4.5 ZooKeeper的一致性保证 347

15.5 ZooKeeper的Leader选举 348

15.6 ZooKeeper锁服务 348

15.6.1 ZooKeeper中的锁机制 349

15.6.2 ZooKeeper提供的一个写锁的实现 350

15.7使用ZooKeeper创建应用程序 351

15.8小结 355

第16章Avro详解 356

16.1 Avro简介 357

16.1.1模式声明 358

16.1.2数据序列化 362

16.1.3数据排列顺序 364

16.1.4对象容器文件 365

16.1.5协议声明 367

16.1.6协议传输格式 368

16.1.7模式解析 370

16.2 Avro的C/C﹢﹢实现 371

16.3 Avro的Java实现 382

16.4 GenAvro （Avro IDL）语言 385

16.5 Avro SASL概述 390

16.6小结 392

第17章Chukwa详解 393

17.1 Chukwa简介 394

17.2 Chukwa架构 395

17.2.1客户端（Agent）及其数据模型 395

17.2.2收集器（Collector）和分离解析器（Dernux） 396

17.2.3 HICC 398

17.3 Chukwa的可靠性 399

17.4 Chukwa集群搭建 400

17.4.1基本配置要求 400

17.4.2安装Chukwa 400

17.5 Chukwa数据流的处理 407

17.6 Chukwa与其他监控系统比较 408

17.7小结 409

第18章Hadoop的常用插件与开发 411

18.1 Hadoop Studio简介和使用 412

18.1.1 Hadoop Studio的安装和配置 412

18.1.2 Hadoop Studio的使用举例 413

18.2 Hadoop Eclipse简介和使用 419

18.2.1 Hadoop Eclipse安装和配置 420

18.2.2 Hadoop Eclipse的使用举例 420

18.2.3 Hadoop Eclipse插件开发 421

18.3 Hadoop Streaming简介和使用 422

18.3.1 Hadoop Streaming的使用举例 426

18.3.2使用Hadoop Streaming时常见的问题 428

18.4 Hadoop Libhdfs简介和使用 430

18.4.1 Hadoop Libhdfs安装和配置 430

18.4.2 Hadoop Libhdfs API简介 430

18.4.3 Hadoop Libhdfs的使用举例 431

18.5小结 432

附录A云计算在线检测平台 434

A.1平台介绍 435

A.2结构和功能 435

A.2.1前台用户接口的结构和功能 435

A.2.2后台程序运行的结构和功能 437

A.3检测流程 437

A.4使用 438

A.4.1功能使用 438

A.4.2返回结果介绍 439

A.4.3使用注意事项 440

A.5小结 441