深入云计算 Hadoop源代码分析PDF电子书下载

第1篇 Hadoop概述与安装 1

第1章 Hadoop的简介和安装 1

1.1 Hadoop的简介 1

1.1.1分布式文件系统HDFS 1

1.1.2并行计算模型MapReduce 3

1.2 Hadoop的安装 3

1.2.1虚拟机以及Ubuntu的安装 3

1.2.2创建Hadoop用户 6

1.2.3 JDK 1.6的安装 7

1.2.4 SSH的配置 8

1.2.5单机模式下Hadoop的安装 11

1.2.6伪分布式模式下Hadoop的安装 11

1.2.7分布式模式下Hadoop的安装 14

第2篇HDFS分布式文件系统及IO模型 17

第2章HDFS架构和分布式文件系统 17

2.1分布式文件系统概述 17

2.2 HDFS的特点 17

2.3 HDFS文件系统架构 18

2.4 Hadoop的抽象文件系统模型 19

2.4.1 FileSystem抽象文件系统 19

2.4.2 FileStatus文件状态信息 34

2.4.3 FsPermission文件或目录的操作权限 34

2.4.4 FileSystem的实现类 37

2.4.5 FileSystem的输入流 53

2.4.6 FileSystem的输出流 60

2.5小结 61

第3章Hadoop分布式文件系统HDFS的具体实现 62

3.1 DistributedFileSystem分布式文件系统 62

3.2 DFSClient HDFS客户端 68

3.3小结 109

第4章NameNode的实现 110

4.1 INode抽象类 110

4.2 INodeDirectory目录 113

4.3 INodeFile文件 116

4.4 FSDirectory文件系统目录 119

4.5 FSEditLog文件系统的编辑日志 127

4.6 FSImage文件系统镜像 153

4.7 Host2NodesMap主机到DataNode的映射 183

4.8 NetworkTopology网络拓扑结构 187

4.9 HostsFileReader主机文件读取器 196

4.10 BlocksMap数据块到其元数据的映射 198

4.11 FSNamesystem HDFS文件系统的命名空间 201

4.12 NameNode名称结点 219

4.13小结 230

第5章Datanode的实现 232

5.1 Block数据块 232

5.2 DatanodeID类 232

5.3 DatanodeInfo类 233

5.4 BlockSender数据块发送器 235

5.5 BlockReceiver数据块接收器 240

5.6 DataBlockScanner数据块扫描器 246

5.7 FSDataset Datanode数据集合 253

5.8 DataXceiverServer 266

5.9 DataXceiver 267

5.10 Datanode类 271

5.11小结 282

第6章Hadoop的IO 283

6.1数据类型接口 283

6.1.1 Writable接口 283

6.1.2 Comparable接口 283

6.1.3 WritableComparable接口 284

6.1.4 RawComparator比较器接口 284

6.1.5 WritableComparator接口 285

6.2基本数据类型 287

6.2.1 IntWritable整型类型 287

6.2.2 Text文本类型 288

6.2.3 NullWritable类 292

6.2.4 ObjectWritable类 292

6.3文件类型 293

6.3.1 SequenceFile序列文件 293

6.3.2 MapFile映射文件 304

6.4小结 312

第3篇MapReduce计算框架及RPC通信模型 313

第7章MapReduce的输入和输出 313

7.1输入格式InputFormat 313

7.1.1 InputFornmat抽象类 313

7.1.2 FileInputFormat文件输入格式 315

7.1.3 TextInputFormat文本文件输入格式 317

7.1.4 KeyValueTextInputFormat键值对文件输入格式 317

7.1.5 CombineFileInputFormat组合文件输入格式 317

7.1.6 SequenceFileInputFormat序列文件输入格式 319

7.1.7 DBInputFormat数据库输入格式 320

7.1.8 MultipleInputs多种输入格式 322

7.1.9 DelegatingInputFormat授权输入格式 324

7.2输入分片InputSplit 326

7.2.1 FileSplit文件输入分片 326

7.2.2 CombineFileSplit多文件输入分片 327

7.2.3 DBInputSplit数据库输入分片 328

7.3记录读取器RecordReader 328

7.3.1 LineRecordReader行记录读取器 330

7.3.2 KeyValueLineRecordReader键值对记录读取器 332

7.3.3 CombineFileRecordReader组合文件记录读取器 332

7.3.4 SequenceFileRecordReader序列文件记录读取器 333

7.3.5 SequenceFileAsTextRecordReader和SequenceFileAsB inaryRecordReader 334

7.3.6 DBRecordReader数据库记录读取器 334

7.4输出格式OutputFormat 335

7.4.1 OutputFormat抽象类 335

7.4.2 FileOutputFormat文件输出格式 337

7.4.3 TextOutputFormat文本格式的文件输出格式 339

7.4.4 SequenceFileOutputFormat普通序列文件输出格式 340

7.4.5 SequenceFileAsBinaryOutputFormat二进制序列文件输出格式 340

7.4.6 FilterOutputFormat过滤器输出格式 341

7.4.7 DBOutputFormat数据库输出格式 341

7.4.8 MultipleOutputs多种输出格式 342

7.5记录写入器RecordWriter 344

7.5.1 DBRecordWriter数据库记录写入器 345

7.5.2 FilterRecordWriter过滤器记录写入器 346

7.5.3 LineRecordWriter文本行记录写入器 346

7.6输出提交器OutputCommitter 347

7.6.1 OutputCommitter输出提交器 348

7.6.2 FileOutputCommitter文件输出提交器 348

7.7小结 351

第8章Hadoop中的Context和ID 352

8.1 Hadoop运行过程中的Context上下文 352

8.1.1 JobContext作业上下文 353

8.1.2 Job作业 354

8.1.3 TaskAttemptContext任务尝试上下文 358

8.1.4 TaskInputOutputContext任务输入输出上下文 358

8.1.5 MapContext Mapper执行的上下文 360

8.1.6 ReduceContext Reducer执行的上下文 360

8.2 Hadoop运行过程中的ID类 364

8.2.1 ID类 365

8.2.2 JobID作业ID 365

8.2.3 TaskID任务ID 367

8.2.4 TaskAttemptID任务尝试ID 368

8.3小结 368

第9章Hadoop的计算模型MapReduce 369

9.1 Map处理过程 369

9.1.1 Mapper概述 369

9.1.2 Mapper源代码分析 370

9.1.3 InverseMapper反转Mapper 371

9.1.4 TokenCounterMapper标记计数Mapper 372

9.1.5 MultithreadedMapper多线程Mapper 372

9.1.6 FieldSelectionMapper字段选择Mapper 375

9.1.7 DelegatingMapper授权Mapper 376

9.2 Reducer处理过程 376

9.2.1 Reducer概述 376

9.2.2 Reducer源代码 377

9.2.3 IntSumReducer和LongSumReducer 378

9.2.4 FieldSelectionReducer字段选择Reducer 379

9.3 Partitioner分区处理过程 379

9.3.1 Partitioner概述 379

9.3.2 Partitioner源代码 380

9.3.3 HashPartitioner hash分区 380

9.3.4 BinaryPartitioner二进制分区 380

9.3.5 KeyFieldBasedPartitioner基于键字段的分区 382

9.3.6 TotalOrderPartitioner全排序分区 383

9.4小结 387

第10章JobClient的执行过程分析 388

10.1 MapReduce作业处理过程概述 388

10.1.1 JobConf MapReduce作业的配置信息 389

10.1.2 JobSubmissionProtocol作业提交的接口 392

10.1.3 RunningJob正在运行的Job作业的接口 394

10.1.4 JobStatus和JobProfile作业状态信息和注册信息 396

10.1.5 JobSubmissionFiles获得作业提交的文件 399

10.2 JobClient提交作业流程 401

10.3 JobClient提交Job的客户端 401

10.4小结 412

第11章JobTracker的执行过程分析 413

11.1 JobTracker处理过程概述 413

11.2 JobInfo作业信息 413

11.3 Counters计数器 414

11.4 Queue Job队列对象 417

11.5 QueueManager Job队列管理对象 418

11.6 JobInProgress正在处理的作业 420

11.7 JobTracker对JobClient提交的作业的处理 437

11.8 JobTracker的启动以及Job的初始化 441

11.9 JobTracker的其他源代码分析 445

11.10 JobTracker中的作业恢复管理器RecoveryManager 459

11.11 JobInProgressListener和JobQueueJobInProgressListener 465

11.12小结 467

第12章Hadoop的作业调度器 468

12.1 Hadoop作业调度器概述 468

12.2 TaskScheduler调度器的抽象父类 469

12.3 JobQueueTaskScheduler FIFO调度器 470

12.4 LimitTasksPerJobTaskScheduler任务数限制FIFO调度器 475

12.5 CapacityTaskScheduler计算能力调度器 477

12.6 FairScheduler公平调度器 488

12.7小结 504

第13章TaskTracker的执行过程 505

13.1 TaskTracker的启动 505

13.2 TaskTracker与JobTracker进行通信的组件InterTrackerProtocol 509

13.3 JobTracker返回给TaskTracker的Action的类型 511

13.4 TaskTracker向JobTracker发送心跳的过程 512

13.5 TaskTracker的任务处理过程 521

13.6 TaskTracker的其他源代码分析 526

13.7 TaskStatus任务的状态信息 544

13.8 TaskInProgress正在处理的任务 548

13.9 Task所有任务的父类 555

13.10 MapTask执行过程概述 566

13.11 MapOutputBuffer Map输出缓冲区 568

13.12 ReduceTask执行过程概述 585

13.13 ReduceCopier Reduce的Copy和Merge执行工具 591

13.14小结 612

第14章Hadoop的RPC协议 613

14.1 Hadoop RPC概念概述 613

14.2 RPC协议接口 614

14.2.1 ClientDatanodeProtocol客户端与DataNode进行通信的协议 614

14.2.2 ClientProtocol客户端和NameNode进行通信的协议 615

14.2.3 DatanodeProtocol DataNode与NameNode进行通信的协议 617

14.2.4 InterDatanodeProtocol DataNode之间进行通信的协议 618

14.2.5 NamenodeProtocol SecondaryNameNode与NameNode进行通信的协议 619

14.2.6 InterTrackerProtocol TaskTracker与JobTracker进行通信的协议 619

14.2.7 JobSubmissionProtocol JobClient与JobTracker进行通信的协议 620

14.2.8 TaskUmbilicalProtocol Child进程与TaskTracker父进程进行通信的协议 622

14.3 RPC的客户端和服务器端的实现 623

14.3.1 Client客户端 623

14.3.2 Server服务端 631

14.4小结 644