实战Hadoop 2.0 从云计算到大数据PDF电子书下载

第1章 大数据组件概述 1

1.1 Google大数据组件 2

1.2 Apache大数据组件 6

1.2.1 Hadoop核心组件 7

1.2.2 基于MR的数据分析组件 10

1.2.3 数据库组件 16

1.2.4 BSP组件 19

1.2.5 基于YARN框架组件 20

1.2.6 基于YARN的编程类库组件 24

1.2.7 搜索引擎组件 25

1.2.8 工作流组件 26

1.2.9 数据流组件 27

1.2.10 序列化和持久化组件 29

1.2.11 调试工具 30

1.2.12 安全性组件 30

1.2.13 兼容性组件 32

1.2.14 集群部署与管理组件 33

习题 33

参考文献 34

第2章 大数据集群 37

2.1 大数据集群简介 38

2.2 大数据集群bigCstor 43

2.3 我的大数据集群littleCstor 46

2.4 小结 50

习题 50

参考文献 51

第3章 集群管理工具Ambari 53

3.1 Ambari简介 54

3.2 使用Ambari部署HDP 57

3.3 使用Ambari搭建littleCstor 60

3.3.1 相关约定 60

3.3.2 制定部署规划 61

3.3.3 搭建prelittleCstor 62

3.3.4 本地建仓 70

3.3.5 部署AmbariServer 74

3.3.6 搭建littleCstor 81

3.3.7 小结 104

3.4 使用Ambari管理littleCstor 109

3.5 小结 110

习题 110

参考文献 110

第4章 分布式文件系统HDFS 111

4.1 分布式存储引例 112

4.1.1 问题描述 112

4.1.2 常规解决方案 113

4.1.3 分布式解决方案 115

4.2 HDFS简介 122

4.2.1 HDFS逻辑架构 122

4.2.2 HDFS物理拓扑 127

4.2.3 HDFS部署 131

4.2.4 HDFS其他概念 133

4.3 HDFS接口 136

4.4 实战HDFS Shell 139

4.4.1 HDFS文件级命令集 139

4.4.2 HDFS系统级命令集 141

4.5 实战WebHDFS 148

4.5.1 WebHDFS简介 148

4.5.2 WebHDFS示例 150

4.6 实战HDFS JAVA API 155

4.6.1 搭建开发环境 155

4.6.2 常规操作示例 157

4.7 实战HDFS大项目：用HDFS存储海量视频数据 162

4.7.1 应用场景 162

4.7.2 设计实现 162

习题 164

参考文献 165

第5章 分布式资源管理器YARN 167

5.1 分布式资源管理器引例 168

5.1.1 分布式资源管理器简介 168

5.1.2 分布式资源管理器架构 171

5.2 YARN简介 174

5.2.1 基础概念 174

5.2.2 物理拓扑 177

5.2.3 体系架构 178

5.2.4 集群部署 187

5.3 YARN接口 189

5.4 实战YARN Shell 192

5.4.1 系统级命令 192

5.4.2 程序级命令 195

5.4.3 其他辅助命令 197

5.5 实战YARN编程 198

5.5.1 常见并行化范式 198

5.5.2 YARN编程步骤 204

5.6 实战YARN编程之DistributedShell 212

5.6.1 DistributedShell简介 212

5.6.2 编写DistributedShell 213

5.7 实战YARN编程之三大范式 220

5.7.1 Distributed Shell 221

5.7.2 MapReduce 221

5.7.3 Giraph 222

习题 223

参考文献 223

第6章 分布式并行处理MapReduce 225

6.1 并行化范式M-S-R引例 226

6.1.1 问题描述 226

6.1.2 常规解决方案 227

6.1.3 分布式解决方案 228

6.1.4 小结 234

6.2 MapReduce简介 234

6.2.1 基本概念 235

6.2.2 编程模型 237

6.2.3 集群部署 239

6.2.4 体系架构 241

6.2.5 执行过程 245

6.3 MapReduce接口 247

6.4 实战MapReduce Shell 250

6.5 实战MapReduce编程 254

6.6 实战MapReduce编程之WordCount 257

6.6.1 WordCount代码分析 257

6.6.2 WordCount处理过程 260

6.7 实战MapReduce编程之SecondarySort 261

6.8 实战MapReduce编程之倒排索引 266

6.8.1 简介 266

6.8.2 分析与设计 267

6.8.3 倒排索引完整源码 269

6.9 实战MapReduce之性能优化 271

习题 280

参考文献 281

第7章 分布式锁服务ZooKeeper 283

7.1 ZooKeeper简介 284

7.1.1 ZooKeeper应用场景 284

7.1.2 ZooKeeper体系架构 287

7.1.3 ZooKeeper服务模型 289

7.1.4 ZooKeeper部署 290

7.2 ZooKeeper接口 293

7.2.1 接口汇总 293

7.2.2 实战ZooKeeper Shell 294

7.3 实战ZooKeeper编程 296

7.4 实战ZooKeeper之进程通信 298

7.5 实战ZooKeeper之进程调度系统 299

7.5.1 设计方案 299

7.5.2 设计实现 299

7.6 实战ZooKeeper之实现NameNode自动切换 305

7.6.1 设计思想 306

7.6.2 详细设计 306

7.6.3 编码 307

7.6.4 实战总结 312

习题 312

参考文献 313

第8章 分布式数据库HBase 315

8.1 HBase简介 316

8.1.1 体系架构 316

8.1.2 数据模型 322

8.1.3 集群部署 323

8.2 HBase接口 328

8.3 实战HBase Shell 329

8.4 实战HBase API 331

8.5 实战HBase之综例 333

8.6 实战HBase之使用MapReduce构建索引 334

8.6.1 索引表蓝图 334

8.6.2 HBase和MapReduce 335

8.6.3 实现索引 336

习题 339

参考文献 339

第9章 内存型计算框架Spark 341

9.1 Spark简介 342

9.1.1 基础概念 342

9.1.2 体系架构 348

9.1.3 集群部署 359

9.1.4 计算模型 367

9.1.5 工作机制 375

9.1.6 其他特性 376

9.2 Spark接口 377

9.3 实战Spark Shell 380

9.3.1 集群管理 380

9.3.2 任务管理 382

9.4 实战Spark编程之RDD 384

9.4.1 RDD属性 384

9.4.2 并行化证明RDD、调试RDD 386

9.4.3 RDD操作 389

9.5 实战Spark之WordCount 396

9.6 实战Spark之MLLib 397

习题 400

参考文献 400

第10章 数据流实时处理系统Storm 401

10.1 Storm简介 402

10.1.1 与Hadoop的关系 402

10.1.2 基础概念 404

10.1.3 体系架构 410

10.1.4 集群部署 414

10.1.5 计算模型 423

10.2 Storm接口 451

10.3 实战Storm Shell 454

10.4 实战Storm API之RollingTop Words 457

习题 459

参考文献 460

第11章 数据仓库工具Hive 461

11.1 Hive简介 462

11.1.1 工作原理 462

11.1.2 体系架构 463

11.1.3 计算模型 464

11.1.4 集群部署 465

11.2 Hive接口 469

11.2.1 接口汇总 469

11.2.2 实战Hive Web 469

11.3 实战Hive Shell 470

11.3.1 DDL Operations 470

11.3.2 DML Operations 471

11.3.3 SQL Operations 472

11.4 实战Hive之复杂语句 473

11.5 实战Hive之综合示例 475

11.6 实战Hive API接口 476

11.6.1 UDF编程示例 476

11.6.2 UDAF编程示例 477

习题 479

参考文献 479

第12章 其他常见大数据组件 481

12.1 Pig 482

12.1.1 Pig简介 482

12.1.2实战Pig 485

12.2 Oozie 485

12.2.1 Oozie简介 485

12.2.2 实战Oozie 487

12.3 Flume 489

12.3.1 Flume简介 489

12.3.2 实战Flume 491

12.4 Mahout 494

12.4.1 Mahout简介 494

12.4.2 实战Mahout 494

习题 496

参考文献 496

附录A 手工部署Hadoop2.0 497

一、部署综述 498

二、部署步骤 502