深入浅出云计算PDF电子书下载

第1篇 初始云计算 3

第1章 云计算介绍 3

1.1云计算相关概念 3

1.1.1云计算的定义 4

1.1.2云计算的服务方式 6

1.1.3云计算的部署模式 8

1.2云计算的历史 9

1.2.1虚拟化技术的发展 9

1.2.2分布式计算技术的发展 10

1.2.3软件应用模式的发展 13

1.3云计算的现状 14

1.3.1产业界现状 14

1.3.2学术界现状 19

1.3.3政府机构现状 25

1.4本章小结 28

第2章 云计算技术基础 29

2.1 HDFS相关技术 29

2.1.1 RPC 29

2.1.2基于Socket的Java网络编程 30

2.2 MapReduce相关技术 31

2.2.1 Java反射机制 31

2.2.2序列化和反序列化 33

2.3 HBase相关技术 34

2.3.1 NoSQL 34

2.3.2 ACID 36

2.3.3 CAP理论 36

2.3.4一致性模型 37

2.4 ZooKeeper相关技术 38

2.4.1 Paxos算法介绍 38

2.4.2 Java NIO库 38

2.5本章小结 39

第3章 云计算开发环境搭建 40

3.1集群环境介绍 40

3.2 Hadoop环境搭建 41

3.2.1 Hadoop简介 41

3.2.2安装前准备 41

3.2.3安装环境搭建 42

3.2.4详细安装步骤 42

3.3 Hadoop集群配置 49

3.3.1配置Hadoop守护进程的运行环境 49

3.3.2配置Hadoop守护进程的运行参数 50

3.4 HBase环境搭建 51

3.4.1 HBase简介 51

3.4.2 HBase的数据模型 51

3.4.3 HBase安装前的准备 52

3.4.4 HBase的安装配置 52

3.4.5 HBase的运行 55

3.5 ZooKeeper环境搭建 57

3.5.1 ZooKeeper简介 57

3.5.2安装前的准备 58

3.5.3独立服务器的安装与配置 59

3.5.4集群服务器的安装与配置 60

3.6本章小结 62

第2篇 浅出云计算 65

第4章 应用实例：图像百科系统 65

4.1应用背景 65

4.2需求分析 66

4.2.1功能需求 66

4.2.2非功能需求 69

4.3核心业务处理流程 70

4.3.1查询百科条目处理流程 70

4.3.2编辑百科条目处理流程 72

4.3.3更新百科条目处理流程 74

4.4总体设计 75

4.5本章小结 78

第5章 使用HDFS存储海量图像数据 79

5.1 HDFS介绍 79

5.1.1 HDFS架构 79

5.1.2 HDFS的特点 80

5.1.3 HDFS存取机制简介 81

5.2 HDFS接口介绍 83

5.3图像百科系统中的图像存储 87

5.3.1图像存储基本思想 87

5.3.2图像存储设计目标 88

5.3.3图像存储体系结构 88

5.3.4图像百科系统的功能结构 89

5.4系统实现 90

5.4.1存储模块类交互图 90

5.4.2核心类详细介绍 92

5.4.3 HDFS存储小文件 97

5.5本章小结 98

第6章 使用MapReduce处理图像 99

6.1分布式数据处理MapReduce 99

6.1.1 MapReduce简介 99

6.1.2编程模型 100

6.1.3执行概括 101

6.2使用MapReduce编程模型 102

6.2.1 MapReduce程序模板 102

6.2.2 MapReduce编程思想 107

6.3更新图像百科条目的MapReduce设计 107

6.3.1设计目标 107

6.3.2更新条目的体系结构 109

6.3.3更新条目的逻辑流程 110

6.4 MapReduce对更新条目的实现 112

6.4.1更新条目的核心类 112

6.4.2 MapReduce核心类实现 113

6.4.3编译运行 118

6.5本章小结 121

第7章 使用HBase存储百科数据 122

7.1 HBase的基本特征 122

7.1.1 RDBMS与HBase 122

7.1.2面向列的NoSQL数据库 123

7.1.3 HBase数据库架构 126

7.1.4 HBase的特点 128

7.2使用HBase编程 129

7.2.1 HBase的Java API 129

7.2.2 HBase客户端编程 130

7.2.3 HBase编程示例 150

7.3 Fotospedia系统的数据库设计 153

7.3.1数据库模块总体设计 154

7.3.2数据库模块详细设计 154

7.3.3数据库模块交互设计 158

7.4 Fotospedia系统的数据库实现 160

7.4.1数据库模块类交互图 160

7.4.2数据库模块核心类实现 161

7.5本章小结 167

第8章 使用ZooKeeper管理集群 168

8.1 ZooKeeper详细介绍 168

8.2 ZooKeeper的使用方法及API介绍 172

8.2.1 ZooKeeper的使用方法 172

8.2.2基本类和接口 173

8.2.3常用类与方法的实例介绍 173

8.3图像百科系统集群管理详细设计 179

8.3.1集群管理 179

8.3.2配置管理 181

8.4图像百科系统集群管理实现 182

8.4.1集群管理实现 182

8.4.2配置管理实现 188

8.4.3测试 194

8.5本章小结 197

第3篇 深入云计算 201

第9章 深入分析H D FS 201

9.1 HDFS核心设计机制 201

9.1.1 Namenode和Datanode 201

9.1.2数据副本策略 201

9.1.3数据组织 204

9.1.4健壮性 204

9.1.5存储空间回收 205

9.2 HDFS源码总体介绍 206

9.3核心代码分析 208

9.3.1 HDFS的通信协议 208

9.3.2 HDFS读文件源码分析 214

9.3.3 HDFS写文件源码分析 219

9.4 Hadoop支持的其他文件系统 222

9.4.1 KFS文件系统体系架构 223

9.4.2 KFS各模块关键技术 224

9.4.3 HDFS与KFS写数据的区别 225

9.5本章小结 227

第10章 深入分析MapReduce 228

10.1 MapReduce框架结构 228

10.1.1 MapReduce中的角色 228

10.1.2 MapReduce流程 230

10.2代码静态分析 233

10.2.1创建Job的相关类 233

10.2.2初始化Job的相关类 234

10.2.3作业调度相关类 234

10.2.4执行MapTask的相关类 235

10.3代码详细分析 236

10.3.1 JobClient提交Job 236

10.3.2 JobTracker初始化作业 237

10.3.3 TaskTracker启动 240

10.3.4 JobTracker调度作业 242

10.3.5 TaskTracker加载Task 245

10.3.6子进程执行MapTask 247

10.3.7子进程执行ReduceTask 251

10.4本章小结 254

第11章深入分析HBase 255

11.1 HBase体系与原理 255

11.1.1 HBase的集群架构 255

11.1.2 HBase的系统架构 258

11.1.3 HBase的存储架构 259

11.2 HBase总体结构 264

11.2.1总体包图 265

11.2.2常用类分析 266

11.3 HBase关键剖析 269

11.3.1集群启动与关闭 269

11.3.2 HBase配置过程 279

11.3.3读取图像百科数据 282

11.3.4写入图像百科数据 289

11.4本章小结 294

第12章 深入分析ZooKeeper 295

12.1概述 295

12.1.1 ZooKeeper角色 295

12.1.2 ZooKeeper工作原理 295

12.2代码静态分析 297

12.2.1包概述 297

12.2.2核心类浅析 298

12.3代码情景分析 302

12.3.1服务器的启动 302

12.3.2 Leader服务器 311

12.3.3 Follower服务器 318

12.3.4客户端服务请求 320

12.4本章小结 325

第4篇应用云计算 329

第13章 应用Pig实现并行数据处理 329

13.1 Apache Pig简介 329

13.2 Pig的安装与配置 330

13.2.1Pig安装准备 330

13.2.2安装配置过程 331

13.2.3运行模式 331

13.3深入分析Pig 335

13.3.1 Pig数据模型 335

13.3.2 Pig常用命令和数据读写操作 337

13.3.3 Pig诊断操作 338

13.3.4 Pig关系操作 339

13.3.5 Pig表达式和函数 340

13.3.6 Pig用户自定义函数（UDF） 342

13.3.7探索逻辑执行计划 346

13.4 Pig实例分析 347

13.4.1 Pig Latin示例 347

13.4.2简单实例解析 348

13.4.3深入使用Pig 352

13.5 Pig与SQL比较 355

13.6本章小结 356

第14章 应用Hive构建数据处理平台 357

14.1 Hive简介 357

14.1.1 Hive架构 357

14.1.2 Hive和Hadoop关系 358

14.1.3 Hive和传统数据库进行比较 359

14.1.4 Hive的数据存储 360

14.1.5 Hive元数据Metastore 361

14.2 Hive安装配置 363

14.2.1安装前准备 363

14.2.2安装Hive 363

14.2.3安装MySQL与Hive配置 365

14.3 Hive使用与操作 369

14.3.1 Hive基本操作 369

14.3.2查询数据Hive Select 375

14.3.3 Hive函数 380

14.4实例介绍 384

14.5本章小结 389

第15章 应用Mahout实现机器学习算法 390

15.1 Mahout概述 390

15.1.1 Mahout简介 390

15.1.2机器学习简介 390

15.2 Mahout安装配置 392

15.2.1安装前准备 392

15.2.2 Mahout安装 393

15.3 Mahout使用简介 394

15.3.1使用Mahout实现集群 395

15.3.2使用Mahout实现分类 406

15.3.3使用Mahout实现决策树 408

15.3.4使用Mahout实现推荐挖掘 409

15.4本章小结 411

第16章 应用HAMA实现分布式计算 412

16.1 HAMA简介 412

16.1.1 HAMA系统架构 412

16.1.2 BSPMaster 413

16.1.3 GroomServer 414

16.1.4 ZooKeeper 414

16.2 HAMA BSP介绍 415

16.2.1 BSP并行计算 416

16.2.2创建自定义的BSP 417

16.2.3用户接口 418

16.3 HAMA安装配置 421

16.3.1安装前准备 421

16.3.2安装和环境配置 421

16.3.3 HAMA运行模式 423

16.3.4运行HAMA 425

16.3.5 HAMA Web接口 426

16.3.6在Eclipse中创建HAMA工程 427

16.4实例介绍 429

16.4.1打印“Hello BSP” 429

16.4.2估算PI值 430

16.5本章小结 432

附录 433