云计算PDF电子书下载

第1章 大数据与云计算 1

1.1大数据时代 1

1.2云计算——大数据的计算 3

1.3云计算发展现状 6

1.4云计算实现机制 7

1.5云计算压倒性的成本优势 9

习题 12

参考文献 12

第2章 Google云计算原理与应用 13

2.1 Google文件系统GFS 13

2.1.1系统架构 14

2.1.2容错机制 16

2.1.3系统管理技术 17

2.2分布式数据处理MapReduce 17

2.2.1产生背景 17

2.2.2编程模型 18

2.2.3实现机制 19

2.2.4案例分析 20

2.3分布式锁服务Chubby 22

2.3.1 Paxos算法 23

2.3.2 Chubby系统设计 24

2.3.3 Chubby中的Paxos 26

2.3.4 Chubby文件系统 28

2.3.5通信协议 29

2.3.6正确性与性能 31

2.4分布式结构化数据表Bigtable 32

2.4.1设计动机与目标 32

2.4.2数据模型 33

2.4.3系统架构 34

2.4.4主服务器 35

2.4.5子表服务器 36

2.4.6性能优化 40

2.5分布式存储系统Megastore 41

2.5.1设计目标及方案选择 41

2.5.2 Megastore数据模型 42

2.5.3 Megastore中的事务及并发控制 44

2.5.4 Megastore基本架构 45

2.5.5核心技术——复制 47

2.5.6产品性能及控制措施 51

2.6大规模分布式系统的监控基础架构Dapper 52

2.6.1基本设计目标 52

2.6.2 Dapper监控系统简介 53

2.6.3关键性技术 56

2.6.4常用Dapper工具 57

2.6.5 Dapper使用经验 59

2.7海量数据的交互式分析工具Dremel 61

2.7.1产生背景 61

2.7.2数据模型 62

2.7.3嵌套式的列存储 63

2.7.4查询语言与执行 68

2.7.5性能分析 70

2.7.6小结 71

2.8内存大数据分析系统PowerDrill 71

2.8.1产生背景与设计目标 71

2.8.2基本数据结构 72

2.8.3性能优化 73

2.8.4性能分析与对比 75

2.9 Google应用程序引擎 76

2.9.1 Google App Engine简介 77

2.9.2应用程序环境 78

2.9.3 Google App Engine服务 80

习题 88

参考文献 88

第3章 Amazon云计算AWS 90

3.1基础存储架构Dynamo 90

3.1.1 Dynamo概况 90

3.1.2 Dynamo架构的主要技术 91

3.2弹性计算云EC2 99

3.2.1 EC2的基本架构 99

3.2.2 EC2的关键技术 100

3.2.3 EC2的安全及容错机制 102

3.3简单存储服务S3 103

3.3.1 S3的基本概念和操作 103

3.3.2 S3的数据一致性模型 105

3.3.3 S3的安全措施 105

3.4非关系型数据库服务SimpleDB和DynamoDB 108

3.4.1非关系型数据库与传统关系数据库的比较 108

3.4.2 SimpleDB 108

3.4.3 DynamoDB 110

3.4.4 SimpleDB和DynamoDB的比较 111

3.5关系数据库服务RDS 111

3.5.1 RDS的基本原理 111

3.5.2 RDS的使用 112

3.6简单队列服务SQS 113

3.6.1 SQS的基本模型 113

3.6.2 SQS的消息 114

3.7内容推送服务CloudFront 115

3.7.1 CDN 116

3.7.2 CloudFront 117

3.8其他Amazon云计算服务 119

3.8.1快速应用部署Elastic Beanstalk和服务模板CloudFormation 119

3.8.2 DNS服务Router 53 120

3.8.3虚拟私有云VPC 120

3.8.4简单通知服务和简单邮件服务 120

3.8.5弹性MapReduce服务 121

3.8.6电子商务服务DevPay、 FPS和Simple Pay 122

3.8.7 Amazon执行网络服务 127

3.8.8土耳其机器人 128

3.8.9数据仓库服务Redshift 129

3.8.10应用流服务AppStream和数据流分析服务Kinesis 129

3.9 AWS应用实例 130

3.9.1照片和视频共享网站SmugMug 130

3.9.2视频制作网站Animoto 131

3.9.3网站排名Alexa 132

3.10小结 132

习题 132

参考文献 133

第4章 微软云计算Windows Azure 136

4.1微软云计算平台 136

4.2微软云操作系统Windows Azure 137

4.2.1 Windows Azure概述 137

4.2.2 Windows Azure计算服务 138

4.2.3 Windows Azure存储服务 140

4.2.4 Windows Azure Connect 147

4.2.5 Windows Azure CDN 148

4.2.6 Fabric控制器 149

4.3微软云关系数据库SQL Azure 150

4.3.1 SQLAzure概述 150

4.3.2 SQL Azure关键技术 151

4.3.3 SQL Azure和SQL Server对比 153

4.4 Windows Azure AppFabric 154

4.4.1 AppFabric概述 154

4.4.2 AppFabric关键技术 155

4.5 Windows Azure Marketplace 159

4.6 Windows Azure服务平台 160

4.6.1网站 160

4.6.2虚拟机 161

4.6.3云服务 162

4.6.4移动服务 163

4.6.5大数据处理 164

4.6.6媒体支持 165

习题 166

参考文献 166

第5章 Hadoop 2.0：主流开源云架构 168

5.1引例 168

5.1.1问题概述 168

5.1.2常规解决方案 168

5.1.3分布式下的解决方案 169

5.1.4小结 173

5.2 Hadoop 2.0简述 173

5.2.1 Hadoop 2.0由来 173

5.2.2 Hadoop 2.0相关项目 174

5.2.3 Hadoop应用 175

5.3 Hadoop 2.0部署 175

5.3.1部署综述 175

5.3.2传统解压包部署 179

5.4 Hadoop 2.0体系架构 182

5.4.1 Hadoop 2.0公共组件Common 182

5.4.2分布式文件系统HDFS 184

5.4.3分布式操作系统Yarn 190

5.4.4 Hadoop 2.0安全机制简介 198

5.5 Hadoop 2.0访问接口 199

5.5.1访问接口综述 199

5.5.2浏览器接口 199

5.5.3命令行接口 200

5.6 Hadoop 2.0编程接口 202

5.6.1 HDFS编程 202

5.6.2 Yarn编程 205

习题 214

参考文献 214

第6章 Hadoop 2.0大家族 215

6.1 Hadoop 2.0大家族概述 215

6.1.1分布式组件 215

6.1.2部署概述 217

6.2 ZooKeeper 223

6.2.1 ZooKeeper简介 223

6.2.2 ZooKeeper入门 224

6.3 Hbase 226

6.3.1 Hbase简介 226

6.3.2 Hbase入门 229

6.4 Pig 232

6.4.1 Pig简介 232

6.4.2 Pig入门 233

6.5 Hive 234

6.5.1 Hive简介 234

6.5.2 Hive入门 235

6.6 Oozie 238

6.6.1 Oozie简介 238

6.6.2 Oozie入门 238

6.7 Flume 241

6.7.1 Flume简介 241

6.7.2 Flume入门 243

6.8 Mahout 246

6.8.1 Mahout简介 246

6.8.2 Mahout入门 246

6.9小结 247

习题 248

参考文献 248

第7章 虚拟化技术 250

7.1虚拟化技术简介 250

7.2服务器虚拟化 251

7.2.1服务器虚拟化的层次 251

7.2.2服务器虚拟化的底层实现 252

7.2.3虚拟机迁移 253

7.2.4隔离技术 256

7.2.5案例分析 257

7.3存储虚拟化 258

7.3.1存储虚拟化的一般模型 258

7.3.2存储虚拟化的实现方式 259

7.3.3案例分析 260

7.4网络虚拟化 262

7.4.1核心层网络虚拟化 262

7.4.2接入层网络虚拟化 262

7.4.3虚拟机网络虚拟化 262

7.4.4案例分析：VMware的网络虚拟化技术 263

7.5桌面虚拟化 265

7.5.1桌面虚拟化简介 266

7.5.2技术现状 266

7.5.3案例分析 267

习题 267

参考文献 268

第8章 OpenStack开源虚拟化平台 269

8.1 OpenStack背景介绍 269

8.1.1 OpenStack是什么 269

8.1.2 OpenStack的主要服务 270

8.2计算服务Nova 272

8.2.1 Nova组件介绍 272

8.2.2 Libvirt简介 273

8.2.3 Nova中的RabbitMQ解析 275

8.3对象存储服务Swift 282

8.3.1 Swift特性 282

8.3.2应用场景 283

8.3.3 Swift主要组件 284

8.3.4 Swift基本原理 286

8.3.5实例分析 290

8.4镜像服务Glance 291

8.4.1 Glance的作用 291

8.4.2 Glance的组成部分 291

习题 292

参考文献 292

第9章 云计算数据中心 293

9.1云数据中心的特征 293

9.2云数据中心网络部署 294

9.2.1改进型树结构 294

9.2.2递归层次结构 296

9.2.3光交换网络 299

9.2.4无线数据中心网络 301

9.2.5软件定义网络 301

9.3绿色节能技术 305

9.3.1配电系统节能技术 305

9.3.2空调系统节能技术 307

9.3.3集装箱数据中心节能技术 310

9.3.4数据中心节能策略和算法研究 312

9.3.5新能源的应用 315

9.3.6典型的绿色节能数据中心 318

9.4自动化管理 320

9.4.1自动化管理的特征 320

9.4.2自动化管理实现阶段 321

9.4.3 Facebook自动化管理 322

9.5容灾备份 324

9.5.1容灾系统的等级标准 325

9.5.2容灾备份的关键技术 325

9.5.3云存储在容灾备份中的应用 327

习题 328

参考文献 328

第10章 云计算核心算法 332

10.1 Paxos算法 332

10.1.1 Paxos算法背景知识 332

10.1.2 Paxos算法详解 333

10.1.3 Paxos算法举例 336

10.2 DHT算法 338

10.2.1 DHT原理介绍 339

10.2.2 Chord中DHT的具体实现 340

10.2.3 Pastry中DHT的具体实现 342

10.2.4 CAN中DHT的具体实现 343

10.2.5 Tapestry中DHT的具体实现 345

10.3 Gossip协议 345

10.3.1 Gossip协议的特点 346

10.3.2 Gossip协议的通信方式及收敛性 346

10.3.3 Gossip节点管理算法 348

10.3.4 Cassandra中Gossip协议的具体实现方式 349

10.3.5 CoolStreaming系统中Gossip协议的具体实现方式 352

习题 354

参考文献 354

第11章 中国云计算技术 355

11.1国内云计算发展概况 355

11.2国产云存储技术 356

11.2.1淘宝分布式文件系统TFS 356

11.2.2云创存储cStor分布式文件系统 359

11.2.3 A8000超低功耗云存储一体机 364

11.3国产大数据库技术 367

11.3.1阿里巴巴OceanBase 367

11.3.2云创存储数据立方（DataCube） 371

11.4云视频监控技术 376

11.4.1 cVideo云视频监控系统 376

11.4.2 cVideo智能分析系统 378

11.4.3 cVideo云转码系统 381

11.5阿里巴巴阿里云服务 383

11.5.1阿里云计算体系架构 383

11.5.2弹性计算服务（ECS） 384

11.5.3开放存储服务（OSS） 385

11.5.4开放结构化数据服务（OTS） 385

11.5.5开放数据处理服务（ODPS） 385

11.5.6关系型数据库（RDS） 386

11.6云创存储万物云服务 386

11.6.1平台简介 386

11.6.2系统架构 387

11.6.3功能服务 388

11.6.4应用举例 391

习题 392

参考文献 392

第12章 总结与展望 394

12.1主流商业云计算解决方案比较 394

12.1.1应用场景 394

12.1.2使用流程 396

12.1.3体系结构 397

12.1.4实现技术 397

12.1.5核心业务 398

12.2主流开源云计算系统比较 400

12.2.1开发目的 401

12.2.2体系结构 402

12.2.3实现技术 403

12.2.4核心服务 403

12.3云计算的历史坐标与发展方向 404

12.3.1互联网发展的阶段划分 404

12.3.2云格（Gloud）——云计算的未来 407

习题 409

参考文献 409