《大规模分布式系统架构与设计实战》PDF下载

  • 购买积分:10 如何计算积分?
  • 作  者:彭渊著
  • 出 版 社:北京:机械工业出版社
  • 出版年份:2014
  • ISBN:9787111455035
  • 页数:231 页
图书介绍:本书是作者从程序员到首席架构师十多年职业生涯的实战经验总结,系统讲解构建大规模分布式系统的核心技术和实现方法,包含作者开源的Fourinone系统的设计与实现过程,手把手教你掌握分布式技术。通过学习这个系统的实现方法与相关的理论,读者可快速掌握分布式系统的理论并设计自己的分布式系统。本书主要内容有:分布式并行计算的基本原理,包括离线计算、实时计算、迭代计算的具体实现;分布式协调的实现,包括如何实现公共配置管理,如何实现分布式锁,如何实现集群管理等;分布式缓存的实现,包括如何提供完整的分布式缓存来利用多机内存能力;消息队列的实现,包括如何实现发送接收模式;分布式文件系统的实现,包括如何像操作本地文件一样操作远程文件,并利用多机硬盘存储能力;分布式作业调度平台的实现,包括资源隔离、资源调度等。

第1章 概述 1

1.1分布式计算、并行计算、云计算概述 1

1.2分布式产品Hadoop、 ZooKeeper、 HBase概述 6

1.3 Fourinone的产生背景 12

第2章 分布式并行计算的原理与实践 14

2.1分布式并行计算模式 14

2.1.1最初想到的master-slave结构 14

2.1.2“包工头-职介所-手工仓库-工人”模式 15

2.1.3基于消息中枢的计算模式 17

2.1.4基于网状直接交互的计算模式 18

2.1.5并行结合串行模式 22

2.1.6包工头内部批量多阶段处理模式 23

2.1.7计算集群模式和兼容遗留计算系统 24

2.1.8工人计算的服务化模式 26

2.2跟Hadoop的区别 28

2.3关于分布式的一些概念与产品 30

2.4配置文件和核心API介绍 35

2.5实践与应用 36

2.5.1一个简单的示例 36

2.5.2工头工人计算模式更完整的示例 39

2.5.3工人合并互相say hello的示例 44

2.5.4实现Hadoop经典实例Word Count 48

2.5.5分布式多机部署的示例 52

2.5.6分布式计算自动部署的示例 53

2.5.7计算过程中的故障和容灾处理 57

2.5.8计算过程中的相关时间属性设置 60

2.5.9如何在一台计算机上一次性启动多个进程 63

2.5.10如何调用C/C+++程序实现 68

2.5.11如何中止工人计算和超时中止 68

2.5.12使用并行计算大幅提升递归算法效率 73

2.5.13使用并行计算求圆周率π 81

2.5.14从赌钱游戏看PageRank算法 86

2.5.15 使用并行计算实现上亿排序 96

2.5.16工人服务化模式应用示例 104

2.6实时流计算 107

第3章 分布式协调的实现 111

3.1协调架构原理简介 111

3.2核心API 113

3.3权限机制 115

3.4相对于ZooKeeper的区别 116

3.5与Paxos算法的区别 117

3.6实践与应用 119

3.6.1如何实现公共配置管理 119

3.6.2如何实现分布式锁 126

3.6.3如何实现集群管理 129

3.6.4多节点权限操作示例 134

3.6.5领导者选举相关属性设置 137

第4章 分布式缓存的实现 139

4.1小型网站或企业应用的缓存实现架构 139

4.2大型分布式缓存系统实现过程 140

4.3一致性哈希算法的原理、改进和实现 147

4.4解决任意扩容的问题 152

4.5解决扩容后数据均匀的问题 153

4.6分布式Session的架构设计和实现 154

4.7缓存容量的相关属性设置 156

4.8缓存清空的相关属性设置 158

第5章 消息队列的实现 162

5.1闲话中间件与MQ 162

5.2 JMS的两种经典模式 163

5.3如何实现发送接收的队列模式 164

5.4如何实现主题订阅模式 168

第6章 分布式文件系统的实现 173

6.1 FTTP架构原理解析 174

6.2搭建配置FttpAdapter环境 177

6.3访问集群文件根目录 179

6.4访问和操作远程文件 181

6.5集群内文件复制和并行复制 184

6.6读写远程文件 187

6.7解析远程文件 189

6.8并行读写远程文件 191

6.9批量并行读写远程文件和事务补偿处理 194

6.10如何进行整型读写 198

6.11基于整型读写的上亿排序 205

第7章 分布式作业调度平台的实现 219

7.1调度平台的设计与实现 219

7.2资源隔离的实现 224

7.3资源调度算法 226

7.4其他作业调度平台简介 227

7.4.1其他MPI作业资源调度技术 227

7.4.2 Mesos和Yarn简介 229