《分布式存储编码与系统》PDF下载

  • 购买积分:10 如何计算积分?
  • 作  者:李挥,侯韩旭著
  • 出 版 社:北京:科学出版社
  • 出版年份:2016
  • ISBN:9787030494894
  • 页数:204 页
图书介绍:本书第一章讲了云计算及计算机存储系统的相关概念,发展历史等方面知识。旨在以综述的方式使读者了解云存储方面背景知识。因为建立分布式存储系统首先需要考虑该系统的可靠性和可用性,所以第二章首先介绍了这两者的相关概念,之后结合实际讲了容错机制的分类及其层次分析。第三章针对第二章最后典型容错技术中的纠删码技术进行展开。首先介绍了存储编码的基础知识,在此基础上引出纠删码的概念等知识。随后,介绍了典型的三种编码--RS,BRS和CRS码的原理和编解码实现,其中BRS是我们提出的新型编码。最后讲解了存储编码中典型的修复放大问题。第四章则是将纠删码进一步扩展,应用到存储系统中,衍生出了再生码,循环码以及部分重复码的相关概念,及我们提出的BMSR,BMBR等编码理论。之后详细介绍了分布式存储系统的发展历史等,最后介绍了典型的分布式文件系统和典型的对象存储系统。有了前面章节的铺垫,在第六章,我们介绍了存储编码和存储系统的结合。在第六章的基础上,我们介绍了笔者所在实验室设计的存储编码系统--PKUSZ-CodedDFS系统的结构和设计思想等,使读者可以通过实际的例子来了解编码存储系统。第八章中,本书介绍了编码

第1章 绪论 1

1.1 应用需求 1

1.1.1 云计算 1

1.1.2 云计算发展 3

1.1.3 云计算模型 4

1.1.4 大数据 4

1.2 计算机存储系统 5

1.2.1 计算机存储系统概述 5

1.2.2 计算机存储系统发展 6

1.3 功能需求与评价指标 9

1.3.1 功能需求 9

1.3.2 评价指标 10

1.4 分布式存储系统典型架构 11

1.5 存储系统发展 14

1.5.1 存储虚拟化 15

1.5.2 软件定义存储 16

1.6 本章小结 16

参考文献 17

第2章 分布式存储系统可靠性和可用性 18

2.1 可靠性概述 18

2.1.1 背景 18

2.1.2 可靠性和可用性 19

2.2 容错技术 20

2.2.1 容错机制的分类 20

2.2.2 容错机制的层次分析 20

2.3 可靠性分析 22

2.3.1 磁盘失效数据 22

2.3.2 分布式存储系统的可靠性结构和模型 24

2.3.3 集群存储系统的可靠性结构和模型 25

2.3.4 马尔可夫模型模拟系统运行 25

2.4 典型容错技术 28

2.4.1 副本 28

2.4.2 纠删码 29

2.4.3 可靠性评估 31

2.5 本章小结 33

参考文献 33

第3章 传统纠删码 35

3.1 基本原理 35

3.1.1 群 35

3.1.2 环和域 35

3.1.3 多项式剩余类环 37

3.1.4 有限域的结构和构造 37

3.1.5 线性编码 38

3.1.6 纠删码 39

3.1.7 MDS码 44

3.1.8 RS编码 46

3.2 BRS码 48

3.2.1 编码原理 48

3.2.2 BRS编码示例 49

3.2.3 BRS解码原理 50

3.3 RS典型实现方案 51

3.3.1 CRS编码 51

3.3.2 计算过程优化 54

3.4 性能评估 57

3.4.1 编码速率的测试 57

3.4.2 解码速率的测试 57

3.5 修复放大问题 59

3.5.1 修复放大问题表现 59

3.5.2 修复放大问题研究现状 60

3.6 本章小结 63

参考文献 63

第4章 分布式存储编码 67

4.1 引言 67

4.1.1 分布式存储编码概述 67

4.1.2 分布式存储编码优化指标体系 68

4.2 再生码 69

4.2.1 功能修复再生码 72

4.2.2 精确修复再生码 76

4.2.3 协同修复再生码(系统部分精确修复) 79

4.2.4 二进制最小存储再生码 79

4.2.5 二进制最小带宽再生码 97

4.3 二进制循环码 113

4.4 部分重复码 120

4.5 本章小结 123

参考文献 124

第5章 大规模分布式存储系统 125

5.1 概述 125

5.1.1 分布式存储系统 125

5.1.2 系统架构和功能需求 127

5.1.3 分布式文件系统 128

5.1.4 分布式对象存储系统 129

5.2 典型分布式文件系统 132

5.2.1 PVFS 132

5.2.2 GoogleFS 133

5.2.3 HDFS 134

5.3 典型分布式对象存储系统 136

5.3.1 Ceph 136

5.3.2 OpenStack Swift 137

5.4 本章小结 139

第6章 存储编码与存储系统 140

6.1 引言 140

6.2 应用存储编码的一般性原理 142

6.2.1 怎样应用存储编码 142

6.2.2 存储编码的特征 142

6.2.3 存储编码应用模型 143

6.3 存储编码在存储系统中的应用 144

6.4 典型编码存储系统 149

6.4.1 HDFS-RAID 149

6.4.2 QFS 154

6.4.3 Swift 155

6.5 本章小结 157

第7章 PKUSZ——CodedDFS原型设计与实现 158

7.1 CodedDFS基本需求 158

7.2 CodedDFS系统架构 158

7.2.1 设计思想 158

7.2.2 系统架构 159

7.2.3 模块划分 161

7.2.4 编解码算法库 163

7.2.5 统计工具 164

7.2.6 外部接口 164

7.2.7 内部接口 164

7.3 CodedDFS详细设计 164

7.3.1 编解码算法库 164

7.3.2 客户端 169

7.4 实验分析 169

7.4.1 BRS编码的编解码速率的测试与对比 169

7.4.2 测试结果与分析 171

7.4.3 大数据块条件下BRS编码的编码速率 176

7.5 应用案例 181

7.6 本章小结 182

参考文献 182

第8章 编码存储系统应用 183

8.1 归档系统 183

8.2 备份系统 184

8.3 冷数据存储系统 187

8.4 本章小结 190

附录 191