海量网络存储系统原理与设计PDF电子书下载

第1章　存储系统设计原理 1

1.1　应用需求 1

1.1.1　数据量增长 2

1.1.2　数据的价值 2

1.2　计算机存储系统 3

1.2.1　计算机存储系统概述 3

1.2.2　存储结构的发展 6

1.3　评价指标和功能需求 10

1.3.1　评价指标 10

1.3.2　功能需求 11

1.3.3 典型系统 12

1.4　存取路径和接口 14

1.4.1　存取接口 15

1.4.2　存取路径 20

1.5　存储空间组织和管理 24

1.5.1　存储空间的基本概念 24

1.5.2 存储空间和主机的关系 26

1.5.3　存储空间的合并 27

1.5.4 存储空间的可用性 29

1.5.5　存储系统的层次结构 29

1.5.6　存储虚拟化 30

1.6　设计方法 32

1.6.1 测试方法 32

1.6.2 系统仿真 34

1.6.3　优化方法 35

1.7　本章小结 37

参考文献 39

第2章　基本存储设备 41

2.1　磁盘 41

2.1.1　发展历史 41

2.1.2　原理和结构 42

2.1.3　数据布局和接口 43

2.1.4　存取特性 45

2.1.5　磁盘调度 46

2.2　固态盘 48

2.2.1　原理和结构 49

2.2.2　存取特性 52

2.2.3　软件系统 53

2.3　磁带 55

2.3.1　原理和结构 55

2.3.2　存取特性 58

2.3.3　磁带库系统优化技术 58

2.4　光盘 59

2.4.1　原理和结构 60

2.4.2　存取特性 61

2.5　其他存储机制和设备 61

2.5.1　体全息光盘 61

2.5.2　相变存储器 63

2.5.3 MEMS设备 64

2.6　本章小结 66

参考文献 67

第3章　磁盘阵列 68

3.1　基本原理 68

3.1.1 RAID级别 68

3.1.2 RAID实现方式 71

3.1.3 RAID快照技术 74

3.2 RAID系统设计 76

3.2.1 RAID控制器硬件设计 76

3.2.2 RAID核心控制软件 84

3.3　磁盘阵列系统性能评价 93

3.3.1　磁盘阵列硬件瓶颈分析 93

3.3.2 PCI传输瓶颈及优化 97

3.3.3 内存访问瓶颈及优化 99

3.3.4 CPU运算瓶颈及优化 100

3.3.5　硬件性能评估结论 103

3.4　磁盘阵列在线扩容技术 104

3.4.1　磁盘阵列扩容的一般实现过程 104

3.4.2　扩容过程中数据迁移的研究 108

3.4.3　基于控制理论的分组分区迁移策略 110

3.5　多协议磁盘阵列技术 114

3.5.1　外存储设备接口协议 114

3.5.2　存储整合 116

3.5.3 多协议磁盘阵列系统结构 116

3.6　磁盘阵列预警技术 122

3.6.1 当前应用需求现状 123

3.6.2 国内外相关技术研究现状 123

3.6.3 基于安全预警技术的RAID系统设计 126

3.7　当前阵列的研究热点 128

3.7.1　绿色存储简介 128

3.7.2 阵列级节能技术 129

3.7　本章小结 133

参考文献 134

第4章　对象存储系统研究 136

4.1　引言 136

4.1.1　对象存储技术产生的背景 136

4.1.2 常用网络存储系统 140

4.1.3 对象存储带来的变化 144

4.1.4　对象存储的研究内容 146

4.2　对象存储设备的指令集 151

4.2.1 SCSI命令集的扩展 152

4.2.2 OSDT10的属性页 154

4.2.3　属性列表 156

4.2.4　对象扩展属性页 157

4.3　对象存储文件系统 158

4.3.1 分布式文件系统 158

4.3.2　对象文件系统的设计思路 159

4.3.3 采用OSD的对象文件系统 160

4.4　存储服务质量 164

4.4.1　存储服务质量的研究意义 164

4.4.2 QoS系统结构 165

4.4.3 QoSS的实施要素 167

4.4.4 面向QoSS的属性管理模型AM-M 169

4.4.5　基于属性管理的流媒体QoS保证 171

4.5　一种基于属性控制的对象存储文件系统 174

4.5.1　对象热度扩展属性页 174

4.5.2　文件系统设计 175

4.5.3　基于属性管理的应用原型总体设计 176

4.5.4　应用原型客户端的设计 178

4.5.5　应用原型存储端的设计 179

4.5.6　性能评估与分析 181

4.6　本章小结 185

参考文献 187

第5章　大规模网络存储系统 191

5.1　概述 191

5.1.1　存储域 191

5.1.2　存储域的系统结构和功能需要 192

5.1.3　基于网络的文件系统 196

5.2　典型分布式文件系统 198

5.2.1 PVFS 198

5.2.2 Lustre文件系统 199

5.2.3 Panasas文件系统 202

5.2.4 GPFS 204

5.2.5 GoogleFS 205

5.2.6 Hadoop分布式文件系统 205

5.2.7　分布式文件系统评价 208

5.3 DNFS系统设计与实现 208

5.3.1 DNFS系统结构 209

5.3.2 DNFS实现方法 213

5.3.3　测试与分析 229

5.4　本章小结 237

参考文献 238

第6章　可靠性和可用性研究 239

6.1　可靠性概述 239

6.1.1 背景 240

6.1.2　可靠性和可用性 240

6.2　容错机制 244

6.2.1　容错机制的分类 244

6.2.2　容错机制的层次分析 245

6.3　可靠性研究 247

6.3.1　磁盘失效数据 247

6.3.2　磁盘阵列的可靠性结构和模型 249

6.3.3 集群存储系统的可靠性结构和模型 250

6.3.4 Monte Carlo法模拟系统运行 252

6.4　集群存储系统的容错机制 253

6.4.1　集群存储系统容错 253

6.4.2　纠删码的选择 254

6.4.3 LDPC编码 255

6.4.4 系统实现 256

6.4.5　性能评估 258

6.5　本章小结 261

参考文献 262

第7章　存储安全性研究 266

7.1 引言 266

7.2　存储安全研究现状 269

7.2.1　现有原型系统 269

7.2.2　现有研究的分析 272

7.2.3　存储安全研究范畴 273

7.3　存储安全的一般性原理 275

7.3.1 怎样研究网络存储安全 275

7.3.2　存储安全的三大特征 277

7.3.3　安全存储数据通道 279

7.3.4　服务独立的存储安全服务模型 280

7.3.5　安全访问协议 282

7.4　典型存储安全案例研究 283

7.4.1　存储设备的安全性 283

7.4.2 常用存储系统的安全性 287

7.4.3　对象存储安全性研究 290

7.4.4　大规模存储系统及其安全性 294

7.5　本章小结 296

参考文献 297

第8章　连续数据保护 300

8.1　连续数据保护技术 300

8.1.1　数据恢复的技术指标 300

8.1.2　数据恢复级别 301

8.2 ST-CDP机制 303

8.2.1 当前CDP机制存在的问题 303

8.2.2　数据记录 303

8.2.3　数据恢复 304

8.3　量化分析模型 304

8.4　机制实现 306

8.4.1 系统架构 306

8.4.2　机制实现的相关问题 307

8.4.3　工作流程 308

8.4.4　设计方法改进 311

8.5　实验分析 311

8.5.1　测试环境设置 311

8.5.2　测试结果与分析 312

8.6　本章小结 318

参考文献 319

第9章　网络存储备份系统 320

9.1　复制和镜像技术 320

9.2　备份系统概述 322

9.3　备份系统基本结构 324

9.4　典型网络备份系统的设计 326

9.4.1 网络备份系统的结构与业务逻辑 326

9.4.2 网络备份系统的软件设计 329

9.4.3 网络备份系统性能测试 336

9.5　本章小结 338

参考文献 339

附录 存储安全的相关术语表 340