高性能计算机并行文件系统PDF电子书下载

第一章　绪论 1

1.1　应用对存储系统的需求 2

1.1.1　多媒体应用 3

1.1.2　广域信息服务 3

1.1.3　大规模科学计算应用 4

1.2　并行文件系统研究中的主要技术问题 4

1.3　本文的主要贡献和创新点 5

1.4　论文结构 7

第二章　并行文件系统现状及发展 9

2.1　并行计算机系统的发展 9

2.2　现代磁盘技术的发展 11

2.3.1　廉价冗余磁盘阵列技术 14

2.3　并行I/O技术 14

2.3.2　并行I/O子系统技术 15

2.4　高速互联网通信开销分析 17

2.5　并行文件系统关键技术研究 23

2.5.1　并行文件系统的组成和结构 24

2.5.2　并行文件系统用户界面技术 26

2.5.3　元数据服务器 29

2.5.4　文件的组织和分布 30

2.5.5　cache和预取 32

2.5.6　并行I/O服务算法 34

2.6.1　典型类UNIX并行文件系统 35

2.6　典型的并行文件系统 35

2.6.2　典型非类UNIX并行文件系统 37

第三章　并行科学计算应用的I/O模式分析 40

3.1　分析I/O模式的意义 40

3.2　已有的I/O访问轨迹分析工作 41

3.3　典型的并行科学计算应用 44

3.3.1 并行景象生成应用（Render） 44

3.3.2　合成孔径雷达信息处理应用（SAR） 44

3.3.3　多通道电子散射应用（ESCAT） 45

3.3.4　流体力学模拟应用（PRISM） 45

3.4.1　并行科学计算应用的I/O访问模式综述 46

3.4　并行科学计算应用的静态I/O访问模式分析 46

3.4.2　Render的静态I/O访问模式 48

3.4.3　SAR的静态I/O访问模式 49

3.4.4　ESCAT的静态I/O访问模式 50

3.4.5 PRISM的静态I/O访问模式 51

3.4.6　静态分析结论 52

3.5　并行科学计算应用的动态I/O访问模式分析 53

3.5.1　并行Render应用的动态I/O访问模式分析 54

3.5.2　SAR应用的动态I/O访问模式分析 59

3.5.3　ESCAT应用的动态I/O访问模式分析 64

3.5.4　PRISM应用的动态I/O访问模式分析 67

3.6　结论 69

3.7　小结 73

第四章　并行I/O服务模型和算法研究 74

4.1　典型并行I/O服务模型 74

4.1.1　传统cache服务模型 75

4.1.2　两阶段并行I/O服务模型（2PIO） 76

4.1.3　面向磁盘的并行I/O服务模型（DDIO） 78

4.1.4　面向服务器的并行I/O服务模型（SDIO） 80

4.2　集成式的面向磁盘的并行I/O服务模型（IDDIO） 81

4.2.1 集成式的面向磁盘的并行I/O服务模型（IDDIO）结构 82

4.2.2　IDDIO模型的用户界面 83

4.2.3　IDDIO模型的操作过程 84

4.3　面向通信的分组并行I/O服务算法（CDGIO） 86

4.4　CDGIO并行IO服务方式的性能分析 90

4.4.1　模型分析 90

4.4.2　性能模拟 95

4.5 结论 104

第五章　高性能预取和cache算法研究 105

5.1　现有的预取和cache算法 105

5.2　适度贪婪的cache预取一体化算法 108

5.2.1　滑动预取窗口 108

5.2.2　一体化的预取、cache访问损失估计 113

5.2.3　性能模拟 116

5.3　结论 120

第六章　SkyWalk并行文件系统的设计与实现 121

6.1　SkyWalk并行文件系统结构 121

6.2　SkyWalk并行文件系统用户接口库 124

6.2.1　用户接口库结构 124

6.2.2　用户接口调用 126

6.3　SkyWalk并行文件系统主结点 136

6.3.1　主结点的系统结构 136

6.3.2　主控服务器 136

6.3.3　cache代理 138

6.3.4　目录服务器 139

6.4　I/O服务进程 140

6.5　并行文件传输服务 143

6.6　小结 145

第七章　结束语 146

7.1　工作总结 146

7.2　下一步工作 147

7.2.1　元数据管理 147

7.2.2　针对新型应用的并行文件系统研究 147

7.2.3　新底层技术支持下的新型服务模型 148

参考文献 149

附录A　Pablo I/O轨迹数据实例 164

附录B　Sky Walk并行文件系统程序实例 169