数据密集型计算和模型PDF电子书下载

第1章 绪论 1

1.1 数据密集型计算概念 2

1.2 大数据时代的数据密集型计算技术 4

1.3 数据密集型计算与高性能计算、云计算的关系 5

1.3.1 数据密集型计算与高性能计算 5

1.3.2 数据密集型计算与云计算 6

1.4 数据密集型计算的应用领域 7

1.4.1 社会管理领域 7

1.4.2 教育领域 9

1.4.3 医疗领域 10

1.4.4 交通领域 11

1.4.5 农业领域 12

1.4.6 金融领域 13

1.4.7 其他领域 14

1.5 大数据带来的挑战 15

1.5.1 大数据集成 16

1.5.2 大数据分析 16

1.5.3 计算机体系结构面临的挑战 17

1.5.4 编程模型面临的挑战 18

参考文献 18

第2章 大数据时代的计算机体系结构 21

2.1 计算部件 22

2.1.1 多核 22

2.1.2 众核 23

2.1.3 GPU+CPU混合异构 25

2.1.4 集群 27

2.2 存储部件 28

2.2.1 片上存储 29

2.2.2 本地存储 29

2.2.3 分布式存储 31

2.3 网络部件 33

2.3.1 片上通信 34

2.3.2 数据中心网络 35

2.3.3 数据中心互联网络 39

2.4 软件定义部件 42

2.4.1 软件定义计算 42

2.4.2 软件定义存储 46

2.4.3 软件定义网络 53

2.4.4 软件定义数据中心 56

2.5 虚拟资源管理系统 60

2.5.1 典型虚拟资源管理系统 60

2.5.2 云计算一体机 70

参考文献 71

第3章 内存计算 73

3.1 内存计算的概念 74

3.2 内存计算的硬件结构 75

3.2.1 用于内存计算的专用内存 76

3.2.2 用于内存计算的计算机体系结构 79

3.3 内存计算的系统软件 88

3.3.1 内存文件系统 88

3.3.2 任务及数据的调度 98

3.4 内存数据库 102

3.4.1 内存数据库的结构 102

3.4.2 内存数据库的关键技术 103

3.4.3 主流内存数据库及其优缺点 107

参考文献 111

第4章 MapReduce模型 115

4.1 MapReduce模型简介 116

4.1.1 MapReduce模型概念及原理 116

4.1.2 MapReduce模型工作机制 117

4.1.3 MapReduce模型优缺点 124

4.2 基于MapReduce模型的实现 124

4.2.1 Hadoop 125

4.2.2 Phoenix 129

4.2.3 其他实现 131

4.3 MapReduce模型的改进 133

4.3.1 Spark 133

4.3.2 Data Freeway和Puma 135

4.3.3 Storm 137

4.3.4 Nephele/PACTs 139

4.3.5 其他改进工作 140

参考文献 143

第5章 BSP模型 147

5.1 BSP模型简介 148

5.1.1 BSP模型概念 148

5.1.2 BSP模型原理 148

5.1.3 BSP模型优缺点 149

5.2 BSP模型发展概况 149

5.2.1 BSP模型初级阶段 149

5.2.2 多核BSP 152

5.2.3 BSP模型在云平台上的应用 152

5.2.4 BSP模型在大数据时代的应用 153

5.3 基于BSP模型的编程框架 154

5.3.1 Pregel 154

5.3.2 HAMA 163

5.3.3 GPS 167

5.3.4 Giraph 172

参考文献 174

第6章 Dryad模型 177

6.1 Dryad简介 178

6.1.1 Dryad系统概述 178

6.1.2 Dryad图描述 179

6.1.3 Dryad执行机制 181

6.2 SCOPE脚本语言 182

6.3 DryadLINQ 184

6.4 Cosmos 186

6.4.1 Cosmos存储系统 187

6.4.2 Cosmos执行环境 187

6.5 MapReduce与Dryad的比较 188

参考文献 188

第7章 其他计算模型 191

7.1 All-Pairs 192

7.1.1 All-Pairs简介 192

7.1.2 All-Pairs的应用 193

7.1.3 All-Pairs面临的挑战 193

7.1.4 All-Pairs的具体实现 194

7.2 DOT 196

7.2.1 DOT简介 196

7.2.2 DOT模型 197

7.2.3 DOT展望 200

7.3 Pig Latin 200

7.3.1 Pig Latin简介 201

7.3.2 Pig Latin的功能及原理 201

7.3.3 Pig数据模型 203

7.3.4 Pig实现 205

7.4 GraphLab 206

7.4.1 GraphLab出现背景 207

7.4.2 GraphLab特性 207

7.4.3 GraphLab框架 208

7.5 工作流 209

7.5.1 工作流简介 209

7.5.2 CloudWF的系统设计 211

7.5.3 工作流的特性 214

参考文献 214

附录 英文缩略语 217