结构化并行程序设计 高效计算模式PDF电子书下载

第1章 导论 1

1.1 并行思维 2

1.2 性能 3

1.3 动机：无处不在的并行 6

1.3.1 硬件发展推进并行化 6

1.3.2 并行化的历史趋势 8

1.3.3 显式并行编程的需求 12

1.4 基于模式的结构化编程 15

1.5 并行编程模型 16

1.5.1 理想特征 16

1.5.2 用抽象代替具体 17

1.5.3 规则数据并行 18

1.5.4 可组合性 21

1.5.5 功能可移植性 21

1.5.6 性能可移植性 22

1.5.7 安全性、确定性和可维护性 22

1.5.8 编程模型概述 23

1.5.9 何时使用模型 28

1.6 本书的结构 29

1.7 小结 29

第2章 背景知识 31

2.1 名词和符号 31

2.2 策略 31

2.3 机制 33

2.4 计算机模型 35

2.4.1 计算机模型概述 35

2.4.2 影响性能的关键因素 39

2.4.3 Flynn分类法 41

2.4.4 革新 42

2.5 性能理论 43

2.5.1 延迟和吞吐量 44

2.5.2 加速比、效率和可扩展性 44

2.5.3 功耗 45

2.5.4 Amdahl定律 46

2.5.5 Gustafson-Barsis定律 48

2.5.6 工作量-跨度模型 49

2.5.7 渐近复杂度 51

2.5.8 渐近加速比和渐近效率 52

2.5.9 Little公式 53

2.6 并行陷阱 54

2.6.1 竞态条件 54

2.6.2 互斥和锁 55

2.6.3 死锁 56

2.6.4 扩展性抑制 57

2.6.5 局部性不足 57

2.6.6 负载不均衡 58

2.6.7 额外开销 58

2.7 小结 59

第一部分 模式 62

第3章 模式概述 62

3.1 嵌套模式 63

3.2 结构化串行控制流模式 64

3.2.1 序列 64

3.2.2 选择 65

3.2.3 迭代 66

3.2.4 递归 68

3.3 并行控制模式 68

3.3.1 Fork-Join 68

3.3.2 映射 68

3.3.3 模板 69

3.3.4 归约 70

3.3.5 扫描 71

3.3.6 递推 73

3.4 串行数据管理模式 74

3.4.1 随机读写 74

3.4.2 栈分配 74

3.4.3 堆分配 75

3.4.4 闭包 75

3.4.5 对象 75

3.5 并行数据管理模式 76

3.5.1 打包 76

3.5.2 流水线 76

3.5.3 几何分解 77

3.5.4 聚合 78

3.5.5 散发 78

3.6 其他并行模式 79

3.6.1 超标量序列 79

3.6.2 期货 80

3.6.3 投机选择 80

3.6.4 工作堆 81

3.6.5 搜索 81

3.6.6 切片 81

3.6.7 展开 81

3.6.8 分类归约 82

3.6.9 项图重写 83

3.7 非确定性模式 83

3.7.1 分支限界 83

3.7.2 事务 84

3.8 编程模型对模式的支持 84

3.8.1 Cilk Plus 86

3.8.2 线程构建块 87

3.8.3 OpenMP 88

3.8.4 阵列构建块 89

3.8.5 OpenCL 90

3.9 小结 91

第4章 映射 92

4.1 概述 93

4.2 带缩放系数的向量加法 94

4.2.1 问题描述 94

4.2.2 串行实现 95

4.2.3 TBB实现 96

4.2.4 Cilk Plus实现 96

4.2.5 使用数组符号的Cilk Plus实现 97

4.2.6 OpenMP实现 97

4.2.7 使用向量操作的ArBB实现 97

4.2.8 使用元素函数的ArBB实现 98

4.2.9 OpenCL实现 99

4.3 芒德布罗分形图 100

4.3.1 问题描述 100

4.3.2 串行实现 100

4.3.3 TBB实现 101

4.3.4 Cilk Plus实现 101

4.3.5 使用数组符号的Cilk Plus实现 101

4.3.6 OpenMP实现 103

4.3.7 ArBB实现 103

4.3.8 OpenCL实现 104

4.4 映射的序列和序列的映射 105

4.5 并行模型的对比 107

4.6 相关模式 107

4.6.1 模板 107

4.6.2 工作堆 108

4.6.3 分治 108

4.7 小结 108

第5章 集合 109

5.1 归约 109

5.1.1 计算重排序 110

5.1.2 向量化 111

5.1.3 分块 112

5.1.4 精度 113

5.1.5 实现 113

5.2 映射和归约的融合 114

5.2.1 TBB中的显式融合 115

5.2.2 CilkPlus中的显式融合 115

5.2.3 ArBB中的自动融合 115

5.3 点积 115

5.3.1 问题描述 115

5.3.2 串行实现 116

5.3.3 SEE内联函数实现 116

5.3.4 TBB实现 117

5.3.5 CilkPlus实现 119

5.3.6 OpenMP实现 120

5.3.7 ArBB实现 121

5.4 扫描 122

5.4.1 Cilk Plus 123

5.4.2 TBB 124

5.4.3 ArBB 124

5.4.4 OpenMP 124

5.5 映射和扫描的融合 127

5.6 积分 127

5.6.1 问题描述 128

5.6.2 串行实现 128

5.6.3 Cilk Plus实现 130

5.6.4 OpenMP实现 130

5.6.5 TBB实现 131

5.6.6 ArBB实现 132

5.7 小结 134

第6章 数据重组 135

6.1 聚合 135

6.1.1 常规聚合 135

6.1.2 移位 137

6.1.3 拉合 137

6.2 散发 138

6.2.1 原子散发 139

6.2.2 排列散发 139

6.2.3 归并散发 139

6.2.4 优先散发 140

6.3 将散发转换为聚合 140

6.4 打包 141

6.5 映射和打包的融合 142

6.6 几何分解和分区 143

6.7 结构的数组和数组的结构 145

6.8 小结 148

第7章 模板和递推 149

7.1 模板 149

7.2 用移位实现模板 151

7.3 针对缓存的分块式模板 151

7.4 模板通信优化 152

7.5 递推 153

7.6 小结 155

第8章 Fork-Join 156

8.1 定义 156

8.2 编程模型对Fork-Join的支持 157

8.2.1 Cilk Plus对Fork-Join的支持 158

8.2.2 TBB对Fork-Join的支持 159

8.2.3 OpenMP对Fork-Join的支持 159

8.3 映射的递归实现 160

8.4 基本情形的选择 162

8.5 负载均衡 163

8.6 并行分治的复杂度 165

8.7 Karatsuba多项式乘法 167

8.8 缓存局部性和缓存参数无关算法 170

8.9 快速排序 172

8.9.1 Cilk Plus快速排序 174

8.9.2 TBB快速排序 175

8.9.3 快速排序的工作量和跨度 178

8.10 归约和超对象 178

8.11 用Fork-Join实现扫描 181

8.12 在递推中使用Fork-Join 185

8.12.1 分析 188

8.12.2 平面Fork-Join 188

8.13 小结 188

第9章 流水线 189

9.1 基本流水线 189

9.2 有并行阶段的流水线 190

9.3 流水线的实现 191

9.4 编程模型对流水线的支持 192

9.4.1 TBB中的流水线 192

9.4.2 CilkPlus中的流水线 193

9.5 更多通用的拓扑结构 195

9.6 强制并行性与可选并行性 196

9.7 小结 196

第二部分 示例 198

第10章 地震正演模拟 198

10.1 背景 198

10.2 模板的计算 199

10.3 缓存对运算强度的影响 200

10.4 使用时空分块提高运算强度 202

10.5 Cilk Plus代码 203

10.6 ArBB实现 206

10.7 小结 207

第11章 K均值聚类 208

11.1 算法 208

11.2 K均值的Cilk Plus实现 209

11.3 K均值的TBB实现 212

11.4 小结 216

第12章 Bzip2数据压缩 217

12.1 Bzip2算法 217

12.2 三段流水线的TBB实现 218

12.3 四段流水线的TBB实现 221

12.4 三段流水线的CilkPlus实现 221

12.5 小结 222

第13章 归并排序 223

13.1 并行归并 223

13.1.1 并行归并的TBB实现 225

13.1.2 并行归并的工作量和跨度 225

13.2 并行归并排序 226

13.3 小结 227

第14章 样本排序 228

14.1 总体结构 228

14.2 选取分箱数量 229

14.3 分箱 229

14.4 再打包和子排序 231

14.5 样本排序的性能分析 232

14.6 写给C＋＋高手 232

14.7 小结 233

第15章 Cholesky因式分解 234

15.1 Fortran规范 234

15.2 递归Cholesky分解 235

15.3 三角矩阵求解 236

15.4 对称秩校正 238

15.5 时间用在哪里 239

15.6 小结 239

附录 242

附录A 拓展阅读 242

附录B Cilk Plus 244

附录C TBB 259

附录D C+++11 269

附录E 术语表 273

参考文献 291

索引 296