第1章 引言 1
1.1异构并行计算 2
1.2现代GPU的体系结构 6
1.3为什么需要更高的速度和并行化 8
1.4应用程序的加速 9
1.5并行编程语言和模型 11
1.6本书的总体目标 12
1.7本书的组织结构 13
参考文献 16
第2章 GPU计算的发展历程 19
2.1图形流水线的发展 19
2.1.1固定功能的图形流水线时代 20
2.1.2可编程实时图形流水线的发展 23
2.1.3图形与计算结合的处理器 25
2.2 GPGPU：一个中间步骤 27
2.3 GPU计算 28
2.3.1可扩展的GPU 29
2.3.2发展近况 29
2.3.3未来发展趋势 30
参考文献与课外阅读 30
第3章 CUDA简介 35
3.1数据并行性 36
3.2 CUDA的程序结构 37
3.3向量加法kernel函数 39
3.4设备全局存储器与数据传输 41
3.5 kemel函数与线程 46
3.6小结 50
3.6.1函数声明 50
3.6.2启动kemel函数 50
3.6.3预定义变量 51
3.6.4运行时API 51
3.7习题 51
参考文献 53
第4章 数据并行执行模型 55
4.1 CUDA的线程组织 56
4.2线程与多维数据的映射 59
4.3矩阵乘法——一个更加复杂的kemel函数 65
4.4线程同步和透明的可扩展性 70
4.5线程块的资源分配 73
4.6查询设备属性 74
4.7线程调度和容许时延 75
4.8小结 78
4.9习题 79
第5章 CUDA存储器 81
5.1存储器访问效率的重要性 82
5.2 CUDA设备存储器的类型 83
5.3减少全局存储器流量的一种策略 89
5.4分块矩阵乘法的kemel函数 93
5.5存储器——限制并行性的一个因素 98
5.6小结 100
5.7习题 101
第6章 性能优化 103
6.1 WARP和线程执行 104
6.2全局存储器的带宽 111
6.3执行资源的动态划分 118
6.4指令混合和线程粒度 120
6.5小结 121
6.6习题 121
参考文献 124
第7章 浮点运算 127
7.1浮点格式 128
7.1.1 M的规范化表示 128
7.1.2 E的余码表示 129
7.2能表示的数 130
7.3特殊的位模式与IEEE格式中的精度 134
7.4算术运算的准确度和舍入 135
7.5算法的优化 136
7.6数值稳定性 137
7.7小结 141
7.8习题 141
参考文献 142
第8章 并行模式：卷积 143
8.1背景 144
8.2一个基本算法：一维并行卷积 148
8.3常数存储器和高速缓存 149
8.4使用光环元素的分块一维卷积 153
8.5一个更简单的分块一维卷积——通用高速缓存 158
8.6小结 160
8.7习题 161
第9章 并行模式：前缀和 163
9.1背景 164
9.2简单并行扫描 165
9.3考虑工作效率 169
9.4工作高效的并行扫描 170
9.5任意输入长度的并行扫描 174
9.6小结 177
9.7习题 177
参考文献 178
第10章 并行模式：稀疏矩阵-向量乘法 179
10.1背景 180
10.2使用CSR格式的并行SpMV 183
10.3填充与转置 184
10.4用混合方法来控制填充 186
10.5通过排序和划分来规则化 189
10.6小结 191
10.7习题 191
参考文献 192
第11章 应用案例研究：高级MRI重构 193
11.1应用背景 194
11.2迭代重构 197
11.3计算FHD 198
11.4最终评估 214
11.5习题 217
参考文献 218
第12章 应用案例研究：分子可视化和分析 219
12.1应用背景 220
12.2 kernel函数简单的实现方案 221
12.3线程粒度调节 225
12.4存储器合并 227
12.5小结 230
12.6习题 231
参考文献 232
第13章 并行编程和计算思想 233
13.1并行计算的目标 234
13.2问题分解 235
13.3算法选择 238
13.4计算思想 243
13.5小结 244
13.6习题 244
参考文献 244
第14章 OpenCL简介 245
14.1背景 246
14.2数据并行性模型 247
14.3设备的体系结构 249
14.4 kemel函数 250
14.5设备管理和启动kemel 251
14.6 OpenCL中的静电势图谱 254
14.7小结 258
14.8习题 258
参考文献 259
第15章 OpenACC并行编程 261
15.1 OpenACC与CUDA C的比较 261
15.2执行模型 263
15.3存储器模型 265
15.4基本的OpenACC程序 266
15.4.1并行构造 266
15.4.2循环构造 267
15.4.3 kernels构造 272
15.4.4数据管理 275
15.4.5数据构造 276
15.4.6异步计算和数据传输 278
15.5 OpenACC的发展方向 279
15.6习题 280
第16章 Thrust：一个面向效率的CUDA编程库 281
16.1背景简介 282
16.2动机 284
16.3 Thrust的基本特性 284
16.3.1迭代器和内存空间 286
16.3.2互操作性 286
16.4泛型编程 288
16.5抽象的益处 290
16.5.1编程效率 290
16.5.2鲁棒性 291
16.5.3真实性能 291
16.6最佳范例 293
16.6.1融合 293
16.6.2数组结构体 294
16.6.3隐式范围 296
16.7习题 297
参考文献 298
第17章 CUDA FORTRAN 299
17.1 CUDA FORTRAN和CUDA C的区别 300
17.2第一个CUDA FORTRAN程序 301
17.3 CUDA FORTRAN中的多维数组 303
17.4用通用接口重载主机/设备端例程 304
17.5通过iso_c_binding调用CUDA C 307
17.6 kemel循环指令和归约操作 309
17.7动态共享存储器 310
17.8异步数据传输 311
17.9编译和性能剖析 316
17.10在CUDA FORTRAN中调用Thrust 317
17.11习题 321
第18章 C+ AMP简介 323
18.1 C++ AMP核心特性 324
18.2 C++ AMP执行模式详解 329
18.2.1显式和隐式的数据复制 330
18.2.2异步操作 331
18.2.3本节小结 333
18.3加速器管理 333
18.4分块执行 335
18.5 C++ AMP图形特性 338
18.6小结 340
18.7习题 341
第19章 异构集群编程 343
19.1背景简介 344
19.2运行示例 344
19.3 MPI基础 346
19.4 MPI点对点通信模型 348
19.5重叠计算和通信 355
19.6 MPI集合通信模型 362
19.7小结 363
19.8习题 363
参考文献 364
第20章 CUDA动态并行 365
20.1背景 366
20.2动态并行简介 367
20.3重要细节 368
20.3.1启动环境变量设置 369
20.3.2 API错误和启动失败 369
20.3.3事件 369
20.3.4流 369
20.3.5同步范围 370
20.4内存可见性 371
20.4.1全局内存 371
20.4.2零拷贝内存 371
20.4.3常量内存 371
20.4.4局部内存 371
20.4.5共享内存 372
20.4.6纹理内存 372
20.5一个简单示例 373
20.6运行时限制 376
20.6.1内存占用 376
20.6.2嵌套深度 376
20.6.3内存分配和生存周期 376
20.6.4 ECC错误 377
20.6.5流 377
20.6.6事件 377
20.6.7启动池 377
20.7一个更复杂的示例 378
20.7.1线性贝塞尔曲线 378
20.7.2二次贝塞尔曲线 378
20.7.3贝塞尔曲线计算（非动态并行版本） 378
20.7.4贝塞尔曲线计算（使用动态并行） 381
20.8小结 384
参考文献 384
第21章 结论与展望 385
21.1重点回顾 385
21.2存储器模型的演变 386
21.2.1大型虚拟和物理地址空间 386
21.2.2统一的设备存储空间 388
21.2.3可配置的缓存和暂时存储器 388
21.2.4提高原子操作的速度 389
21.2.5提高全局内存的访问速度 389
21.3 kemel函数执行控制过程的演变 389
21.3.1 kemel函数内部的函数调用 389
21.3.2 kemel函数中的异常处理 390
21.3.3多个kemel函数的同步执行 390
21.3.4可中断的kemel函数 391
21.4内核的性能 391
21.4.1双精度的速度 391
21.4.2更好的控制流效率 392
21.5编程环境 392
21.6美好前景 392
参考文献 393
附录A 矩阵乘法主机版的源代码 395
附录B GPU的计算能力 407