第一篇 理论篇 3
第1章 高性能计算概述 3
1.1 高性能计算概念辨析 3
1.1.1 并行计算、高性能计算和超级计算 3
1.1.2 超级计算机与超级计算中心 4
1.2 计算科学 5
1.3 高性能计算发展史 5
1.4 高性能计算简介 6
1.5 向量机与阵列机 8
1.6 本章小结 9
第2章 GPU概述 10
2.1 GPU是什么 10
2.2 协处理器 10
2.3 GPU与显卡的关系 11
2.4 GPU／显卡购买注意事项 11
2.5 为什么要学GPU编程 12
2.6 GPU与CPU辨析 13
2.7 GPU发展简史 14
2.8 GPU编程方法 14
2.9 CPU/GPU异构系统 16
第3章 GPU硬件架构 17
3.1 GPU架构 17
3.1.1 Tesla架构 18
3.1.2 Fermi架构 20
3.1.3 Kepler架构 21
3.1.4 Maxwell架构 23
3.1.5 Pascal架构 24
3.2 Kernel的硬件映射 28
3.3 GPU存储体系 29
3.4 GPU计算能力 30
第4章 GPU软件体系 33
4.1 GPU软件生态系统 33
4.2 CUDA Toolkit 34
4.2.1 NVCC编译器 34
4.2.2 cuobjdump 35
4.3 CUDA环境安装 36
4.3.1 Windows 7安装CUDA 4.2 36
4.3.2 Linux下安装CUDA 38
第5章 CUDA C编程 41
5.1 CUDA编程模型 41
5.2 CUDA编程七步曲 42
5.3 驱动API与运行时API 42
5.4 CUDA运行时函数 43
5.4.1 设备管理函数 43
5.4.2 存储管理函数 45
5.4.3 数据传输函数 48
5.4.4 线程管理函数 51
5.4.5 流管理函数 52
5.4.6 事件管理函数 52
5.4.7 纹理管理函数 53
5.4.8 执行控制函数 55
5.4.9 错误处理函数 55
5.4.10 图形学互操作函数 57
5.4.11 OpenGL互操作函数 58
5.4.12 Direct3D互操作函数 59
5.5 CUDA C语言扩展 60
5.6 grid-block-thread三维模型 61
第二篇 入门篇 67
第6章 向量加法 67
6.1 向量加法及其串行代码 67
6.2 单block单thread向量加 68
6.3 单block多thread向量加 68
6.4 多block多thread向量加 69
6.5 CUBLAS库向量加法 70
6.6 实验结果分析与结论 71
6.6.1 本书实验平台 71
6.6.2 实验结果 71
6.6.3 结论 71
6.7 知识点总结 72
6.8 扩展练习 75
第7章 归约：向量内积 76
7.1 向量内积及其串行代码 76
7.2 单block分散归约向量内积 77
7.3 单block低线程归约向量内积 78
7.4 多block向量内积（CPU二次归约） 79
7.5 多block向量内积（GPU二次归约） 81
7.6 基于原子操作的多block向量内积 81
7.7 计数法实现多block向量内积 84
7.8 CUBLAS库向量内积 85
7.9 实验结果与结论 86
7.9.1 实验结果 86
7.9.2 结论 86
7.10 归约的深入优化探讨 87
7.10.1 block数量和thread数量对归约性能的影响 87
7.10.2 算术运算优化 88
7.10.3 减少同步开销 89
7.10.4 循环展开 90
7.10.5 总结 91
7.11 知识点总结 91
7.12 扩展练习 94
第8章 矩阵乘法 95
8.1 矩阵乘法及其3种串行代码 95
8.1.1 一般矩阵乘法 95
8.1.2 循环交换矩阵乘法 97
8.1.3 转置矩阵乘法 98
8.1.4 实验结果与最优串行矩阵乘 99
8.2 grid线程循环矩阵乘法 100
8.3 block线程循环矩阵乘法 101
8.4 行共享存储矩阵乘法 101
8.5 棋盘阵列矩阵乘法 103
8.6 判断移除 105
8.7 CUBLAS矩阵乘法 106
8.8 实验结果分析与结论 108
8.8.1 矩阵乘精度分析 108
8.8.2 实验结果分析 110
8.8.3 浮点运算能力分析 111
8.9 行共享存储矩阵乘法改进 111
8.10 知识点总结 113
8.11 扩展练习 115
第9章 矩阵转置 116
9.1 矩阵转置及其串行代码 116
9.2 1D矩阵转置 117
9.3 2D矩阵转置 118
9.4 共享存储2D矩阵转置 119
9.5 共享存储2D矩阵转置diagonal优化 120
9.6 实验结果分析与结论 121
9.7 共享存储2D矩阵转置的深入优化 122
9.8 知识点总结 124
9.9 扩展练习 125
第三篇 提高篇 129
第10章 卷积 129
10.1 卷积及其串行实现 129
10.1.1 一维卷积 129
10.1.2 二维卷积 131
10.2 GPU上1D卷积 134
10.3 M常量1D卷积 135
10.4 M共享1D卷积 136
10.5 N共享1D卷积 137
10.6 实验结果分析 139
10.6.1 扩展法1D卷积实验结果分析 139
10.6.2 判断法与扩展法1D卷积对比 140
10.6.3 加速比分析 141
10.6.4 线程维度对性能的影响 141
10.7 2D卷积的GPU移植与优化 142
10.7.1 GPU上2D卷积 142
10.7.2 M常量2D卷积 143
10.7.3 M常量N共享2D卷积 143
10.7.4 2D卷积实验结果分析 145
10.8 知识点总结 145
10.9 扩展练习 147
第11章 曼德博罗特集 148
11.1 曼德博罗特集及其串行实现 148
11.2 曼德博罗特集的GPU映射 150
11.3 一些优化尝试及效果 152
11.3.1 访存连续 152
11.3.2 uchar4访存合并 153
11.3.3 4种零拷贝 153
11.3.4 总结分析 155
11.4 计算通信重叠优化 156
11.5 突破kernel执行时间限制 159
11.6 知识点总结 160
11.7 扩展练习 162
第12章 扫描：前缀求和 163
12.1 前缀求和及其串行代码 163
12.2 Kogge-Stone并行前缀和 164
12.2.1 直接Kogge-Stone分段前缀和 164
12.2.2 交错Kogge-Stone分段前缀和 165
12.2.3 完整Kogge-Stone前缀和 166
12.3 Brent-Kung并行前缀和 168
12.3.1 Brent-Kung分段前缀和 169
12.3.2 两倍数据的Brent-Kung分段前缀和 170
12.3.3 避免bank conflict的两倍数据Brent-Kung分段前缀和 171
12.3.4 完整Brent-Kung前缀和 173
12.4 warp分段的Kogge-Stone前缀求和 174
12.5 实验结果分析与结论 177
12.6 知识点总结 179
12.7 扩展练习 180
第13章 排序 181
13.1 串行排序及其性能 181
13.1.1 选择排序 181
13.1.2 冒泡排序 182
13.1.3 快速排序 182
13.1.4 基数排序 183
13.1.5 双调排序网络 185
13.1.6 合并排序 186
13.1.7 串行排序性能对比 187
13.2 基数排序 188
13.2.1 基数排序概述 188
13.2.2 单block基数排序 189
13.2.3 基于thrust库的基数排序 196
13.3 双调排序网络 197
13.3.1 双调排序网络概述 197
13.3.2 单block双调排序网络 199
13.3.3 多block双调排序网络 202
13.4 快速排序 206
13.5 合并排序 207
13.6 实验结果分析与结论 208
13.7 知识点总结 209
13.8 扩展练习 210
第14章 几种简单图像处理 211
14.1 图像直方图统计 211
14.1.1 串行直方图统计 211
14.1.2 并行直方图统计 211
14.1.3 实验结果与分析 212
14.2 中值滤波 213
14.2.1 串行中值滤波 214
14.2.2 1D并行中值滤波 215
14.2.3 共享1D中值滤波 216
14.2.4 双重共享1D中值滤波 218
14.2.5 2D并行中值滤波 221
14.2.6 共享2D中值滤波 222
14.2.7 共享2D中值滤波的改进 227
14.2.8 实验结果与分析 229
14.3 均值滤波 231
14.3.1 串行均值滤波 231
14.3.2 并行均值滤波 232
14.3.3 实验结果与分析 233
第四篇 核心篇 237
第15章 GPU执行核心 237
15.1 概述 237
15.2 算术运算支持 238
15.2.1 整数运算 238
15.2.2 浮点运算 239
15.3 算术运算性能 240
15.4 分支处理 242
15.5 同步与测时 246
15.5.1 同步 246
15.5.2 测时 247
15.6 数学函数 247
15.7 warp与block原语 249
15.7.1 warp原语 249
15.7.2 block原语 250
15.8 kernel启动、线程切换和循环处理 251
第16章 GPU存储体系 254
16.1 概述 254
16.2 寄存器 259
16.3 局部存储 261
16.4 共享存储器 264
16.4.1 共享存储使用 264
16.4.2 bank conflict 265
16.4.3 volatile关键字 266
16.4.4 共享存储原子操作 267
16.5 常量存储 268
16.6 全局存储 269
16.6.1 全局存储的使用 269
16.6.2 全局存储的合并访问 271
16.6.3 利用纹理缓存通道访问全局存储 271
16.7 纹理存储 273
16.7.1 CUDA数组 273
16.7.2 纹理存储的操作和限制 274
16.7.3 读取模式、纹理坐标、滤波模式和寻址模式 276
16.7.4 表面存储 278
16.8 主机端内存 281
16.9 零拷贝操作 283
第17章 GPU关键性能测评 284
17.1 GPU性能测评概述 284
17.2 GPU参数获取 286
17.2.1 GPU选择 286
17.2.2 详细设备参数获取 287
17.3 精确测时方法汇总 288
17.3.1 clock测时 289
17.3.2 gettimeofday测时 289
17.3.3 CUDA事件测时 289
17.3.4 cutil库函数测时 290
17.4 GPU预热与启动开销 290
17.5 GPU浮点运算能力 291
17.6 GPU访存带宽 293
17.7 GPU通信带宽 295
17.8 NVIDIA Visual Profiler 296
17.9 程序性能对比约定 298
第18章 CPUs和GPUs协同 299
18.1 协同优化基点 299
18.1.1 CPU并行矩阵乘基点 299
18.1.2 GPU并行矩阵乘基点 300
18.2 CPU/GPU协同 300
18.3 多GPU协同 305
18.3.1 CUDA版本 306
18.3.2 OpenMP＋CUDA 308
18.3.3 MPI＋CUDA 311
18.4 CPUs/GPUs协同 314
18.4.1 CUDA版本 314
18.4.2 OpenMP＋CUDA 319
18.4.3 MPI＋OpenMP＋CUDA 324
18.5 本章小结 329
附录 333
附录A 判断法1D卷积代码 333
附录A.1 判断法1D卷积basic版 333
附录A.2 判断法1D卷积constant版 334
附录A.3 判断法1D卷积shared版 336
附录A.4 判断法1D卷积cache版 337
附录B 曼德博罗特集的系列优化代码 340
附录B.1 完整版串行C代码 340
附录B.2 cuda_1_0 343
附录B.3 cuda_0_2 345
附录B.4 cuda_zerocopy 346
附录B.5 cuda_1_0_zerocopy 348
附录B.6 cuda_0_0_zerocopy 349
附录B.7 cuda_0_2_zerocopy 351
附录B.8 cuda_2 352
附录B.9 cuda_1_2 354
附录C 几种图像处理完整源码 357
附录C.1 BMP图像读写头文件 357
附录C.2 图像直方图串行代码 373
附录C.3 串行中值滤波代码 374
附录C.4 并行均值滤波相关代码 376
附录D nvprof帮助菜单 383
附录E NVCC帮助菜单 388
附录F 几种排序算法源代码 399
附录F.1 bitonic_sort_block函数 399
附录F.2 GPU快速排序完整代码 400
附录F.3 GPU合并排序完整代码 408
参考文献 417