第1章 绪论 1
1.1 MATLAB程序的加速 1
1.2 MATLAB程序加速的可能途径 2
1.2.1 基于多核CPU的MATLAB程序加速 2
1.2.2 基于大内存的MATLAB程序加速 3
1.2.3 基于英伟达公司GPU的MATLAB程序加速 3
1.2.4 基于AMD公司GPU的MATLAB程序加速 4
1.2.5 基于Intel公司Xeon Phi的MATLAB程序加速 4
1.3 MATLAB程序加速的度量 4
1.4 基于GPU计算的MATLAB程序的编制 5
1.4.1 并行计算工具箱简介 6
1.4.2 CUDA库 6
1.4.3 CUDA编程 6
第2章 MATLAB程序的性能评估 7
2.1 bench（）函数 8
2.2 tic（）函数/toc（）函数 8
2.3 timeit（）函数 9
2.4 cputime（）函数 9
2.5 clock（）函数和etime（）函数 10
2.6 gputimeit（）函数 11
2.7 MATLAB探查器 11
第3章 基于多核处理器的MATLAB程序加速 16
3.1 MATLAB矩阵及运算符 16
3.1.1 MATLAB矩阵的创建 17
3.1.2 矩阵的性质的检验 18
3.1.3 MATLAB矩阵的操作 19
3.2 MATLAB函数 24
3.2.1 MATLAB函数的定义 24
3.2.2 MATLAB函数的执行 25
3.3 语句与代码 25
3.3.1 分支结构 26
3.3.2 循环结构 27
3.4 MATLAB代码 28
3.5 MATLAB并行设置 28
3.6 基于并行for循环（parfor循环）的MATLAB程序加速 29
第4章 基于大内存的MATLAB程序的加速 31
4.1 内存条的选择与安装 31
4.2 内存预分配 32
4.2.1 已知数组大小 33
4.2.2 未知数组大小 33
4.3 MATLAB向量化简介 34
4.4 MATLAB矩阵运算的向量化 35
4.4.1 创建MATLAB矩阵的函数 35
4.4.2 数据复制 36
4.4.3 MATLAB的矩阵变换函数 36
4.4.4 索引 38
4.4.5 矩阵操作的向量化 39
4.4.6 符合条件的元素总数 41
4.5 MATLAB函数的向量化 42
4.5.1 基于arrayfun（）函数、bsxfun（）函数、cellfun（）函数、spfun（）函数和structfun（）函数的向量化 42
4.5.2 基于pagefun（）函数的向量化 44
4.6 MATLAB语句的向量化 48
第5章 基于并行计算工具箱的MATLAB加速 50
5.1 GPU卡的选择与安装 50
5.1.1 GPU卡的选择 50
5.1.2 电源功率 51
5.1.3 散热问题 51
5.2 基于并行计算工具箱的GPU计算简介 51
5.3 基于并行计算工具箱的矩阵运算 54
5.3.1 在设备端（GPU端）直接创建MATLAB矩阵 54
5.3.2 在设备端（GPU端）生成随机数矩阵 59
5.3.3 设备端（GPU端）的稀疏矩阵 60
5.3.4 设备端（GPU端）矩阵的数据类型 61
5.3.5 设备端（GPU端）矩阵的检验 61
5.3.6 设备端（GPU端）矩阵的操作 62
5.4 基于并行计算工具箱的设备端（GPU端）函数 62
5.4.1 设备端（GPU端）函数的定义 62
5.4.2 设备端（GPU端）函数的执行 63
5.5 基于设备端（GPU端）大内存的MATLAB程序的加速 63
5.6 例子 64
5.6.1 卷积神经网络前向传播的卷积层 64
5.6.2 卷积神经网络前向传播的激活函数 65
5.6.3 卷积神经网络前向传播的降采样层 66
5.6.4 卷积神经网络后向传播的升采样层 66
5.6.5 卷积神经网络后向传播的卷积层 67
5.6.6 卷积神经网络后向传播中的梯度计算 68
第6章 MATLAB与C/C＋＋的接口 70
6.1 MEX库API 71
6.1.1 MEX相关的函数 71
6.1.2 从MEX中调用MATLAB函数 72
6.1.3 mexGet（）函数 72
6.1.4 MEX库API与输入输出相关的函数 73
6.1.5 MEX库API与锁定相关的函数 73
6.2 MATLAB的C/C＋＋矩阵库API 74
6.2.1 定义MEX函数的数据类型 74
6.2.2 创建数组、分配内存和释放内存 75
6.2.3 数据类型校验：数组的数据类型和性质 78
6.2.4 数据存取：从数组读取和写入数据 80
6.2.5 数据类型转换：将字符串数组和结构数组转换成对象数组 82
6.3 MEX函数编译器 82
6.3.1 MEX介绍 82
6.3.2 编译MEX 83
6.3.3 MEX文件的查错 83
第7章 基于CUDA库的MATLAB加速 84
7.1 基于CUDA库的MATLAB加速简介 85
7.2 基于ArrayFire库的MATLAB加速简介 85
7.2.1 ArrayFire简介 85
7.2.2 ArrayFire数组 86
7.2.3 ArrayFire函数 87
7.2.4 CUDA的混合编程 88
7.2.5 实例 88
7.3 基于其他CUDA库的MATLAB加速简介 94
第8章 GPU计算简介 95
8.1 芯片技术的发展与摩尔定律 95
8.2 每秒浮点运算次数 96
8.3 GPU计算加速的度量 98
8.3.1 GPU程序的加速比 98
8.3.2 阿姆达尔定律和古斯塔夫森定律 98
8.3.3 并行程序的并行状况 99
8.4 并行计算部件 99
8.4.1 张量处理器 99
8.4.2 现场可编程门阵列 100
8.4.3 类脑处理器 100
8.4.4 视觉处理器 101
8.4.5 物理处理器 101
8.4.6 图形处理器 101
8.5 英伟达公司GPU简介 102
8.5.1 计算单元 102
8.5.2 GPU内存 102
8.5.3 计算能力 104
8.5.4 GPU当前状态的检测 104
8.5.5 GPU集群设置 106
8.5.6 集群管理软件 107
第9章 CUDA编程简介 108
9.1 CUDA核 110
9.2 CUDA线程与线程块 112
9.2.1 CUDA线程 112
9.2.2 CUDA线程块 114
9.3 内存结构与管理 116
9.3.1 全局内存 117
9.3.2 共享内存 118
9.3.3 锁页内存 120
9.3.4 纹理内存和表面内存 122
9.4 并行管理 122
9.4.1 非同步并行执行 122
9.4.2 流和事件 124
9.4.3 同步调用 124
9.5 CUDA流 124
9.5.1 CUDA流的创建和结束 125
9.5.2 默认CUDA流 125
9.5.3 显式同步 125
9.5.4 隐式同步 126
9.5.5 重叠行为 126
9.5.6 回调函数 127
9.5.7 CUDA流的优先级 127
9.6 CUDA事件 127
9.6.1 CUDA事件的创建与清除 128
9.6.2 CUDA事件的运行 128
9.7 多设备系统 129
9.7.1 多设备系统的初始化 129
9.7.2 多设备系统的设备计数 129
9.7.3 多设备系统的设备选择 130
9.7.4 多设备系统的CUDA流和CUDA事件 130
9.7.5 不通过统一虚拟地址的多设备系统的设备间的内存复制 131
9.7.6 通过统一虚拟地址的多设备系统的设备间的内存复制 132
9.8 动态并行 133
9.8.1 动态并行简介 133
9.8.2 动态并行的编程模型 134
9.8.3 动态并行的环境配置 135
9.8.4 动态并行的内存管理 135
9.8.5 动态并行的嵌套深度 137
9.9 统一虚拟地址空间 138
9.9.1 统一虚拟地址空间简介 138
9.9.2 统一内存编程的优点 139
9.9.3 统一内存分配 141
9.9.4 统一内存的连续性与并行性 142
9.9.5 统一内存的检验 144
9.9.6 统一内存的性能优化 145
9.10 CUDA的编译 146
9.10.1 CUDA编译工作流 147
9.11 CUDA程序实例 148
9.11.1 序列蒙特卡罗的类别分布随机数 149
9.11.2 哈尔变换 152
第10章 CUDA程序优化 154
10.1 CUDA程序优化的策略 154
10.2 指令级别的优化 154
10.2.1 算术指令吞吐量最大化 155
10.2.2 控制流指令 156
10.2.3 同步指令 157
10.3 线程和线程块级别的优化 157
10.3.1 warp简介 157
10.3.2 CUDA线程块的warp数量 158
10.3.3 CUDA占用率 159
10.3.4 线程warp对设备端（GPU端）内存读写 160
10.4 CUDA核级别的优化 164
10.4.1 优化CUDA核参数 164
10.4.2 减少内存同步 165
10.4.3 减少寄存器总量 165
10.4.4 提高指令层次的并行度 165
10.5 CUDA程序级别的优化 166
第11章 基于CUDA的MATLAB加速 168
11.1 基于CUDAKernel的MATLAB加速 168
11.2 基于MEX函数的MATLAB加速 169
11.3 多GPU编程 170
11.4 例子 172
11.4.1 基于MEX函数的多GPU矩阵相加 172
11.4.2 基于MEX函数的多GPU的LSE函数 187
第12章 总结 196
12.1 加速MATLAB编程方法的比较 196
12.2 进一步加速MATLAB 198
12.2.1 多路多核处理器的MATLAB程序加速 198
12.2.2 基于AMD公司GPU的MATLAB程序加速 199
12.2.3 基于Intel公司Xeon Phi的MATLAB程序加速 199
参考文献 201