第一章 并行技术概述 1
第一节 并行技术的定位 2
一、并行处理和并行计算 3
二、计算与计算科学 6
三、计算能力与计算需求 7
第二节 超级计算机 10
一、超级计算机的战略意义及其发展历史 10
二、全球超级计算机排名 11
三、超级计算机的发展史 13
第三节 并行计算的能力和效率 20
第四节 并行技术的主要实现形式 27
第五节 多核技术的挑战和机遇 35
第二章 并行计算系统的基本架构 41
第一节 计算机体系结构概述 42
一、计算机体系结构的概念 42
二、计算机组成的概念 43
三、计算机体系结构分类 43
四、SIMD计算机 45
五、向量计算机 45
六、MIMD计算机 47
第二节 MIMD结构的并行计算机分类 49
一、并行计算机组成的三要素 49
二、并行计算机互联网络的拓扑结构 54
三、MIMD并行计算机的分类 60
第三节 并行计算机分类 61
一、访存模型 62
二、Cache管理技术 64
三、并行计算机分类 66
第三章 并行操作系统 74
第一节 操作系统回顾 74
一、操作系统 75
二、进程 76
三、线程 85
第二节 从操作系统角度看并行计算系统 89
一、网络操作系统 90
二、分布式操作系统 91
三、多处理器操作系统 93
第三节 多线程对多处理器并行系统的支持 96
一、多线程的实现 96
二、多线程的处理机调度 100
第四节 分布主存并行计算系统的任务分配和调度 102
一、典型的分布主存并行计算系统 103
二、分布主存并行系统处理器分配调度算法模型 108
三、进程间通信技术 108
第五节 虚拟存储技术 115
一、私有虚存 116
二、共享虚存 117
第六节 数据一致性管理 118
一、一致性的模式 118
二、存储器一致性模式与编程模型 125
三、DSM系统的软件实现 126
第四章 并行算法基础 128
第一节 并行算法的度量 129
第二节 相关性分析 131
第三节 并行计算、并行编程模型与并行算法的关系 133
一、SPMD和MPMD并行计算系统 133
二、具体问题的并行求解过程 134
三、并行编程模型简介 135
第四节 并行算法的设计 138
一、SPMD和MPMD并行算法的设计 138
二、典型的并行算法设计思路 140
第五节 并行算法的分类及发展 143
第六节 关于矩阵乘法的典型并行算法 145
一、行列划分算法 146
二、Cannon算法 147
第五章 并行编程基础 154
第一节 并行编程概述 155
一、并行编程的现状 155
二、并行编程为什么落后于串行编程的讨论 155
三、关于并行语言 156
四、并行编程模型和并行编程语言的分类及评价标准 157
第二节 进程的同构性、并行性 159
第三节 进程间的交互 160
一、进程交互简介 160
二、进程同步 161
三、进程通信的多种模式 162
第四节 共享存储器并行编程 163
一、Pthreads简介 164
二、程序举例 171
第五节 消息传递并行编程基础 176
第六节 数据并行编程模型 179
一、HPF简介 180
二、HPF的数据并行和数据映射 181
第七节 并行程序性能评价 184
一、浮点峰值性能与实际浮点性能 185
二、数值效率和并行效率 186
三、可扩展分析 188
四、串行程序的优化 189
五、并行程序性能优化 194
第六章 MPI并行编程 197
第一节 两个MPI程序及其相关分析 198
一、MPI并行编程的三种模式 198
二、两段MPI例程 200
第二节 MPI基础知识 208
一、MPI的目标 208
二、MPI的发展 210
三、MPI的绑定 210
四、目前主要的MPI实现 211
五、MPI程序的一些惯例 211
第三节 MPI核心接口 212
一、MPI接口参数说明 212
二、MPI核心接口及相关示例 214
三、MPI预定义数据类型 219
四、MPI数据类型匹配 221
五、MPI数据转换 223
第四节 MPI消息 224
一、MPI消息的组成 224
二、任意源和任意标识 225
三、MPI通信域 225
第五节 简单MPI示例 226
一、用MPI实现计时功能 226
二、获取机器的名字和MPI版本号 229
三、是否初始化及错误退出 231
四、数据接力传送 233
五、任意进程间相互问候 236
六、任意源和任意标识的使用 239
七、编写安全的MPI程序 240
八、阶段小结 243
第六节 点对点通信函数与通信模式 245
第七节 聚合通信与同步 248
第八节 自定义数据类型 249
第九节 进程组与通信器 254
第十节 进程拓扑结构 255
第十一节 文件输入／输出 256
第七章 Linux机群 262
第一节 构建Linux机群的要素 264
第二节 Linux操作系统的安装与基本操作 266
一、Linux系统的安装 267
二、基本使用与管理 270
第三节 Linux下的程序开发环境 278
一、第一个C程序 278
二、Fortran程序的开发 287
三、软件开发 293
第四节 MPICH安装与程序编译、运行、调试 309
一、单机环境下MPICH的安装 309
二、机群环境下MPICH的安装 315
第五节 安装配置基于Linux的并行计算集群 321
一、在单机上安装、配置MPI并行环境 321
二、在联网的多台机器上安装、配置MPI并行环境 323
三、专用并行机群系统的配置 328
参考文献 331