微机集群组建、优化和管理PDF电子书下载

第1章 超级计算机的发展方向 1

1.1 市场是决定性的因素 1

1.2 微机集群的历史 2

1.3 微机集群的现状 5

1.4 微机集群的技术 6

1.5 微机集群的可靠性 9

1.6 微机集群的优势 10

1.7 微机集群的局限 11

1.8 微机集群的趋势 12

第2章 并行计算概念及其所需的网络服务 14

2.1 并行计算的基本概念 14

2.1.2 串行计算程序 15

2.1.1 一维数值积分例子 15

2.1.3 并行计算的基本概念 17

2.2 消息传递界面并行计算 18

2.2.1 消息传递模式的并行计算 18

2.2.2 MPI 并行计算的初始化 19

2.2.3 MPI 并行计算编程 20

2.3 TCP/IP 通信协议 22

2.3.1 TCP/IP 通信协议 23

2.3.2 IP 地址 24

2.3.3 子网掩码(netmask) 24

2.3.4 路由(router) 26

2.3.5 域名(domain) 26

2.4 微机集群所需的网络功能 26

2.4.1 微机集群的网络结构 27

2.4.2 网络信息服务(NIS) 28

2.4.3 网络文件系统(NFS) 28

2.4.4 远程 Shell 命令(rsh) 30

2.5 微机集群的网络设计 31

2.5.1 域名 31

2.5.2 IP 地址 31

2.5.3 所需安装的软件 32

第3章 微机集群的 Linux 安装和配置 34

3.1 Linux 系统安装 34

3.1.1 进入安装 34

3.1.2 硬盘分区 36

3.1.3 选择软件 44

3.1.4 启动预设置 46

3.1.5 安装过程 48

3.2 YaST 管理工具 50

3.2.1 什么是 YaST 50

3.2.2 YaST 管理功能 52

3.3 微机集群服务器的网络功能设置 53

3.3.1 基本网络设置 53

3.3.2 NFS 设置 58

3.3.3 NIS 设置 61

3.3.4 启动网络服务 64

3.4 微机集群节点机的网络功能设置 65

3.4.1 基本网络设置 65

3.4.2 NFS 设置 68

3.4.4 启动网络服务 71

3.4.3 NIS 设置 71

3.5.1 了解内核 72

3.5 内核的重新编译 72

3.5.2 内核编译步骤 73

3.5.3 LILO 引导启动设置 77

3.5.4 内核选项简介 79

3.6 并行环境 lam mpi 的安装 80

3.6.1 lam mpi 软件及其获取 80

3.6.2 lam mpi 软件安装步骤 81

3.6.3 lam mpi 软件的简单测试 82

第4章 微机集群的性能测试 83

4.1 微机集群的连接 83

4.1.2 网线的接口标准 84

4.1.1 网络的连接材料 84

4.1.3 网线的制作过程 85

4.1.4 两台微机的直接连接 85

4.2 集群所需网络功能的检测 86

4.2.1 网络基本性能 86

4.2.2 NIS 92

4.2.3 NFS 93

4.2.4 rsh 97

4.3 启动 lam mpi 并行平台常遇问题 98

4.3.1 基本的网络问题 98

4.3.2 节点机中 lam 的路径问题 99

4.3.3 节点机中/tmp 目录问题 101

4.4.1 并行计算程序及编译 103

4.4 一维数值积分并行程序测试 103

4.4.2 执行 lam mpi 并行计算的步骤 106

4.4.3 串行计算程序 108

4.4.4 串、并行计算速度比较 109

4.4.5 并行计算中的负载平衡问题 110

4.5 lamtests 测试 112

4.5.1 lamtests 的测试内容和获取 112

4.5.2 lamtests 的编译和测试 112

4.6 Linpack 速度测试 113

4.6.1 什么是 Linpack 速度测试 113

4.6.2 Linpack 测试程序包的获取和编译 114

4.6.3 Linpack 测试速度 116

4.6.4 Linpack 测试的可调参数 118

第5章 微机集群的性能优化 119

5.1 节点机的网络唤醒和停机 120

5.1.1 网络唤醒的 BIOS 设置 120

5.1.2 网络唤醒的驱动 121

5.1.3 节点机的网络唤醒 122

5.1.4 让指定的普通用户执行部分管理功能 123

5.1.5 节点机的停机和重启 124

5.2 用 dhcp 服务器进行网络配置 125

5.2.1 dhcp 协议及服务功能 125

5.2.2 dhcp 服务器的安装 125

5.2.3 dhcp 服务器的配置和启动 127

5.2.4 dhcp 客户机的配置 130

5.2.5 dhcp 服务器的配置文件 130

5.3.1 ghost 软件 132

5.3 如何复制节点机 132

5.3.2 硬盘对硬盘复制 133

5.4 网络启动 136

5.4.1 为何需要网络启动 136

5.4.2 网络启动过程 137

5.4.3 网络启动的硬件要求 138

5.4.4 网络启动的节点机安装和配置 138

5.4.5 网络启动的服务器配置 139

5.4.6 网络启动的 tftp 设置 141

5.4.7 网络启动的内核选择 141

5.4.8 网络启动的有关问题 143

5.5.1 为何需要网卡捆绑 146

5.5 网卡捆绑 146

5.5.2 网卡捆绑的原理 147

5.5.3 网卡捆绑的实现 147

5.5.4 网卡捆绑的内核选择 150

5.5.5 网卡捆绑的网络结构 150

5.6 节点机该启动哪些进程 151

5.6.1 Linux 的启动过程 151

5.6.2 初始化控制表 inittab 151

5.6.3 启动进程文件 boot 152

5.6.4 运行级别 runlevel 153

5.6.5 启动服务文件 rc 154

5.6.6 启动服务目录 rc.d 155

5.6.7 启动节点机进程 156

6.1.1 任务管理的必要性 157

6.1 OpenPBS 概述 157

第6章 微机集群的任务管理 157

6.1.2 OpenPBS 的管理功能 158

6.2 OpenPBS 执行码 159

6.2.1 OpenPBS 执行码的获取 159

6.2.2 OpenPBS 执行码的安装 159

6.2.3 OpenPBS 执行码的局限 160

6.3 OpenPBS 源代码的编译安装 161

6.3.1 解开源代码 161

6.3.2 安装 Tcl-devel 工具 161

6.3.3 编译设置 161

6.3.4 编译 163

6.3.5 安装 164

6.4.1 pbs_server 的第一次启动 165

6.4 OpenPBS 的启动和停止 165

6.4.2 pbs_mom 在节点机的启动 166

6.5 OpenPBS 的命令 166

6.5.1 qmgr 命令 166

6.5.2 qmgr 命令的常用功能 167

6.6 OpenPBS 的简单设置 168

6.6.1 最简单的 queue 的设置 168

6.6.2 最简单的 server 的设置 169

6.6.3 最简单的 node 的设置 169

6.6.4 调度(scheduling)设置 170

6.6.5 PBS 简单设置的实例 170

6.7 OpenPBS 的工作目录和主要文件 172

6.7.2 sched_priv 目录 173

6.7.1 PBS 目录中的关键文件 173

6.7.3 server_priv 目录 174

6.7.4 mom_priv 目录 175

6.8 OpenPBS 的用户命令 175

6.8.1 用户脚本例子 175

6.8.2 用户任务的递交 176

6.8.3 用户任务的删除 176

6.8.4 用户任务的查询 177

6.9 OpenPBS 两个重要的批处理文件 178

6.9.1 prologue 和 epilogue 文件 178

6.9.2 命令行参数的意义 179

6.9.3 环境变量的意义 179

A.1.1 文件概念 180

A.1.2 Linux 基本指令 180

附录A Linux 系统基础 180

A.1 基本 Shell 命令 180

A.2 vi 编辑器 183

A.2.1 vi 的基本操作 184

A.2.2 vi 的命令模式 184

A.2.3 全局搜索替换 185

A.3 Shell 脚本程序 185

A.3.1 Shell 脚本简介 185

A.3.2 Shell 变量及其运算 186

A.3.3 流程控制 188

A.3.4 bash 介绍 189

A.4.1 程序的编译 190

A.4 make 工具 190

A.4.2 make 的功能 191

A.4.3 make 工作流程 191

A.4.4 makefile 文件 192

A.5 软件包管理器 rpm 193

A.5.1 主要选项 193

A.5.2 安装 193

A.5.3 卸载 194

A.5.4 查询 194

附录B 微机集群的硬件选择 195

B.1 计算节点 195

B.1.1 服务器还是微机 195

B.1.2 CPU 195

B.1.4 双 CPU 的利弊 197

B.1.3 主流 CPU 比较 197

B.1.5 内存 198

B.1.6 主机板 199

B.2 网络硬件 199

B.2.1 以太网 199

B.2.2 Myrinet 200

B.2.3 网卡 200

B.2.4 交换机 200

B.3 其他 201

B.3.1 散热 201

B.3.2 机柜、机箱 202

B.3.3 电源 202

后记 204