云计算与大数据技术PDF电子书下载

第1章云计算与大数据基础 1

1.1云计算技术概述 1

1.1.1 云计算简介 1

1.1.2云计算的特点 2

1.1.3云计算技术分类 3

1.2大数据技术概述 5

1.2.1大数据简介 5

1.2.2主要的大数据处理系统 8

1.2.3 大数据处理的基本流程 10

1.3云计算与大数据的发展 11

练习题 17

第2章 云计算 与大数据的相关技术 19

2.1云计算与大数据 19

2.2云计算与物联网 21

2.3一致性哈希算法 24

2.3.1一致性哈希算法的基本原理 24

2.3.2一致性哈希算法中计算和存储位置的一致性 25

2.4非关系型数据库 27

2.4.1从关系型数据库到非关系型数据库 27

2.4.2非关系型数据库的定义 28

2.4.3非关系型数据库的分类 28

2.5集群高速通信标准InfiniBand 29

2.6云计算大数据集群的自组织特性 30

练习题 32

第3章 虚拟化技术 33

3.1虚拟化技术简介 33

3.1.1虚拟化技术的发展 33

3.1.2虚拟化的描述 34

3.13 虚拟化技术的优势和劣势 35

3.1.4 虚拟化技术的分类 36

3.2常见虚拟化软件 39

3.2.1 VirtualBox 39

3.2.2 VMware Workstation 39

3.2.3 KVM 39

3.3系统虚拟化 40

3.3.1服务器虚拟化 41

3.3.2桌面虚拟化 43

3.3.3网络虚拟化 45

3.4使用KVM构建虚拟机群 46

练习题 48

第4章 集群系统基础 49

4.1集群系统的基本概念 49

4.2集群系统的分类 51

4.3单一系统映射 52

4.4 Beowulf集群 53

4.5集群文件系统 55

4.5.1 集群文件系统概念 55

4.5.2典型的集群文件系统Lustre 56

4.6分布式系统中计算和数据的协作机制 58

4.6.1基于计算切分的分布式计算 58

4.6.2基于计算和数据切分的混合型分布式计算技术——网格计算 60

4.6.3基于数据切分的分布式计算技术 61

4.6.4三种分布式系统的分析对比 63

练习题 65

第五章 MPI——面向计算的高性能集群技术 66

5.1什么是MPI 66

5.2MPI的架构和特点 67

5.3MPICH并行环境的建立 68

5.3.1配置前的准备工作 68

5.3.2挂载NFS 68

5.3.3配置ssh实现MPI节点间用户的无密码访问 69

5.3.4 安装MPICH2 70

5.3.5建立并行训算环境时的注意事项 72

5.4 MPI分布式程序设计基础 72

5.4.1最简单的并行程序 73

5.4.2获取进程标志和机器名 76

5.4.3有消息传递功能的并行程序 78

5.4.4 Monte Carlo法在并行程序设计中的应用 82

5.4.5并行计算中节点问的Reduce操作 84

5.4.6用MPl的6个基本函数实现Reduce 函数功能 87

5.4.7设计MPI并行程序时的注意事项 89

练习题 90

第 6 章 Hadoop——分布式大数据系统 91

6.1 Hadoop概述 91

6.2 HDFS 92

6.2.1 HDFS文件系统的原型GFS 92

6.2.2 HDFS文件的基本结构 94

6.2.3 HDFS的存储过程 95

6.3 MapReduce编程框架 96

6.3.1 MapReduce的发展历史 96

6.3.2 MapReduce的基本工作过程 96

6.3.3 LISP中的MapReduce 99

6.3.4MapReduce的特点 100

6.4实现Map/Reduce的C语言实例 101

6.5建立Hadoop 开发环境 104

6.5.1相关准备工作 105

6.5.2 JDK的安装配置 105

6.5.3下载、解压 Hadoop，配置Hadoop环境变量 106

6.5.4修改Hadoop配置文件 107

6.5.5将配 置好的Hadoop文件复制到其他节点 108

6.5.6启动、停止 Hadoop 108

6.5.7在Hadoop系统上运行测试程序WordCount 109

练习题 111

第7 章 FHPCC——面向数据的高性能计算集群系统 112

7.1 HPCC简介 113

7.2 HPCC的系统架构 115

7.3 HPCC平台数据检索任务的执行过程 117

7.4 HPCC的安装部署 118

7.5数据的加载、切分和分发 123

7.6 ECL语言基础知识 126

7.6.1 ECL语言的保留关键字 127

7.6.2 ECL语言的记录定义和操作 128

7.6.3 ECL语言集成开发环境 129

7.7 ECL语言编程实例 130

7.7.1声明数据文件中的记录结构 130

7.7.2读取数据文件生成数据集 131

7.7.3 统计记录条数 131

7.7.4将数据集中的小写字母改为大写 132

7.7.5建立索引实现对数据集的检索 133

7.7.6发布数据 135

7.7.7 HPCC中的WordCount操作 137

练习题 139

第 8 章 Storm——基于拓扑的流数据实时计算系统 141

8.1 Storm简介 141

8.2 Storm原理及其体系结构 142

8.2.1 Storm编程模型原理 142

8.2.2 Storm体系结构 143

8.3搭建Storm开发环境 144

8.3.1 Storm的安装步骤 144

8.3.2 Storm的设置 146

8.3.3 Storm的启启动 147

8.4 Storm使用实例 148

8.4.1使用Maven管理storm-starter 148

8.4.2 WordCountTopology实例分析 150

练习题 154

第9章 服务器与数据中心 155

9.1数据中心的发展历史 155

9.2数据中心的基本单元——服务器 159

9.3数据中心选址 161

9.4 数据中心的能耗 161

练习题 163

第10章 云计算大数据仿真技术 164

10.1用参数定义物理设备进行仿真 164

10.2云计算仿真系统——CloudSim 165

10.2.1 CloudSim基础 165

10.2.2 CloudSim体系结构 167

10.2.3 CloudSim的便用模型物景 169

10.2.4 CloudSim使用实例 170

10.3云计算系统相空问模型 176

练习题 178

参考文献 179