云计算和大数据技术 概念 应用与实战 第2版PDF电子书下载

第1章 云计算基础 1

1.1云计算技术概述 1

1.1.1云计算简介 1

1.1.2云计算的特点 2

1.1.3云计算技术分类 3

1.1.4计算机技术向现代信息技术演进的历程 6

1.2集群系统概述 7

1.2.1集群系统的基本概念 7

1.2.2集群系统的分类 8

1.3分布式系统中计算和数据的协作机制 8

1.3.1基于计算切分的分布式计算 8

1.3.2基于计算和数据切分的混合型分布式计算技术——网格计算 10

1.3.3基于数据切分的分布式计算技术 11

1.3.4三种分布式系统的分析对比 13

1.4云计算与物联网 14

练习题 16

第2章 大数据基础 17

2.1大数据技术概述 17

2.1.1大数据简介 17

2.1.2大数据产生的原因 18

2.1.3数据的计量单位 19

2.1.4大数据是人类认识世界的新手段 19

2.1.5几类高性能计算系统对比分析 20

2.1.6主要的大数据处理系统 21

2.1.7大数据处理的基本流程 23

2.2大数据的典型应用示例 24

2.2.1大数据在高能物理中的应用 24

2.2.2推荐系统 25

2.2.3搜索引擎系统 25

2.2.4百度迁徙 26

2.3大数据中的集群技术 26

2.3.1集群文件系统的基本概念 26

2.3.2集群系统概述 27

2.3.3大数据并行计算的层次 29

2.3.4大数据系统的分类方法 30

2.3.5单一系统映象 31

2.3.6集群中的一致性 31

2.4云计算与大数据的发展 33

2.4.1云计算与大数据发展历程 33

2.4.2为云计算与大数据发展做出贡献的科学家 36

2.4.3云计算与大数据的国内发展现状 37

练习题 38

第3章 虚拟化技术 39

3.1虚拟化技术简介 39

3.1.1虚拟化技术的发展 39

3.1.2虚拟化技术的优势和劣势 40

3.1.3虚拟化技术的分类 41

3.2常见虚拟化软件 43

3.2.1 VirtualBox 43

3.2.2 VMware Workstation 43

3.2.3 KVM 44

3.3系统虚拟化 44

3.3.1服务器虚拟化 45

3.3.2桌面虚拟化 47

3.3.3网络虚拟化 49

3.4任务使用KV M构建虚拟机群 49

3.4.1子任务1系统环境设置 49

3.4.2子任务2安装虚拟化软件包 50

3.4.3子任务3虚拟系统管理器的使用 51

3.4.4子任务4虚拟机的远程访问 53

练习题 54

第4章 虚拟化平台 55

4.1 XenServer简介 55

4.1.1 XenServer优点 56

4.1.2 XenServer硬件要求 56

4.2任务一XenServer部署 57

4.2.1子任务1XenServer的安装 57

4.2.2子任务2 XenCenter的安装 60

4.2.3子任务3制作模板 62

4.2.4子任务4创建虚拟机 66

4.3 VMware vSphere 69

4.3.1 VMware vSphere体系结构 69

4.3.2 VMware vSphere 硬件及其功能 70

4.3.3 VMware vSphere硬件要求 71

4.4任务二vSphere部署 73

4.4.1子任务1ESXi的安装 73

4.4.2子任务2 vSphere Client的安装 75

练习题 79

第5章 面向计算——MPI 80

5.1 MPI概述 80

5.2 MPI的架构和特点 80

5.3任务一MPICH并行环境的建立 81

5.3.1子任务1系统环境设置 82

5.3.2子任务2用户创建和SSH设置 82

5.3.3子任务3 NFS服务的安装 83

5.3.4子任务4 MPICH编译运行 83

5.4任务二MPI分布式程序设计 84

5.4.1子任务1简单并行程序的编写 85

5.4.2子任务2获取进程标志和机器名 86

5.4.3子任务3有消息传递功能的并行程序 88

5.4.4子任务4 Monte Carlo法在并行程序设计中的应用 91

5.4.5子任务5并行计算中节点间的Reduce操作 93

5.4.6设计MPI并行程序时的注意事项 95

练习题 96

第6章 分布式大数据系统——Hadoop 97

6.1 Hadoop概述 97

6.2 HDFS 97

6.2.1 Google文件系统（GFS） 98

6.2.2 HDFS文件的基本结构 99

6.2.3 HDFS的存储过程 100

6.2.4 YARN架构 101

6.3任务一搭建Hadoop系统 102

6.3.1子任务1系统环境设置 102

6.3.2子任务2用户创建和SSH设置 103

6.3.3子任务3 Hadoop安装和配置 103

6.3.4子任务4 Hadoop的启动和查看 106

6.4 分布式计算框架MapReduce 107

6.4.1 MapReduce的发展历史 107

6.4.2 MapReduce的基本工作过程 107

6.4.3 MapReduce的特点 110

6.5任务二Map/Reduce的C语言实现 111

6.6任务三在Hadoop系统运行 MapReduce程序 112

练习题 113

第7章 分布式数据库——HBase 114

7.1 HBase 114

7.1.1 HBase简介 114

7.1.2 HBase物理模型 115

7.1.3 HBase架构及基本组件 116

7.1.4 HBase组织结构 117

7.2任务HBase的搭建与使用 118

7.2.1子任务1HBase环境的搭建 118

7.2.2子任务2 HBase的启动 120

7.2.3子任务3 HBase Shell的使用 120

7.2.4子任务4 HBase编程 121

练习题 128

第8章 数据仓库平台——Hive 129

8.1 Hive 129

8.1.1 Hive简介 129

8.1.2 Hive的体系结构 129

8.1.3 Hive元数据存储 130

8.1.4 Hive的数据存储 132

8.1.5 Hive和普通关系型数据库的差异 132

8.2任务Hive的搭建与使用 134

8.2.1子任务1MySQL的搭建 134

8.2.2子任务2 Hive环境的搭建 135

8.2.3子任务3 Hive Client的搭建 137

8.2.4子任务4 Hive的基本操作 138

8.2.5子任务5 Hive内部表与外部表的操作 139

8.2.6子任务6 HWI的使用 140

8.2.7子任务7 Beeline与JDBC编程 142

8.2.8子任务8 Hive与HBase集成 145

练习题 147

第9章 基于拓扑的流数据实时计算系统——Storm 149

9.1 Storm简介 149

9.2 Storm原理及其体系结构 150

9.2.1 Storm编程模型原理 150

9.2.2 Storm体系结构 151

9.2.3 ZooKeeper工作原理 151

9.3任务一搭建Storm开发环境 152

9.3.1子任务1系统环境设置 153

9.3.2子任务2安装Python工具包 153

9.3.3子任务3安装ZeroMQ和JZMQ工具包 154

9.3.4子任务4安装ZooKeeper工具包 155

9.3.5子任务5安装Storm工具包 156

9.3.6子任务6复制工具包 157

9.3.7子任务7 Storm的启动 158

9.4任务二Storm使用实例 159

9.4.1子任务1安装Maven工具包 159

9.4.2子任务2使用Maven管理 storm-starter 160

9.4.3子任务3 WordCountTopology实例分析 161

练习题 164

第10章 云存储系统——Swift 165

10.1云存储概述 165

10.1.1什么是云存储 165

10.1.2云存储的分类 165

10.1.3云存储的特点 166

10.1.4存储系统类别 167

10.1.5 CAP理论 167

10.2 Swift简介 168

10.2.1 Swift的发展历程 168

10.2.2 Swift的特性 168

10.2.3 Swift工作原理 169

10.2.4环的数据结构 169

10.2.5 Swift的系统架构 170

10.3任务一Swift安装部署 172

10.3.1子任务1系统环境设置 172

10.3.2子任务2配置yum源 173

10.3.3子任务3安装配置keystone服务 174

10.3.4子任务4安装配置proxy节点 178

10.3.5子任务5安装配置存储节点 181

10.4任务二jclouds-swift编程 184

练习题 189

参考文献 190