Hadoop云计算一体机实践指南PDF电子书下载

第1篇 理论部分 1

第1章 云计算理论 2

1.1云计算的概念 2

1.2云计算发展现状 2

1.3网格计算与云计算 5

1.4云计算的发展环境 7

1.4.1云计算与3G移动通信 7

1.4.2云计算与物联网 7

1.4.3云计算与移动互联网 8

1.4.4云计算与三网融合 9

1.5各大IT厂商云计算平台特点概述 10

1.6开源云计算系统概述 21

第2章 Hadoop理论 29

2.1 Hadoop简介 29

2.2 Hadoop架构 30

2.3 HDFS 30

2.3.1设计思想 30

2.3.2 Namenode和Datanode的划分 31

2.3.3文件系统操作和namespace的关系 31

2.3.4数据复制 32

2.3.5文件系统元数据的持久化 32

2.3.6通信协议 33

2.3.7健壮性 33

2.3.8数据组织 34

2.3.9访问接口 34

2.3.10空间的回收 35

2.4分布式数据处理MapReduce 35

第3章 Linux命令操作 38

3.1 Linux操作系统介绍 38

3.1.1 Linux操作系统的产生 38

3.1.2 Linux操作系统的开发模式 38

3.1.3 Linux操作系统的发展 39

3.2 Linux操作系统常用的shell命令 40

3.2.1基本命令 40

3.2.2文件目录操作命令 41

3.2.3 vi编辑器 43

3.2.4软件包安装命令 44

第2篇 基础实践部分 45

第4章 集群搭建 46

4.1 CentOS操作系统的安装 46

4.1.1实验目的 46

4.1.2实验设备 46

4.1.3实验内容 46

4.1.4实验步骤 46

4.2集群搭建 63

4.2.1实验目的 63

4.2.2实验设备 63

4.2.3实验内容 63

4.2.4实验步骤 63

4.3获取Hadoop安装包 84

4.3.1实验目的 84

4.3.2实验设备 84

4.3.3实验内容 84

4.3.4实验步骤 85

4.4启动和关闭Hadoop集群 89

4.4.1实验目的 89

4.4.2实验设备 89

4.4.3实验内容 89

4.4.4实验步骤 89

第5章 熟悉Hadoop本地集群 93

5.1熟悉Hadoop的一些常用命令 93

5.1.1实验目的 93

5.1.2实验设备 93

5.1.3实验内容 93

5.1.4实验步骤 93

5.2使用distcp进行并行复制 97

5.3 Web浏览Hadoop集群 98

5.3.1实验目的 98

5.3.2实验设备 98

5.3.3实验内容 98

5.3.4实验步骤 98

5.4使用Hadoop命令归档文件 99

第6章 Hadoop管理应用 102

6.1系统检查和报告 102

6.2了解HDFS的平衡命令 104

6.3权限设置 105

6.4配额管理 105

6.5启用回收站 106

第7章 HDFS实践 107

7.1使用HDFS上传文件 107

7.1.1实验目的 107

7.1.2实验设备 107

7.1.3实验内容 107

7.1.4实验原理 107

7.1.5实验步骤 109

7.2使用HDFS浏览文件和目录 110

7.2.1实验目的 110

7.2.2实验设备 110

7.2.3实验内容 110

7.2.4实验原理 110

7.2.5实验步骤 113

7.3使用HDFS打开、下载和删除文件 114

7.3.1实验目的 114

7.3.2实验设备 114

7.3.3实验内容 114

7.3.4实验原理 114

7.3.5实验步骤 117

第8章 MapReduce实践 119

8.1数据去重实验 119

8.1.1实验目的 119

8.1.2实验设备 119

8.1.3实验内容 119

8.1.4实验原理 120

8.1.5实验步骤 122

8.2数据排序实验 125

8.2.1实验目的 125

8.2.2实验设备 125

8.2.3实验内容 125

8.2.4实验原理 125

8.2.5实验步骤 128

8.3平均成绩实验 131

8.3.1实验目的 131

8.3.2实验设备 131

8.3.3实验内容 131

8.3.4实验原理 132

8.3.5实验步骤 134

8.4单表关联实验 136

8.4.1实验目的 136

8.4.2实验设备 136

8.4.3实验内容 136

8.4.4实验原理 137

8.4.5实验步骤 142

第3篇 项目实训部分 147

第9章 个人存储私有云综合实训 148

9.1实验目的 148

9.2实验设备 148

9.3实验内容 148

9.4实验原理 148

9.5实验步骤 153

第10章 气象数据分析云综合实训 161

10.1实验目的 161

10.2实验设备 161

10.3实验内容 161

10.4实验原理 161

10.5实验步骤 168

第11章 微信人物关系云综合实训 172

11.1实验目的 172

11.2实验设备 172

11.3实验内容 172

11.4实验原理 172

11.5实验步骤 181

第12章 云图书馆实例综合实训 186

12.1实验目的 186

12.2实验设备 186

12.3实验内容 186

12.4实验原理 186

12.5实验步骤 198

第13章 物联网与云计算（快递）实例 201

13.1实验目的 201

13.2实验设备 201

13.3实验内容 201

13.4实验原理 201

13.5实验步骤 207

参考文献 212