Hadoop云技术从入门到精通PDF电子书下载

第1章 云计算概述 1

1.1云计算的定义 1

1.1.1灵活资源分配 2

1.1.2按需收费 2

1.1.3虚拟化 2

1.1.4网络化 2

1.1.5高可靠性 3

1.2云计算的分类 3

1.2.1按技术路线分类 3

1.2.2按服务对象分类 4

1.2.3按资源封装的层次分类 5

1.3云计算发展简介 6

1.3.1发展历程 6

1.3.2国内现状 7

1.3.3国外现状 7

1.4云计算技术 8

1.4.1编程模式 8

1.4.2虚拟化技术 9

1.4.3存储技术 9

1.4.4 云计算平台管理技术 10

1.5小结 10

第2章 Hadoop简介 11

2.1 Hadoop起源 11

2.2 Hadoop发展历程 11

2.3 Apache Hadoop项目及其结构 12

2.4 Hadoop常用项目介绍 14

2.5 Hadoop的衍化版本 16

2.5.1 Cloudera 16

2.5.2 Transwarp 17

2.6小结 17

第3章 MapReduce 18

3.1 MapReduce简介 18

3.2 MapReduce架构 19

3.3 MapReduce的工作机制 20

3.3.1 MapReduce作业运行机制 20

3.3.2 MapReduce容错机制 21

3.4 MapReduce编程实例 22

3.5第二代计算框架YARN 24

3.5.1 YARN的设计 24

3.5.2 YARN的组件 25

3.6小结 25

第4章 Hadoop分布式文件系统 26

4.1 HDFS简介 26

4.2 HDFS架构 26

4.3 HDFS容错机制 28

4.4 HDFS备份规则 29

4.4.1放置策略 29

4.4.2流水式复制 29

4.5 HDFS权限管理 29

4.5.1 HDFS用户身份认证 30

4.5.2超级用户 30

4.5.3文件权限管理 30

4.6小结 31

第5章 Hadoop案例分析 32

5.1互联网企业——Yahoo、百度、阿里、腾讯 32

5.1.1 Yahoo—Hortonworks 32

5.1.2百度——百度云 33

5.1.3阿里巴巴——阿里云 33

5.1.4腾讯——腾讯云 34

5.2智慧城市——贵阳 35

5.3电子商务——京东 36

5.4国内外旅游业 38

5.4.1旅游搜索网站FareCast 38

5.4.2途牛旅游网 38

5.5小结 39

第6章 Hadoop集群实验 40

6.1安装VMware ESXi 6.5平台 40

6.2安装Ubuntu 16.04系统 45

6.3 Hadoop系统运行环境 54

6.3.1设置主机名 54

6.3.2设置网络 54

6.3.3安装JDK 56

6.3.4配置系统环境变量 58

6.3.5配置SSH免密登录 59

6.4 Hadoop集群部署 62

6.4.1单节点模式Hadoop系统安装 63

6.4.2伪分布模式Hadoop系统安装 64

6.4.3完全分布式Hadoop系统安装 65

6.4.4启动及测试Hadoop集群 68

6.5 HDFS命令行 73

6.6 Hive部署 74

6.6.1 MySQL安装 75

6.6.2 Hive安装 76

6.6.3启动及测试Hive 77

6.7 ZooKeeper和HBase部署 77

6.7.1 ZooKeeper安装 78

6.7.2启动ZooKeeper 79

6.7.3 HBase部署 79

6.7.4启动HBase 81

6.8 Eclipse环境 82

6.8.1配置工作环境 83

6.8.2开发初步 89

6.8.3运行WordCount程序 92

6.9 Hadoop集群运维 94

6.10小结 94

第7章 Hadoop系统的优化 95

7.1影响Hadoop系统性能的因素 95

7.2监测工具 96

7.2.1 Chukwa 96

7.2.2 Ganglia收集器 96

7.2.3 Nagios 96

7.3基于性能基线的Hadoop系统性能优化 97

7.3.1调优过程 97

7.3.2甄别资源瓶颈 97

7.4 MapReduce调优 98

7.4.1 Map任务调优 98

7.4.2 Reduce任务调优 99

7.5常用调优手段 100

7.5.1面向MapReduce应用程序的调优手段 100

7.5.2面向作业的调优手段 101

7.5.3面向Hadoop系统参数的调优手段 102

7.6小结 103

第8章 Hadoop在光网络优化中的应用 104

8.1装箱问题 104

8.2光网络中的装箱问题 105

8.3 WDM光网络 106

8.3.1路由和波长分配 108

8.3.2绿色光网络的优化设计 110

8.4弹性光网络 112

8.4.1基于SBPP共享保护策略的路由和频谱分配 113

8.4.2基于自适应FEC分配策略的路由和频谱分配 115

8.5 Hadoop平台执行多次业务打乱策略 116

8.6结果分析 117

8.6.1路由和波长分配 117

8.6.2绿色光网络的优化设计 118

8.6.3基于SBPP共享保护策略的路由和频谱分配 119

8.6.4基于自适应FEC分配策略的路由和频谱分配 119

8.7小结 120

第9章 Hadoop的Java API 121

9.1 Hadoop API中常用包 121

9.1.1 org.apache.Hadoop.conf包 121

9.1.2 org.apache.Hadoop.fs包 122

9.2 MapReduce API 123

9.2.1 Mapper类 124

9.2.2 Reducer类 125

9.2.3 Driver 126

9.3 HDFS API 126

9.3.1获取文件系统 127

9.3.2创建文件或文件目录 127

9.3.3删除文件或文件目录 128

9.3.4写入和读取数据 128

9.3.5上传和下载文件 128

9.3.6显示HDFS中的文件 129

9.3.7在Hadoop的环境之外配置文件系统 129

9.4小结 129

第10章 Hadoop系统微型化和界面可视化 130

10.1微型化 130

10.1.1平台信息 131

10.1.2性能 131

10.2可视化 132

10.2.1 HDFS文件系统树区域 133

10.2.2命令控制区域 133

10.2.3命令行 134

10.2.4任务状态可视化 135

10.2.5菜单栏 135

10.2.6云平台软件的使用 136

10.3小结 144

附录 缩略语英汉对照表 145

参考文献 148