![Hadoop技术详解](https://cover.qianqiantushu.cc/99/s685dc09.jpg)
![Hadoop技术详解](https://cover.qianqiantushu.cc/99/s685dc09.jpg)
Hadoop技术详解PDF电子书下载
- 电子书积分:10 积分如何计算积分?
- 作 者:(美)萨默(ERICSAMMER)著;刘敏,麦耀锋,李冀蕾等译
- 出 版 社:北京:人民邮电出版社
- 出版年份:2013
- ISBN:9787115333322
- 页数:248 页
第1章 简介 1
第2章 HDFS 6
2.1 目标和动机 6
2.2 设计 7
2.3 守护进程 8
2.4 读写数据 10
2.4.1 数据读取流程 10
2.4.2 数据写操作流程 11
2.5 管理文件系统元数据 13
2.6 NameNode的高可用性 14
2.7 NameNode联盟 16
2.8 访问与集成 17
2.8.1 命令行工具 18
2.8.2 用户空间文件系统(FUSE) 21
2.8.3 表示状态传输(REST)的支持 21
第3章 MapReduce 23
3.1 MapReduce的若干阶段 24
3.2 Hadoop MapReduce简介 30
3.2.1 后台程序 31
3.2.2 出错处理 33
3.3 YARN 35
第4章 规划一个Hadoop集群 37
4.1 挑选Hadoop的发行版本 37
4.1.1 Apache Hadoop 37
4.1.2 Cloudera的ApacheHadoop发行版本 38
4.1.3 版本和功能 38
4.1.4 我应该使用哪个版本 40
4.2 硬件选型 41
4.2.1 主节点硬件的选择 42
4.2.2 工作节点的硬件选择 43
4.2.3 集群的大小 45
4.2.4 刀片服务器、存储区域网络(SAN)和虚拟化 47
4.3 操作系统的选择和准备 49
4.3.1 部署规划 49
4.3.2 软件 50
4.3.3 主机名、DNS和标识 51
4.3.4 用户、组和特权 54
4.4 内核调整 56
4.4.1 vm.swappiness 56
4.4.2 vm.overcommit_memory 57
4.5 磁盘配置 58
4.5.1 选择文件系统 58
4.5.2 挂载选项 60
4.6 网络设计 60
4.6.1 Hadoop中的网络使用:回顾 60
4.6.2 1 Gb与10 Gb网络 62
4.6.3 典型的网络拓扑 63
第5章 安装和配置 67
5.1 安装Hadoop 67
5.1.1 Apache Hadoop 68
5.1.2 CDH 72
5.2 配置概述 76
5.3 环境变量和Shell脚本 80
5.4 日志配置 82
5.5 HDFS 84
5.5.1 识别和定位 84
5.5.2 优化与调整 86
5.5.3 格式化NameNode 89
5.5.4 创建/tmp目录 91
5.6 NameNode的高可靠性 92
5.6.1 隔离(Fencing)选项 93
5.6.2 基本配置 95
5.6.3 自动失效备援配置 96
5.6.4 格式化和引导NameNode启动 99
5.7 NameNode联盟(Federation) 105
5.8 MapReduce 113
5.8.1 识别和定位 113
5.8.2 优化和调整 115
5.9 机架拓扑 122
5.10 安全 125
第6章 用户标识、身份验证和授权 126
6.1 用户标识 127
6.2 Kerberos和Hadoop 128
6.2.1 Kerberos 128
6.2.2 Hadoop上的Kerberos支持 130
6.3 授权 143
6.3.1 HDFS 144
6.3.2 MapReduce 146
6.3.3 其他工具和系统 149
6.4 集成试试 153
第7章 资源管理 156
7.1 何谓资源管理 156
7.2 HDFS配额 156
7.3 MapReluce调度器 159
7.3.1 先进先出(FIFO)调度器 160
7.3.2 公平调度器 162
7.3.3 计算能力调度器(Capacity Scheduler) 174
7.3.4 未来发展 181
第8章 集群维护 183
8.1 Hadoop流程管理 183
8.1.1 用初始化脚本管理进程 183
8.1.2 手动管理进程 184
8.2 HDFS维护任务 184
8.2.1 添加一个DataNode 184
8.2.2 卸载DataNode 185
8.2.3 用fsck来检查文件系统的一致性 185
8.2.4 HDFS块数据均衡 190
8.2.5 处理坏磁盘 192
8.3 MapReduce维护任务 193
8.3.1 添加tasktracker 193
8.3.2 卸载tasktracker 193
8.3.3 终结MapReduce作业 194
8.3.4 终结MapReduce任务 194
8.3.5 处理列入黑名单的tasktracker 195
第9章 故障分析与排查 196
9.1 鉴别诊断(Differential Diagnosis) 196
9.2 故障和问题 197
9.2.1 人类(自己) 198
9.2.2 配置错误 198
9.2.3 硬件故障 199
9.2.4 资源枯竭 200
9.2.5 主机标识和命名 200
9.2.6 网络分区 200
9.3 “计算机插好了么?” 201
9.4 治疗和护理 203
9.5 实战案例 206
9.5.1 神秘的瓶颈 206
9.5.2 127.0.0.1这个地址不存在 209
第10章 监控 213
10.1 概览 213
10.2 Hadoop度量(Metrics) 214
10.2.1 Apache Hadoop 0.20.0和CDH3(metrics1) 214
10.2.2 Apache Hadoop 0.20.203及之后的版本、CDH4(metrics2) 221
10.2.3 SNMP 222
10.3 健康监控 222
10.3.1 主机级别的检查 223
10.3.2 所有Hadoop进程 225
10.3.3 HDFS检查 226
10.3.4 MapReduce检查 229
第11章 备份与恢复 232
11.1 数据备份 232
11.1.1 分布式拷贝(distcp) 233
11.1.2 并行提取数据 235
11.2 NameNode元数据 237
附录 弃用的配置属性 239
- 《钒产业技术及应用》高峰,彭清静,华骏主编 2019
- 《现代水泥技术发展与应用论文集》天津水泥工业设计研究院有限公司编 2019
- 《异质性条件下技术创新最优市场结构研究 以中国高技术产业为例》千慧雄 2019
- 《Prometheus技术秘笈》百里燊 2019
- 《中央财政支持提升专业服务产业发展能力项目水利工程专业课程建设成果 设施农业工程技术》赵英编 2018
- 《药剂学实验操作技术》刘芳,高森主编 2019
- 《林下养蜂技术》罗文华,黄勇,刘佳霖主编 2017
- 《脱硝运行技术1000问》朱国宇编 2019
- 《催化剂制备过程技术》韩勇责任编辑;(中国)张继光 2019
- 《信息系统安全技术管理策略 信息安全经济学视角》赵柳榕著 2020
- 《指向核心素养 北京十一学校名师教学设计 英语 七年级 上 配人教版》周志英总主编 2019
- 《办好人民满意的教育 全国教育满意度调查报告》(中国)中国教育科学研究院 2019
- 《北京生态环境保护》《北京环境保护丛书》编委会编著 2018
- 《人民院士》吴娜著 2019
- 《指向核心素养 北京十一学校名师教学设计 英语 九年级 上 配人教版》周志英总主编 2019
- 《中国人民的心》杨朔著;夕琳编 2019
- 《高等院校旅游专业系列教材 旅游企业岗位培训系列教材 新编北京导游英语》杨昆,鄢莉,谭明华 2019
- 《中华人民共和国成立70周年优秀文学作品精选 短篇小说卷 上 全2册》贺邵俊主编 2019
- 《指向核心素养 北京十一学校名师教学设计 数学 九年级 上 配人教版》周志英总主编 2019
- 《中华人民共和国成立70周年优秀文学作品精选 中篇小说卷 下 全3册》洪治纲主编 2019