分布式对象存储·原理·架构及Go语言实现PDF电子书下载
- 电子书积分:10 积分如何计算积分?
- 作 者:胡世杰著
- 出 版 社:北京:人民邮电出版社
- 出版年份:2018
- ISBN:9787115480552
- 页数:202 页
第1章 对象存储简介 1
1.1 和传统网络存储的区别 1
1.1.1 数据的管理方式 2
1.1.2 访问数据的方式 2
1.1.3 对象存储的优势 3
1.2 单机版对象存储的架构 4
1.2.1 REST接口 4
1.2.2 对象PUT流程 5
1.2.3 对象GET流程 5
1.3 Go语言实现 6
1.4 功能测试 10
1.5 小结 12
第2章 可扩展的分布式系统 15
2.1 什么是分布式系统 15
2.2 接口和数据存储分离的架构 16
2.2.1 REST接口 17
2.2.2 RabbitMQ消息设计 18
2.2.3 对象PUT流程 19
2.2.4 对象GET流程 20
2.3 Go语言实现 21
2.3.1 数据服务 21
2.3.2 接口服务 23
2.3.3 rabbitmq包 34
2.4 功能测试 38
2.5 小结 41
第3章 元数据服务 45
3.1 什么是元数据 45
3.1.1 系统定义的元数据 45
3.1.2 用户自定义的元数据 45
3.1.3 散列值和散列函数 46
3.2 加入元数据服务的架构 47
3.2.1 REST接口 48
3.2.2 ES接口 51
3.2.3 对象PUT流程 54
3.2.4 对象GET流程 55
3.3 Go语言实现 55
3.3.1 接口服务 55
3.3.2 es包 63
3.4 功能测试 68
3.5 小结 74
第4章 数据校验和去重 77
4.1 何为去重 77
4.1.1 需要数据校验的原因 78
4.1.2 实现数据校验的方法 79
4.2 给数据服务加入缓存功能 79
4.2.1 数据服务的REST接口 80
4.2.2 对象PUT流程 80
4.3 Go语言实现 82
4.3.1 接口服务 82
4.3.2 数据服务 87
4.4 功能测试 98
4.5 去重导致的性能问题 101
4.6 小结 102
第5章 数据冗余和即时修复 105
5.1 数据冗余的概念 105
5.1.1 数据丢失和数据不可用 105
5.1.2 数据冗余 106
5.1.3 对象存储系统的数据冗余策略 107
5.2 数据冗余的实现 108
5.2.1 REST接口 108
5.2.2 对象PUT流程 108
5.2.3 对象GET流程 109
5.3 Go语言实现 111
5.3.1 接口服务 111
5.3.2 数据服务 126
5.4 功能测试 131
5.5 小结 135
第6章 断点续传 139
6.1 为什么对象存储需要支持断点续传 139
6.1.1 断点下载流程 139
6.1.2 断点上传流程 140
6.1.3 接口服务的REST接口 142
6.1.4 数据服务的REST接口 144
6.2 Go语言实现 145
6.2.1 接口服务 145
6.2.2 数据服务 158
6.3 功能测试 160
6.4 小结 165
第7章 数据压缩 169
7.1 用gzip实现对象存储和下载时的数据压缩 170
7.1.1 存储时的数据压缩 170
7.1.2 下载时的数据压缩 171
7.1.3 接口服务的REST接口 172
7.2 Go语言实现 172
7.2.1 接口服务 172
7.2.2 数据服务 174
7.3 功能测试 176
7.4 小结 180
第8章 数据维护 183
8.1 对象存储系统的数据维护工作 183
8.1.1 对象版本留存 183
8.1.2 数据定期检查和修复 184
8.1.3 数据服务的REST接口 185
8.2 Go语言实现 185
8.2.1 删除过期元数据 185
8.2.2 删除没有元数据引用的对象数据 188
8.2.3 对象数据的检查和修复 191
8.3 功能测试 193
8.4 小结 202
- 《第一性原理方法及应用》李青坤著 2019
- 《计算机组成原理解题参考 第7版》张基温 2017
- 《大数据Hadoop 3.X分布式处理实战》吴章勇,杨强 2020
- 《高等院校保险学专业系列教材 保险学原理与实务》林佳依责任编辑;(中国)牟晓伟,李彤宇 2019
- 《刑法归责原理的规范化展开》陈璇著 2019
- 《教师教育系列教材 心理学原理与应用 第2版 视频版》郑红,倪嘉波,刘亨荣编;陈冬梅责编 2020
- 《单片机原理及应用》庄友谊 2020
- 《通信电子电路原理及仿真设计》叶建芳 2019
- 《计算机组成原理 第2版》任国林 2018
- 《化工原理课程设计》刘建周主编 2018
- 《顺》燕杰著 2020
- 《青少年叛逆心理学》慧杰著 2019
- 《中国手艺传承人丛书 山东曹县江米人·王锡金》唐家路,杨传杰著 2017
- 《信息安全系统研发 全国大学生信息安全竞赛(作品赛)指导教程》王瑞锦,周世杰主编 2019
- 《小药工 中医传统手工制作活动》孔令谦,徐世杰编著 2018
- 《城市环境危机管理:以深圳大鹏半岛为例》宋雅杰著 2019
- 《普及美学原理》邱伟杰著 2019
- 《藏书纪事诗研究》周生杰著 2019
- 《当代流行歌曲与青少年情感认同》周兴杰著 2019
- 《打破性善的诱惑》曾炜杰著 2014
- 《指向核心素养 北京十一学校名师教学设计 英语 七年级 上 配人教版》周志英总主编 2019
- 《办好人民满意的教育 全国教育满意度调查报告》(中国)中国教育科学研究院 2019
- 《北京生态环境保护》《北京环境保护丛书》编委会编著 2018
- 《人民院士》吴娜著 2019
- 《指向核心素养 北京十一学校名师教学设计 英语 九年级 上 配人教版》周志英总主编 2019
- 《中国人民的心》杨朔著;夕琳编 2019
- 《高等院校旅游专业系列教材 旅游企业岗位培训系列教材 新编北京导游英语》杨昆,鄢莉,谭明华 2019
- 《中华人民共和国成立70周年优秀文学作品精选 短篇小说卷 上 全2册》贺邵俊主编 2019
- 《指向核心素养 北京十一学校名师教学设计 数学 九年级 上 配人教版》周志英总主编 2019
- 《中华人民共和国成立70周年优秀文学作品精选 中篇小说卷 下 全3册》洪治纲主编 2019