大数据云服务技术架构与实践PDF电子书下载

第1篇 大数据云计算概论 3

第1章 大数据概述 3

1.1 大数据产生与发展 3

1.1.1 大数据产生背景 3

1.1.2 大数据发展历程 3

1.1.3 当前大数据 5

1.2 大数据概念与特征 6

1.2.1 大数据概念 6

1.2.2 大数据的特点 7

1.3 大数据应用 7

1.3.1 企业内部大数据应用 8

1.3.2 物联网大数据应用 8

1.3.3 面向在线社交网络大数据的应用 9

1.3.4 医疗健康大数据应用 9

1.3.5 群智感知 10

1.3.6 智能电网 10

1.4 大数据的研究与展望 11

1.5 本章小结 12

第2章 大数据和云计算 14

2.1 大数据和云计算的关系 14

2.1.1 大数据和云计算关系概述 14

2.1.2 云计算是大数据处理的基础 15

2.1.3 大数据是云计算的延伸 16

2.2 云计算概念 16

2.2.1 云的兴起 16

2.2.2 云计算的定义及其特点 17

2.2.3 云计算名称的来历 19

2.3 云计算类型 19

2.3.1 基础设施类 19

2.3.2 平台类 21

2.3.3 应用类 22

2.3.4 以所有权划分云计算系统类型 23

2.4 云计算商业模式 24

2.4.1 商业模式是云计算的基石 24

2.4.2 云计算的市场规模 24

2.4.3 云计算商业模式分析 24

2.5 本章小结 25

第3章 大数据应用价值 26

3.1 大数据在电子商务中的应用 27

3.1.1 大数据是电子商务发展要素 27

3.1.2 电子商务大数据的实用措施 27

3.1.3 电子商务大数据的转型路径 28

3.2 大数据在金融的应用 29

3.2.1 大数据金融的提出 29

3.2.2 大数据金融的功能 34

3.2.3 大数据金融的挑战 35

3.2.4 大数据金融创新 37

3.3 大数据在媒体的应用 39

3.3.1 传统媒体的不足 40

3.3.2 大数据驱动传统媒体的升级 40

3.3.3 大数据引领新媒体发展 41

3.4 大数据在医疗上的应用 43

3.4.1 大数据改进临床决策支持系统 44

3.4.2 大数据助推医疗产品研发 44

3.4.3 大数据催生新医疗服务模式 45

3.5 大数据在教育上的应用 47

3.5.1 大数据教育与传统教育的优势 47

3.5.2 大数据教学模式的不断改善 47

3.5.3 教育大数据市场的广阔前景 48

3.5.4 大数据变革教育应用的实践措施 49

3.6 本章小结 49

第2篇 大数据云计算关键技术 53

第4章 分布式计算框架 53

4.1 分布式计算基本概念 53

4.1.1 分布式计算与并行计算 53

4.1.2 分布式计算和并行计算的比较 54

4.2 Hadoop系统介绍 55

4.2.1 Hadoop发展历程 55

4.2.2 Hadoop使用场景和特点 56

4.2.3 Hadoop项目组成 57

4.3 分布式文件系统 57

4.3.1 分布式文件系统概述 57

4.3.2 HDFS架构 58

4.3.3 HDFS设计特点 59

4.4 MapReduce计算模型 60

4.4.1 MapReduce概述 60

4.4.2 MapReduce应用实例 61

4.4.3 MapReduce实现和架构 62

4.5 分布式协同控制 63

4.5.1 常见分布式并发控制方法 63

4.5.2 Google Chubby并发锁 64

4.6 Spark计算框架 66

4.6.1 Spark简介 66

4.6.2 Spark生态系统 67

4.7 Flink计算框架 72

4.7.1 Flink简介 72

4.7.2 Flink中的调度简述 73

4.7.3 Flink的生态圈 74

4.8 本章小结 74

第5章 NoSQL数据库 76

5.1 NoSQL数据库概述 76

5.1.1 NoSQL数据库的4大分类 76

5.1.2 数据库系统CAP理论和 BASE理论 78

5.1.3 NoSQL的共同特征 79

5.2 Hbase数据库 80

5.2.1 HBase简介 80

5.2.2 HBase访问接口 80

5.2.3 H Base数据模型 81

5.2.4 MapReduce on HBase 82

5.2.5 HBase系统架构 83

5.3 本章小结 87

第6章 机器学习 88

6.1 机器学习概述 88

6.1.1 机器学习分类 88

6.1.2 机器学习发展历程 92

6.2 机器学习常用的算法 93

6.2.1 回归算法 93

6.2.2 基于实例的算法 93

6.2.3 正则化方法 94

6.2.4 决策树算法 94

6.2.5 贝叶斯方法 94

6.2.6 基于核的算法 95

6.2.7 聚类算法 95

6.2.8 关联规则学习 96

6.2.9 遗传算法 96

6.2.10 人工神经网络 97

6.2.11 深度学习 97

6.2.12 降低维度算法 97

6.2.13 集成算法 98

6.3 本章小结 98

第7章 虚拟化 99

7.1 虚拟化概述 99

7.1.1 虚拟化发展历史 99

7.1.2 虚拟化技术的发展热点和趋势 100

7.1.3 虚拟化技术的概念 101

7.2 虚拟化的分类 102

7.2.1 从实现的层次划分 102

7.2.2 从应用的领域划分 105

7.3 应用虚拟化 109

7.3.1 应用虚拟化的使用特点 109

7.3.2 应用虚拟化的优势 110

7.3.3 应用虚拟化要考虑的问题 111

7.4 桌面虚拟化 111

7.4.1 桌面虚拟化优势 111

7.4.2 桌面虚拟化使用条件 112

7.5 服务器虚拟化 112

7.5.1 服务器虚拟化架构 112

7.5.2 CPU虚拟化 113

7.5.3 内存虚拟化 115

7.5.4 I／O虚拟化 117

7.6 网络虚拟化 118

7.6.1 传统网络虚拟化技术 118

7.6.2 主机网络虚拟化 119

7.6.3 网络设备虚拟化 121

7.7 存储虚拟化 125

7.7.1 存储虚拟化概述 125

7.7.2 按照不同层次划分存储虚拟化 126

7.7.3 按照实现方式不同划分存储虚拟化 128

7.8 本章小结 130

第8章 Docker容器 131

8.1 Docker容器概述 131

8.1.1 Docker容器的由来 131

8.1.2 Docker定义 133

8.1.3 Docker的优势 134

8.2 Docker的原理 134

8.2.1 Linux Namespace（ns） 135

8.2.2 Control Groups（cgroups） 136

8.2.3 Linux容器（LXC） 137

8.2.4 AUFS 137

8.2.5 Grsec 140

8.3 Docker技术发展与应用 140

8.3.1 Docker解决的问题 140

8.3.2 Docker的未来发展 141

8.3.3 Docker技术的局限 141

8.4 本章小结 141

第9章 Web 2.0 142

9.1 Web 2.0产生背景和定义 142

9.1.1 Web 2.0产生背景 142

9.1.2 Web 2.0的概念 143

9.1.3 Web 2.0和Web 1.0比较 143

9.1.4 Web 2.0特征 145

9.2 Web 2.0应用产品 145

9.2.1 Web 2.0主要应用产品 146

9.2.2 主要产品的区别 147

9.3 Web 2.0相关技术 148

9.3.1 Web 2.0的设计模式 148

9.3.2 Web标准 149

9.3.3 向Web标准过渡 151

9.4 本章小结 155

第10章 绿色数据中心 156

10.1 绿色数据中心概述 156

10.1.1 云数据中心发展阶段 156

10.1.2 绿色数据中心架构 157

10.1.3 云数据中心需要整合的资源 158

10.2 数据中心管理和维护 158

10.2.1 实现端到端、大容量、可视化的基础设施整合 159

10.2.2 实现虚拟化、自动化的管理 159

10.2.3 实现面向业务的应用管理和流量分析 160

10.3 本章小结 161

第3篇 云计算架构 165

第11章 基础设施即服务 165

11.1 IaaS概述 165

11.1.1 IaaS的定义 165

11.1.2 IaaS提供服务的方法 166

11.1.3 IaaS云的特征 166

11.1.4 IaaS和虚拟化的关系 167

11.2 IaaS技术架构 167

11.2.1 资源层 167

11.2.2 虚拟化层 168

11.2.3 管理层 169

11.2.4 服务层 170

11.3 IaaS云计算管理 170

11.3.1 自动化部署 170

11.3.2 弹性能力提供技术 171

11.3.3 资源监控 172

11.3.4 资源调度 173

11.3.5 业务管理和计费度量 174

11.4 Amazon云计算案例 175

11.4.1 概述 175

11.4.2 Amazon S3 176

11.4.3 Amazon Simple DB 177

11.4.4 Amazon RDS 178

11.4.5 Amazon SQS 178

11.4.6 Amazon EC2 179

11.5 本章小结 180

第12章 平台即服务 182

12.1 PaaS概述 182

12.1.1 PaaS的由来 182

12.1.2 PaaS的概念 183

12.1.3 PaaS模式的开发 183

12.1.4 PaaS推进SaaS时代 185

12.2 PaaS架构 186

12.2.1 PaaS的功能 187

12.2.2 多租户弹性是PaaS的核心特性 187

12.2.3 PaaS架构的核心意义 188

12.2.4 PaaS改变未来软件开发和维护模式 190

12.3 Google的云计算平台 191

12.3.1 设计理念 192

12.3.2 构成部分 192

12.3.3 App Engine服务 193

12.4 Windows Azure平台 194

12.4.1 Windows Azure操作系统 194

12.4.2 SQLAzure 195

12.4.3.NET服务 196

12.4.4 Live服务 196

12.4.5 Windows Azure Platform的用途 197

12.5 本章小结 197

第13章 软件即服务 199

13.1 SaaS概述 199

13.1.1 SaaS的由来 199

13.1.2 SaaS的概念 200

13.1.3 SaaS与传统软件的区别 201

13.1.4 SaaS模式应用于信息化优势 202

13.1.5 SaaS成熟度模型 203

13.2 模式及实现 204

13.2.1 SaaS商务模式 204

13.2.2 SaaS平台架构 206

13.2.3 SaaS服务平台的主要功能 207

13.2.4 SaaS服务平台关键技术 210

13.3 Salesforce云计算案例 213

13.3.1 Salesforce云计算产品组成 213

13.3.2 Salesforce云计算特点 214

13.4 本章小结 215

第14章 容器即服务 216

14.1 容器云服务 216

14.1.1 云平台架构层次 216

14.1.2 容器云 217

14.1.3 容器云的特点 217

14.2 Kubernetes应用部署 220

14.2.1 Kubernetes架构 220

14.2.2 Kubernetes模型 221

14.2.3 内部使用者的服务发现 222

14.2.4 外部访问Service 224

14.3 Mesos应用 225

14.3.1 Mesos体系结构和工作流 225

14.3.2 Mesos流程 226

14.3.3 Mesos资源分配 226

14.3.4 Mesos优势 227

14.4 基于Kubernetes打造SAE容器云 228

14.4.1 Kubernetes的好处 228

14.4.2 容器云网络 228

14.4.3 容器云存储 230

14.5 基于Mesos去哪儿网容器云 230

14.5.1 背景 230

14.5.2 应用Mesos构建容器云 231

14.5.3 云环境构建 231

14.6 本章小结 234

第4篇 大数据云架构实践与编程 237

第15章 大数据云架构搭建 237

15.1 分布式Hadoop与Spark集群搭建 237

15.1.1 Hadoop集群构建 237

15.1.2 Spark集群构建 250

15.2 基于Docker大数据云架构 256

15.2.1 简介 256

15.2.2 Docker和Weave搭建 257

15.2.3 Hadoop集群镜像搭建 257

15.2.4 集群部署与启动 261

15.2.5 基于Ambari管理平台的镜像搭建 263

15.2.6 桌面系统XFCE搭建 265

15.3 本章小结 266

第16章 Spark大数据编程 267

16.1 Spark应用开发环境配置 267

16.1.1 使用Intellij开发Spark程序 267

16.1.2 使用Spark Shell开发运行Spark程序 272

16.2 Spark大数据编程 272

16.2.1 WordCount 272

16.2.2 股票趋势预测 274

16.3 本章小结 280

第5篇 大数据安全 283

第17章 大数据云计算面临的安全威胁 283

17.1 大数据云计算的安全问题 283

17.1.1 大数据基础设施安全威胁 283

17.1.2 大数据存储安全威胁 284

17.1.3 大数据云架构网络安全威胁 286

17.1.4 大数据带来隐私问题 286

17.1.5 针对大数据的高级持续性攻击 287

17.1.6 其他安全威胁 288

17.2 不同领域大数据的安全需求 288

17.2.1 因特网行业 289

17.2.2 电信行业 289

17.2.3 金融行业 290

17.2.4 医疗行业 290

17.2.5 政府组织 291

17.3 大数据安全内涵 291

17.3.1 保障大数据安全 292

17.3.2 大数据用于安全领域 293

17.4 大数据安全研究方向 294

17.4.1 大数据安全保障技术 294

17.4.2 大数据安全应用技术 295

17.5 本章小结 296

第18章 保障大数据安全 297

18.1 大数据安全的关键技术 297

18.1.1 非关系数据库安全策略 297

18.1.2 防范APT攻击 299

18.2 大数据安全保障实践 304

18.2.1 大数据采集与存储的安全防护 305

18.2.2 大数据挖掘与应用的安全防护 306

18.2.3 大数据安全审计 307

18.2.4 大数据安全评估与安全管理 308

18.2.5 数据中心的安全保障 308

18.3 本章小结 310

第19章 应用大数据保障安全 311

19.1 大数据安全检测及应用 311

19.1.1 安全检测与大数据的融合 311

19.1.2 用户上网流量数据的挖掘与分析 312

19.2 安全大数据 313

19.2.1 数据挖掘方法 314

19.2.2 挖掘目标及评估 315

19.3 基于大数据的网络态势感知 315

19.3.1 态势感知定义 315

19.3.2 网络态势感知 316

19.3.3 基于流量数据的网络安全感知 316

19.3.4 基于大数据分析的网络优化 318

19.3.5 网络安全感知应用实践 319

19.4 视频监控数据的安全应用 320

19.4.1 视频监控数据的处理需求 320

19.4.2 视频监控数据挖掘技术 320

19.4.3 海量视频监控数据的分析与处理 322

19.5 本章小结 322

参考文献 324