大数据走向云计算PDF电子书下载

第1章 云时代 1

1.1云计算力量 1

1.2云计算概述 2

1.2.1云基本特征 3

1.2.2云计算简史 4

1.2.3云计算演化 5

1.2.4云服务形式 6

1.2.5云时代谁是主角 10

1.3云计算的原动力 11

1.3.1芯片与硬件技术 12

1.3.2资源虚拟化 12

1.3.3面向服务架构 13

1.3.4软件即服务 13

1.3.5互联网技术 14

1.3.6Web技术 14

1.4云研究趋势 14

1.5云计算技术 16

1.5.1虚拟化技术 16

1.5.2数据存储技术 17

1.5.3资源管理技术 19

1.5.4能耗管理技术 20

1.5.5云监测技术 21

1.6云优势分析 23

1.6.1优化产业布局 23

1.6.2推进专业分工 24

1.6.3提升资源利用率 25

1.6.4降低运营成本 26

1.6.5产生新创价值 26

1.7云业务实施 26

1.7.1基础设施层 27

1.7.2平台层 28

1.7.3实施应用层 30

1.8移动云 31

1.8.1移动云优势 31

1.8.2应用案例 31

1.9云标准 32

1.9.1云标准定制 32

1.9.2云标准主要内容 32

1.9.3云计算潜在需求分析 33

1.9.4云标准意义 34

1.9.5云标准发展趋势 34

1.10云安全 35

1.10.1云安全发展趋势 36

1.10.2云安全难点问题 36

1.10.3云安全新增及增强功能 37

1.10.4云安全存在问题 38

1.11云计算的九大威胁 39

第2章 大数据时代 41

2.1什么是大数据 41

2.2大数据来源 42

2.3大数据商业价值 43

2.4打造高能效数据中心 44

2.5大数据变革 45

2.5.1变革公共卫生 45

2.5.2变革商业 46

2.5.3变革思维 48

2.5.4开启重大的时代转型 48

2.6大数据的核心 51

2.7大数据的挑战 51

2.8大数据的现状 53

2.9大数据推进力 55

2.10大数据存储 56

2.11大数据治理 57

2.12大数据未来五年路线 58

2.13大数据的应用 59

第3章 大数据走向云端 63

3.1时代双雄 63

3.2“大数据”走进云端 64

3.3云计算与大数据的联系 66

3.3.1云与大数据的联系 66

3.3.2大数据和云计算的不同之处 67

3.4数据向云计算迁移 67

3.4.1迁移过程 67

3.4.2数据的丢失与备份 67

3.4.3迁移应注意问题 68

3.4.4管理与监控 68

3.5云延伸 68

3.5.1云计算的延伸 69

3.5.2网络管理维护优化 69

3.5.3用户行为分析 69

3.5.4个性化推荐 70

3.5.5数据云服务（DaaS） 70

3.6云计算与大数据挑战与机遇并存 70

第4章 云下的大数据工程 72

4.1信息所需求的新生力量 72

4.1.1技术因素 72

4.1.2商业模式因素 73

4.2信息系统工程 73

4.2.1云计算基本思想 73

4.2.2云计算实现 74

4.3信息系统工程架构转变 81

4.3.1竖井式的信息系统 81

4.3.2逐渐完善的系统需求 83

4.3.3全新的系统架构 86

4.3.4新型企业信息系统模块 87

4.4商业变革因素 92

4.4.1零售企业的流程再造 92

4.4.2IT资源使用新方式 94

4.4.3整合的新平台 95

4.4.4转型新思路 96

4.4.5创新的新动力 97

4.5信息工业革命 97

4.5.1解放生产力 97

4.5.2云计算改变信息生活 98

4.5.3推动社会变革 100

4.6云计算机遇 102

4.6.1私有云发展更快 103

4.6.2数据集中 105

4.6.3企业的“云”机遇 106

4.6.4中国“云”企业的机遇挑战 107

第5章 搭建云计算开发环境 109

5.1 Hadoop环境搭建 109

5.1.1在Linux下安装Hadoop 109

5.1.2 Hadoop安装步骤 110

5.1.3在Windows下安装Hadoop 115

5.2 Hadoop的优点 120

5.3 HBase环境搭建 121

5.3.1 HBase的系统框架 121

5.3.2 HBase的模型 123

5.3.3 HBase的安装配置 126

5.4 ZooKeeper环境搭建 128

5.4.1 ZooKeeper的原理 128

5.4.2 Zookeeper的特点 128

5.4.3 Zookeeper的安装 129

5.5 MapReduce概述 131

5.5.1 MapReduce实现机制 131

5.5.2 MapReduce执行流程 132

5.5.3 MapReduce映射和化简 133

5.6 Pig环境搭建 133

5.6.1 Pig概述 133

5.6.2 Pig安装 134

第6章 分布式文件系统 135

6.1分布式文件系统概述 135

6.1.1发展史 135

6.1.2实现方法 136

6.1.3研究状况 136

6.2分布式文件系统类型 137

6.2.1网络文件系统 137

6.2.2 Andrew文件系统 142

6.2.3分布式文件系统 143

6.3 xFS概述 144

6.3.1 xFS体系结构 144

6.3.2 xFS通信 145

6.3.3 xFS进程 145

6.3.4 xFS缓存 147

6.3.5 xFS容错性 147

6.3.6 xFS安全性 148

6.3.7 xFS特性 148

6.3.8 xFS性能考虑 149

6.4 DAFS概述 149

6.4.1 DAFS基本原理 150

6.4.2 DAFS设计目的 150

6.4.3文件访问方式 151

6.4.4实现客户端 151

6.5 GFS概述 152

6.5.1文件系统架构 153

6.5.2 GFS的特点 154

6.5.3文件系统的容错性 155

6.5.4系统管理技术 155

6.6 GPFS共享文件 156

6.6.1 GPFS概述 156

6.6.2 GPFS特性 158

6.6.3 GPFS的高性能和可扩展性 159

6.7 Lustre并行文件系统 159

6.7.1 Lustre概述 159

6.7.2 Lustre组成部分 161

6.8分布式锁服务Chubby 162

6.8.1 Paxos算法 163

6.8.2 Chubby目标设计 164

6.8.3 Chubby中的Paxos 165

6.8.4 Chubby文件系统 167

6.8.5 Chubby通信协议 168

6.8.6正确性和性能 170

6.9分布式结构数据表 171

6.9.1 Bigtable设计目标 171

6.9.2 Bigtable数据模型 172

6.9.3 Bigtable系统架构 173

6.9.4 Bigtable功能 174

6.9.5 Bigtable主服务器 174

6.9.6 Bigtable组件 175

6.9.7性能优化 179

第7章 并行计算 181

7.1并行计算概述 181

7.2 MapReduce基础 183

7.2.1编程模型 183

7.2.2执行过程 184

7.2.3映射和化简 185

7.2.4数据类型 185

7.2.5 Map类和Reduce类 186

7.2.6 Job对象配置 187

7.3 MapReduce模板 188

7.4 MapReduce计算流程 191

7.4.1作业的提交 191

7.4.2 Map任务的分配 192

7.4.3 Map任务的执行 193

7.4.4 Reduce任务的分配与执行 194

7.5 MapReduce数据流优化 194

7.5.1 MapReduce输入与输出 194

7.5.2流机制 195

7.5.3管道机制 196

7.5.4数据流优化 197

7.6 MapReduce数据类型 198

7.6.1数据内置输入格式 198

7.6.2数据定制输入格式 199

7.6.3数据定制输出格式 201

7.7 MapReduce使用算法 203

7.7.1向量乘法实现 203

7.7.2内存处理 203

7.7.3关系运算 204

7.8参数/数据文件的传递与使用 208

7.8.1传递全局作业参数 208

7.8.2查询全局MapReduce作业属性 209

7.8.3全局数据文件的传递 210

第8章 大数据存储仓库 212

8.1数据仓库 212

8.1.1 RDBMS扩展到HBase 212

8.1.2列数据库 213

8.1.3 HBase的特点 215

8.2 HBase数据库 216

8.2.1 HBase集群架构 216

8.2.2 HBase系统架构 219

8.3 HBase模型 219

8.3.1逻辑模型 219

8.3.2物理模型 220

8.4 HBase接口 221

8.4.1 HBase访问接口 221

8.4.2 shell命令接口 221

8.4.3 HBase Java接口 222

8.5 HBase基本操作 224

8.5.1 HBase存储格式 225

8.5.2 HBase读写流程 225

8.5.3 HBase表操作 226

第9章 分布式锁 231

9.1 ZooKeeper基本概述 231

9.1.1 ZooKeeper基本原理 231

9.1.2统一命名服务 235

9.1.3配置管理 235

9.1.4集群管理 236

9.1.5分布式锁 237

9.1.6共享锁（Locks） 238

9.1.7队列 238

9.2 ZooKeeper角色 239

9.2.1系统模型 239

9.2.2数据模型 240

9.2.3 ZooKeeper的特性 241

9.2.4 ZooKeeper的一致性 242

9.3 ZooKeeper接口与编程 242

9.3.1 ZooKeeper接口 243

9.3.2 ZooKeeper编程实现 244

9.4性能 246

9.4.1读/写性能测试 246

9.4.2可靠性测试 246

9.5 ZooKeeper的典型应用 247

9.5.1数据发布与订阅应用 248

9.5.2负载均衡应用 248

9.5.3分布式通知 249

第10章 数据挖掘 250

10.1数据挖掘概述 250

10.1.1数据挖掘起源 251

10.1.2数据挖掘作用 252

10.1.3定义数据挖掘 254

10.1.4哈希函数 255

10.1.5索引 257

10.1.6实现数据挖掘步骤 257

10.2 PageRank工具 258

10.2.1 PageRank概述 258

10.2.2 PageRank定义 259

10.2.3 PageRank相关算法 262

10.2.4影响PageRank的因素 263

10.3关联分析 263

10.3.1关联分析原理及算法 264

10.3.2数据关联推测功能 264

10.3.3基于用户行为分析的关联推荐 264

10.3.4数据关联注意问题 266

10.4聚类分析 266

10.4.1聚类分析作用 266

10.4.2聚类的典型要求 267

10.4.3聚类分析算法 268

10.4.4在数据挖掘中的应用 269

10.5分类分析 281

10.5.1决策树法 281

10.5.2神经网络 283

10.6异常挖掘 284

10.6.1异常挖掘概述 284

10.6.2异常挖掘的方法 285

10.7特异群组分析 288

10.7.1特性群级挖掘根源 288

10.7.2何为特异群组挖掘 289

10.7.3与聚类、异常挖掘的差异 289

10.8矩估计 293

10.8.1二阶矩估计的AMS算法 293

10.8.2高阶矩估计 294

10.8.3无限流的处理 294

10.9衰减窗口 295

10.9.1定义衰减窗口 296

10.9.2网络流频繁项集 296

10.10频繁项集 297

10.10.1项集概述 297

10.10.2 A-Priori算法 298

10.10.3 A-Priori算法改进 299

10.10.4更大数据集处理 300

10.11数据降维处理 303

10.11.1相关定义 304

10.11.2降维算法 305

10.11.3降维方法 306

第11章 社会中的大数据 314

11.1普适计算 314

11.1.1普适计算定义 315

11.1.2普适计算核心思想 315

11.1.3普适计算目的 315

11.1.4普适计算特点 315

11.1.5普适计算面临挑战 315

11.1.6普适计算应用 316

11.2数据应用于治国上 318

11.2.1循“数”管理 318

11.2.2数据验证民权 319

11.2.3数据“打”假 320

11.3商务智能 321

11.3.1数据到知识的跨越 322

11.3.2数据仓库 323

11.3.3联机分析 324

11.3.4数据挖掘智能产生 326

11.3.5数据可视化 327

11.4数据质量法与隐私 328

11.4.1数据质量法 328

11.4.2数据隐私 329

11.5数据运动 331

11.5.1数据开放 331

11.5.2数据之争 333

11.6数据大趋势 334

11.6.1数据权 334

11.6.2数据大合流 335

11.6.3互联网再造 336

11.7数据大挑战 338

11.7.1数据竞争 338

11.7.2从大数据到社会 340

第12章 云下的大数据应用 342

12.1云计算如何实现价值 342

12.2云与大数据 342

12.2.1大的数据优先级 343

12.2.2云与大数据 343

12.3云计算与大数据的强强联合 343

12.3.1大数据的企业与技术 344

12.3.2大数据的经济意义 344

12.4大数据时代下的云计算应用部署 345

12.5云计算在快速消费品行业的应用 345

12.5.1改变传统交通管理的路径 346

12.5.2在智能交通应用上的优势 347

12.6大数据在视频监控中的应用 348

12.6.1解决实时视点监控需求 349

12.6.2大数据处理解决方案 349

12.6.3实时高效的分布式视频监控 350

12.7区域医疗大数据应用案例 350

12.7.1挑战 351

12.7.2海量数据的处理和分析 351

12.7.3结论 352

12.7.4价值 352