云时代的大数据PDF电子书下载

第1章 云时代概述 1

1.1 “云”概述 1

1.1.1 什么是云计算 2

1.1.2 给云计算一个说法 3

1.1.3 云计算的使用范围 3

1.1.4 云计算与一般托管环境的差别 4

1.2 云产生的背景 4

1.2.1 经济方面 4

1.2.2 社会层面 5

1.2.3 政治层面 6

1.2.4 技术方面 6

1.3 云计算特点 7

1.4 云时代的七大益处 8

1.5 云计算与其他超级计算的区别 11

1.5.1 云计算与网格计算的区别 11

1.5.2 云计算系统与传统超级计算机的区别 12

1.6 云计算的关键性技术 12

1.6.1 虚拟化 12

1.6.2 分布式文件系统 14

1.6.3 分布式数据库 15

1.6.4 资源管理技术 15

1.6.5 能耗管理技术 16

1.7 云计算基础 18

1.7.1 云计算的定义 18

1.7.2 云计算的特征 19

1.7.3 交付模式 19

1.7.4 部署模式 21

1.7.5 新的应用机遇 23

1.8 从传统IT到云 23

1.9 云计算的研究进展 27

1.1 0云计算的生成系统 28

1.1 1云计算时代对就业的影响 29

1.1 2大数据中的云 30

第2章 大数据概述 33

2.1 大数据概念 33

2.1.1 大数据的应用 33

2.1.2 大数据的战略意义 34

2.1.3 大数据的作用 34

2.1.4 大数据与传统数据库 34

2.1.5 大数据与Web 34

2.2 大数据的理解与实践 35

2.2.1 理解大数据 35

2.2.2 实践大数据 36

2.3 大数据的发展趋势 36

2.3.1 大数据对社会的影响 36

2.3.2 云平台数据更加完善 38

2.4 大数据的挑战、现状与展望 38

2.4.1 概述 38

2.4.2 期望特性 40

2.4.3 并行数据库 42

2.4.4 MapReduce 43

2.4.5 并行数据库和MapReduce的混合架构 47

2.4.6 研究现状 49

2.4.7 MapReduce与关系数据库技术的融合 50

2.4.8 展望研究 52

2.5 大数据行业应用及未来热点 53

2.5.1 分析大数据市场 53

2.5.2 分析大数据应用需求 53

2.6 大数据2012年回顾 54

2.6.1 2012年大数据新特征 54

2.6.2 进军大数据 55

2.6.3 新兴企业不断涌现 56

2.7 大数据引导IT支出 56

2.8 数据将变得更加重要 57

2.9 盘点全球13个大数据公司 59

第3章 数据挖掘 65

3.1 数据挖掘的定义 65

3.1.1 技术上的定义及含义 65

3.1.2 商业角度的定义 66

3.2 数据挖掘概述 66

3.2.1 数据挖掘的起源 66

3.2.2 数据挖掘方法论 67

3.2.3 数据挖掘常用方法 69

3.2.4 数据挖掘的实现步骤 71

3.2.5 数据挖掘的功能 71

3.2.6 数据挖掘常用技术 72

3.2.7 数据挖掘与传统分析方法的异同 78

3.2.8 数据挖掘和数据仓库 78

3.2.9 数据挖掘的应用 79

3.3 数据挖掘相关知识 80

3.3.1 词语的重要性 81

3.3.2 哈希函数 82

3.3.3 索引 84

3.3.4 二维存储器 85

3.3.5 自然对数的底e 85

3.3.6 幂定律 86

第4章 数据量化 87

4.1 量化分析简介 87

4.2 规划优质量化分析 91

4.2.1 量化分析开发规划的构成 91

4.2.2 文档 95

4.3 答案纲要 96

4.4 三角交叉法 103

4.5 高级量化分析 105

4.5.1 其他象限 106

4.5.2 量化分析未成熟组织的益处 106

4.5.3 重复业务流程 107

4.5.4 其他象限的量化分析 107

4.6 创建服务目录 110

4.7 构建标准和基准 113

4.8 量化数据谈投资 114

第5章 大规模文件系统MapReduce 115

5.1 分布式文件系统 115

5.1.1 NFS和AFS的区别 118

5.1.2 计算节点的物理结构 118

5.2 MapReduce模型 119

5.2.1 Map任务 120

5.2.2 分组与聚合 120

5.2.3 Reduce任务 120

5.3 MapReduce使用算法 123

5.3.1 向量乘法实现 123

5.3.2 内存处理 123

5.3.3 关系运算 124

5.3.4 分布文件系统实例 128

5.4 MapReduce复合键值对的使用 138

5.4.1 合并键值 138

5.4.2 用复合键排序 139

5.5 链接MapReduce作业 142

5.5.1 顺序链接MapReduce作业 142

5.5.2 复杂的MapReduce链接 143

5.5.3 前后处理的链接 143

5.5.4 链接不同的数据 145

5.6 MapReduce递归扩展 152

5.7 集群计算算法的效率问题 154

5.7.1 集群计算的通信开销模型 154

5.7.2 多路连接 155

第6章 相似项挖掘 157

6.1 近邻搜索的应用 157

6.1.1 Jaccard相似度 157

6.1.2 文档相似度 157

6.2 文档的shingling算法 162

6.2.1 k-shingle 162

6.2.2 大小选择 163

6.2.3 对shingle进行哈希 163

6.3 最小哈希 164

6.3.1 矩阵表示集合 164

6.3.2 最小哈希概述 164

6.3.3 Jaccard相似度 165

6.3.4 最小哈希签名 165

6.3.5 签名计算 166

6.4 语音文档局部敏感哈希算法 168

6.4.1 局部敏感哈希概述 168

6.4.2 行条化策略的分析 172

6.5 距离测试 174

6.5.1 距离测度的定义 174

6.5.2 欧氏距离 174

6.5.3 Jaccard距离 175

6.5.4 余弦距离 175

6.5.5 编辑距离 176

6.5.6 海明距离 177

6.6 其他距离测度的LSH函数族 178

6.6.1 海明距离的LSH函数族 178

6.6.2 随机超平面与余弦距离 179

6.6.3 欧氏距离的LSH函数族 180

6.7 LSH函数的应用 181

6.7.1 实体关联 181

6.7.2 指纹匹配 183

6.7.3 论文相似性检测服务 185

6.8 高相似度方法 186

6.8.1 相等项发现 186

6.8.2 集合字串表示法 187

6.8.3 长度过滤 187

6.8.4 前缀索引 188

6.8.5 位置信息使用 188

6.8.6 使用位置和长度信息的索引 190

第7章 HDFS存储海量数据 192

7.1 HDFS简介 192

7.1.1 HDFS的特点 192

7.1.2 HDFS的设计需求 193

7.1.3 HDFS体系结构 195

7.1.4 HDFS的可靠性措施 196

7.1.5 数据均衡 200

7.2 HDFS存取机制 200

7.3 图像存储 202

7.3.1 图像存储基本思想 202

7.3.2 图像存储设计目标 202

7.3.3 图像存储体系结构 203

7.3.4 系统功能结构 204

7.4 HDFS管理操作 205

7.4.1 权限管理 205

7.4.2 配额管理 207

7.4.3 文件归档 207

7.5 FS Shell使用指南 208

7.6 API使用 214

7.7 HDFS的缺点 216

7.8 HDFS存储海量数据 217

第8章 HBase存储百科数据 219

8.1 HBase的系统框架 219

8.2 HBase基本特征 222

8.2.1 RDBMS与HBase 222

8.2.2 NoSQL数据库 223

8.2.3 HBase的特点 225

8.3 HBase的基本接口 226

8.3.1 HBase访问接口 226

8.3.2 HBase的存储格式 227

8.3.3 HBase的读写流程 227

8.4 模块总体设计 228

8.4.1 数据库模块总体设计 228

8.4.2 模块详细设计 229

8.4.3 数据库模块交互设计 233

8.5 HBase数据模型 234

8.6 HBase的安装与配置 238

8.7 HBase实例分析 240

8.7.1 HBase的HFileOutputFormat 240

8.7.2 HBase的TableOutputFormat 243

第9章 大数据链接分析 247

9.1 链接分析中的数据采集研究 247

9.1.1 链接分析概述 247

9.1.2 相关研究 248

9.1.3 系统功能设计 249

9.1.4 实验 251

9.1.5 结论 252

9.2 PageRank工具 252

9.2.1 PageRank概述 253

9.2.2 PageRank定义 253

9.2.3 相关算法 255

9.2.4 避免终止点 256

9.2.5 采集器陷阱及“抽税”法 258

9.2.6 影响PageRank的因素 259

9.3 PageRank算法 259

9.4 搜索引擎研究 262

9.4.1 搜索引擎未来的发展方向 262

9.4.2 通用型搜索引擎 264

9.4.3 主题型搜索引擎 268

9.4.4 性能指标 270

9.5 链接作弊 270

9.5.1 垃圾农场的架构 270

9.5.2 垃圾农场的分析 271

9.5.3 TrustRank 272

9.5.4 垃圾质量 273

9.6 导航页和权威页 273

第10章 聚类 276

10.1 聚类概述 276

10.1.1 聚类的典型应用 276

10.1.2 聚类的典型要求 276

10.1.3 聚类的计算方法 277

10.1.4 聚类分析的特征 278

10.2 聚类技术 279

10.2.1 点、空间和距离 279

10.2.2 维数灾难 279

10.3 层次聚类 280

10.3.1 欧氏空间下的层次聚类 281

10.3.2 控制层次聚类的其他规则 284

10.3.3 非欧空间下的层次聚类 284

10.4 K-均值算法 285

10.4.1 K-均值算法的簇初始化 285

10.4.2 K值的选择 286

10.4.3 BFR算法 287

10.4.4 BFR算法中的数据处理 288

10.5 CURE算法 290

10.5.1 CURE算法流程 290

10.5.2 CURE算法设计 290

10.5.3 数据取样算法 293

10.6 流聚类及并行化 293

10.6.1 流计算模型 294

10.6.2 二次聚类算法 294

10.7 非欧空间下的聚类 297

10.7.1 GRGPF算法的簇表示 297

10.7.2 簇树的初始化 297

10.7.3 算法中加入点 298

10.7.4 分裂与合并 299

第11章 项集与系统 301

11.1 项集与系统概述 301

11.2 项集 302

11.2.1 规则 303

11.2.2 内存使用 304

11.2.3 单调性 305

11.2.4 二元组计数 305

11.2.5 A-Priori算法 306

11.2.6 频繁项集上的A-Priori算法 307

11.3 更大数据集处理 308

11.3.1 PCY算法 309

11.3.2 多阶段算法 310

11.3.3 多哈希算法 311

11.4 有限扫描算法 312

11.4.1 随机算法 312

11.4.2 SON算法 313

11.4.3 MapReduce算法 313

11.4.4 Toivonen算法 314

11.5 流中的频繁项 315

11.5.1 抽样法 315

11.5.2 衰减窗口的频繁项集 316

11.5.3 混合方法 316

11.6 推荐模型系统 317

11.6.1 效用矩阵 317

11.6.2 长尾现象 317

11.6.3 效用矩阵的填充 318

11.7 内容的推荐 318

11.7.1 项模型 319

11.7.2 项模型的表示 319

11.7.3 分类算法 320

11.8 协同过滤 321

11.8.1 协同过滤的优缺点 321

11.8.2 协同过滤案例 321

11.9 降维处理 322

11.9.1 基于中心流形理论的降维方法 322

11.9.2 Lyapunov-Schmidt（L-S）方法 323

11.9.3 Galerkin方法 324

11.9.4 正交分解技术的降维方法 327

11.9.5 其他降维方法 328

11.1 0Netflix大奖赛与推荐系统 331

参考文献 336