大数据技术前沿PDF电子书下载

第1章 大数据可视化概论 1

1.1 可视化基础 2

1.1.1 可视化释义 2

1.1.2 可视化流程 5

1.1.3 可视化编码 6

1.1.4 可视化方法 10

1.2 复杂数据可视化 36

1.2.1 大数据可视化特点 37

1.2.2 大尺度数据的可视化 38

1.2.3 快速变化数据的可视化 41

1.2.4 多变量数据的可视化 44

1.2.5 非结构化数据的可视化 50

1.2.6 大数据可视分析 53

1.3 可视化与可视分析研发资源 60

1.3.1 代表性开源与商业软件 60

1.3.2 开发工具与编程语言 61

1.3.3 可视化信息资源 62

1.3.4 部分可视化科研机构 63

参考文献 64

第2章 文本大数据处理 67

2.1 文本大数据概述 67

2.2 中文词法分析 70

2.3 句法分析 73

2.4 语义分析 74

2.5 开源项目与共享工具 75

2.6 文本大数据的部分应用 76

2.6.1 概述 76

2.6.2 基于双数组Tie树的面向微博短文本的分词 77

2.6.3 词义消歧 80

2.6.4 未登录词识别 83

2.6.5 文本分类与文本聚类 84

2.6.6 机器翻译 86

2.6.7 其他应用 87

参考文献 89

第3章 社交网络大数据挖掘 91

3.1 概述 91

3.2 大规模异构网络集成 94

3.2.1 计算模型——COSNET 96

3.2.2 模型求解 98

3.2.3 实验结果 99

3.3 基于交互的网络机器学习 101

3.3.1 网络数据的主动交互学习 101

3.3.2 算法模型——MaxCo 102

3.3.3 网络流数据的主动交互学习 103

3.3.4 算法模型 104

3.4 基于随机路径的高效网络拓扑相似度算法 106

3.4.1 问题定义 107

3.4.2 基于随机路径的网络拓扑相似度算法——Panther 107

3.4.3 实验结果 110

3.4.4 小结 113

3.5 个体行为与网络分布的统一建模框架——M3D 113

3.5.1 研究方案 114

3.5.2 实验验证 115

3.6 总结和展望 117

参考文献 117

第4章 语义大数据——知识图谱 119

4.1 大规模知识图谱技术 119

4.1.1 知识图谱的表示及其在搜索中的展现形式 119

4.1.2 知识图谱的构建 121

4.1.3 知识图谱在搜索中的应用 126

4.1.4 总结 127

4.2 行业知识图谱工具 127

4.2.1 简介 127

4.2.2 常见的行业知识图谱 129

4.2.3 行业知识图谱的构建 131

4.2.4 行业知识图谱的应用 139

4.2.5 应用案例 141

第5章 图数据库——基于图的大数据管理 147

5.1 图数据库简介 147

5.1.1 大图数据 148

5.1.2 OLTP与OLAP 149

5.1.3 图数据模型 151

5.1.4 图查询语言 154

5.2 主流图数据库和图计算引擎 160

5.2.1 最流行的图数据库——Neo4i 160

5.2.2 分布式图数据库——Titan 161

5.2.3 基于RDF三元组库的图数据库——Blazegraph 162

5.2.4 基于Pregel框架的图计算引擎——Giraph、Hama、GraphLab、GraphX 163

5.3 图数据库关键技术 166

5.3.1 图数据库的存储 166

5.3.2 图数据库的索引 169

5.3.3 图数据库的查询处理 172

5.4 图数据库应用 175

5.4.1 语义万维网 175

5.4.2 社会网络 176

5.4.3 生物信息学 177

参考文献 178

第6章 内存计算——高速大数据处理的核心技术 181

6.1 内存计算技术的一个误区 181

6.2 TimesTen的设计思路 182

6.3 Apache Spark的设计思路 184

6.4 SAP HANA的设计思路 186

6.5 YunTable 4.0的产品介绍 188

6.5.1 整体架构与核心技术 188

6.5.2 MPP 190

6.5.3 列存2.0 190

6.5.4 动态数据分发 192

6.5.5 内存计算 193

6.5.6 性能和路线图 193

6.6 总结 194

第7章 分布式存储系统——大数据存储支撑技术 195

7.1 大数据对存储系统带来的挑战及其引发的变革 195

7.2 谷歌文件系统（GFS） 196

7.2.1 支持大数据集存取和离线批处理的分布式存储系统 196

7.2.2 GFS架构分析 197

7.2.3 系统交互 204

7.2.4 主节点的设计 208

7.2.5 容错和诊断 213

7.2.6 小结 216

7.3 支持海量数据和大规模并发访问的分布式对象存储OpenStack Swift 216

7.3.1 互联网化带来新的存储需求 216

7.3.2 OpenStack Swift的特点 218

7.3.3 Swift的数据模型和架构 221

7.3.4 Swift的API 238

第8章 大数据安全技术 245

8.1 差分隐私保护方法简介 245

8.2 差分隐私研究保护方向——数据发布和数据挖掘 248

8.2.1 基于差分隐私保护的数据发布（DPPDR） 248

8.2.2 差分隐私保护数据挖掘（DPPDM） 249

8.3 常见隐私保护方法 249

8.3.1 差分隐私保护分类方法 249

8.3.2 差分隐私保护聚类方法 250

8.3.3 差分隐私频繁模式挖掘 251

8.4 应用案例和原型系统 251

参考文献 253

第9章 众包——数据来源与质量保证 255

9.1 众包 255

9.1.1 众包的概念和模型 255

9.1.2 众包的优劣分析 257

9.2 众包的关键技术 257

9.2.1 众包流程 257

9.2.2 任务设计 259

9.2.3 任务分配 260

9.2.4 任务动态优化 261

9.2.5 众包激励机制 261

9.2.6 众包质量保障 263

9.3 众包的成功案例和平台 264

9.3.1 知识百科众包 264

9.3.2 数据众包 264

9.3.3 创新众包 266

9.3.4 软件众包 267

9.3.5 众筹 268

9.3.6 通用智力劳动众包 269

9.3.7 中国的众包平台 269

9.4 众包研究趋势 269

9.5 总结和展望 271

参考文献 272