第1篇 基础知识 3
1大数据相关概念 3
1.1 大数据的发展背景 3
1.1.1 大数据的产生 4
1.1.2 大数据的由来及发展历程 7
1.2 大数据的概念与特征 11
1.2.1 大数据的概念 11
1.2.2 大数据的特征 12
1.3 大数据的数据结构 15
1.3.1 一般意义上的数据结构 15
1.3.2 数据仓库的数据结构 15
1.3.3 大数据的数据结构 16
1.4 大数据与数据挖掘 16
1.4.1 大数据与数据挖掘的关系 16
1.4.2 大数据挖掘的一般模式 18
1.5 大数据的研究现状和展望 20
1.5.1 大数据的研究现状 20
1.5.2 大数据的研究展望 23
1.6 小结 26
2云计算与大数据 27
2.1 云计算相关理论及技术 27
2.1.1 云计算的定义与特点 27
2.1.2 云计算的基本架构 30
2.1.3 云计算架构的实施阶段 32
2.2 云计算与大数据的关系 35
2.2.1 云计算与大数据是相辅相成的 35
2.2.2 云计算与大数据是动与静的关系 36
2.2.3 云计算与大数据的未来发展 37
2.3 小结 38
3面向大数据的数据分析工具 39
3.1 WEKA简介 39
3.1.1 WEKA使用简介 39
3.1.2 WEKA数据格式 40
3.1.3 WEKA中的数据准备 42
3.1.4 WEKA常用算法应用举例 44
3.2 Hadoop简介 53
3.2.1 HDFS海量存储 55
3.2.2 MapReduce 59
3.2.3 基于Hadoop的交通运输大数据解决方案 64
3.3 小结 67
第2篇 大数据相关理论及实例 71
4数据库、数据仓库与数据挖掘 71
4.1 数据库理论 71
4.1.1 数据库系统的结构理论 71
4.1.2 数据库的数据模型 72
4.1.3 数据库的设计 79
4.2 数据仓库理论 85
4.2.1 数据仓库的定义与解释 85
4.2.2 数据仓库系统模式 85
4.2.3 实例：数据仓库系统中多维数据的形式化定义与描述 87
4.3 数据挖掘理论 94
4.3.1 数据挖掘的定义与解释 94
4.3.2 数据挖掘与数据仓库 95
4.3.3 数据挖掘与知识发现 96
4.3.4 数据挖掘与联机分析处理 98
4.3.5 数据挖掘相关方法 99
4.3.6 数据挖掘的发展 104
4.4 小结 105
5数据集成、中间件与数据压缩 107
5.1 数据集成理论及应用实例 107
5.1.1 数据集成的对象 107
5.1.2 数据集成技术与方法 108
5.1.3 3G与MIS的集成模式 109
5.1.4 实例：数据集成的设计与实现 111
5.2 中间件理论及应用实例 114
5.2.1 中间件的定义与特点 114
5.2.2 基于数据仓库系统的中间件技术 116
5.2.3 实例：中间件技术在数据仓库系统中数据采集的应用 118
5.3 数据压缩理论及应用实例 126
5.3.1 无损压缩主要技术 126
5.3.2 有损压缩主要技术 130
5.3.3 实例：文本挖掘中统计单词的新方法 131
5.4 小结 141
第3篇 大数据相关技术及应用 145
6非关系型数据库技术及应用 145
6.1 非关系型数据库系统发展的必然性 145
6.1.1 数据库技术发展历史 145
6.1.2 关系型数据库的挑战与不足 147
6.2 非关系型数据库理论 150
6.2.1 非关系型数据库的概念 150
6.2.2 非关系型数据库的产品 153
6.3 非关系型数据库的使用范例 156
6.3.1 MongoDB的使用范例 156
6.3.2 Neo4j的使用范例 161
6.4 MongoDB与JAVA开源架构的整合 164
6.4.1 JAVA开源架构的介绍 164
6.4.2 Morphia ORM框架 167
6.4.3 框架的整合应用 167
6.5 小结 175
7信息检索与主题模型相关技术及应用 177
7.1 信息检索相关理论 177
7.1.1 信息检索的文本表示 178
7.1.2 信息检索的匹配算法 181
7.1.3 信息检索结果的评价 187
7.2 主题模型相关理论 190
7.2.1 主题模型的概念 190
7.2.2 主题模型的算法 191
7.2.3 主题模型的运行实例 194
7.3 基于主题的文献检索应用 197
7.3.1 学术文献网络的构建 197
7.3.2 主题的确定与计算 198
7.3.3 基于主题的文献引用网络 201
7.3.4 基于Lemur的信息检索模型实现 203
7.4 小结 206
8可视化技术及应用 207
8.1 大数据与可视化 207
8.1.1 大数据与可视化的关系 207
8.1.2 可视化工具与产品 208
8.1.3 Gephi可视化软件的使用 208
8.2 知识域可视化问题的应用 212
8.2.1 知识域可视化问题描述 212
8.2.2 知识域可视化的应用 214
8.3 小结 218
参考文献 219