第1章 大数据概论 1
1.1 大数据技术简介 2
1.1.1 IT产业的发展简史 2
1.1.2 大数据的主要来源 4
1.1.3 数据生成的3种主要方式 4
1.1.4 大数据的特点 5
1.1.5 大数据的处理流程 5
1.1.6 大数据的数据格式 6
1.1.7 大数据的基本特征 6
1.1.8 大数据的应用领域 7
1.2 大数据的技术架构 7
1.3 大数据的整体技术 8
1.4 大数据分析的4种典型工具简介 9
1.5 大数据未来发展趋势 10
1.5.1 数据资源化 10
1.5.2 数据科学和数据联盟的成立 10
1.5.3 大数据隐私和安全问题 11
1.5.4 开源软件成为推动大数据发展的动力 11
1.5.5 大数据在多方位改善人们的生活 12
本章小结 12
习题1 12
第2章 大数据采集及预处理 14
2.1 数据采集简介 15
2.1.1 数据采集 15
2.1.2 数据采集的数据来源 15
2.1.3 数据采集的技术方法 17
2.2 大数据的预处理 18
2.3 大数据采集及预处理的主要工具 20
本章小结 29
习题2 29
第3章 大数据分析概论 31
3.1 大数据分析简介 32
3.1.1 大数据分析 32
3.1.2 大数据分析的基本方法 33
3.1.3 大数据处理流程 34
3.2 大数据分析的主要技术 36
3.2.1 深度学习 36
3.2.2 知识计算 37
3.3 大数据分析处理系统简介 39
3.3.1 批量数据及处理系统 39
3.3.2 流式数据及处理系统 40
3.3.3 交互式数据及处理系统 40
3.3.4 图数据及处理系统 40
3.4 大数据分析的应用 41
本章小结 43
习题3 43
第4章 大数据可视化 45
4.1 大数据可视化简介 45
4.2 大数据可视化工具Tableau 50
本章小结 58
习题4 58
第5章 Hadoop概论 59
5.1 Hadoop简介 60
5.1.1 Hadoop简史 60
5.1.2 Hadoop应用和发展趋势 61
5.2 Hadoop的架构与组成 62
5.2.1 Hadoop架构介绍 63
5.2.2 Hadoop组成模块 63
5.3 Hadoop应用分析 65
本章小结 66
习题5 66
第6章 HDFS和Common概论 68
6.1 HDFS简介 68
6.1.1 HDFS的相关概念 69
6.1.2 HDFS特性 69
6.1.3 HDFS体系结构 70
6.1.4 HDFS的工作原理 71
6.1.5 HDFS的相关技术 73
6.2 Common简介 75
本章小结 76
习题6 77
第7章 MapReduce概论 79
7.1 MapReduce简介 80
7.1.1 MapReduce 80
7.1.2 MapReduce功能、特征和局限性 81
7.2 Map和Reduce任务 83
7.3 MapReduce架构和工作流程 86
7.3.1 MapReduce的架构 86
7.3.2 MapReduce的工作流程 87
本章小结 88
习题7 88
第8章 NoSQL概论 89
8.1 NoSQL简介 90
8.1.1 NoSQL的含义 90
8.1.2 NoSQL的产生 90
8.1.3 NoSQL的特点 90
8.2 NoSQL技术基础 91
8.2.1 大数据的一致性策略 92
8.2.2 大数据的分区与放置策略 92
8.2.3 大数据的复制与容错技术 93
8.2.4 大数据的缓存技术 94
8.3 NoSQL的类型 95
8.3.1 键值存储 96
8.3.2 列存储 96
8.3.3 面向文档存储 96
8.3.4 图形存储 97
8.4 典型的NoSQL工具 98
8.4.1 Redis 99
8.4.2 Bigtable 99
8.4.3 CouchDB 100
本章小结 101
习题8 102
第9章 Spark概论 103
9.1 Spark平台 104
9.1.1 Spark简介 104
9.1.2 Spark发展 104
9.1.3 Scala语言 105
9.2 Spark与Hadoop 105
9.2.1 Hadoop的局限与不足 105
9.2.2 Spark的优点 106
9.2.3 Spark速度比Hadoop快的原因分解 106
9.3 Spark处理框架及其生态系统 107
9.3.1 底层的Cluster Manager和Data Manager 108
9.3.2 中间层的Spark Runtime 108
9.3.3 高层的应用模块 109
9.4 Spark的应用 110
9.4.1 Spark的应用场景 110
9.4.2 应用Spark的成功案例 111
本章小结 112
习题9 112
第10章 云计算与大数据 114
10.1 云计算简介 115
10.1.1 云计算 115
10.1.2 云计算与大数据的关系 116
10.1.3 云计算基本特征 116
10.1.4 云计算服务模式 117
10.2 云计算核心技术 118
10.2.1 虚拟化技术 118
10.2.2 虚拟化软件及应用 119
10.2.3 资源池化技术 120
10.2.4 云计算部署模式 122
10.3 云计算应用案例 123
本章小结 127
习题10 127
第11章 典型大数据解决方案 129
11.1 Intel大数据 130
11.1.1 Intel大数据解决方案 130
11.1.2 Intel大数据相关案例 131
11.2 百度大数据 132
11.2.1 百度大数据引擎 132
11.2.2 百度大数据＋平台 133
11.2.3 相关应用 133
11.2.4 百度预测的使用方法 135
11.3 腾讯大数据 137
11.3.1 腾讯大数据解决方案 137
11.3.2 相关实例 139
本章小结 140
习题11 140
附录A 习题答案 141
参考文献 151