大数据导论PDF电子书下载

第1章 什么是大数据 1

1.1 人类信息文明的发展 1

1.2 大数据时代的来临 2

1.2.1 信息技术的发展 3

1.2.2 数据产生方式的变革 5

1.3 大数据的主要特征 7

1.3.1 大数据的数据特征 8

1.3.2 大数据的技术特征 10

1.4 大数据的社会价值 11

习题 12

本章参考文献 13

第2章 大数据技术基础 14

2.1 计算机操作系统 14

2.1.1 什么是操作系统 14

2.1.2 Linux操作系统 16

2.2 编程语言 18

2.2.1 编程语言的发展与种类 18

2.2.2 Python语言 21

2.3 数据库 23

2.3.1 SQL数据库的发展与成熟 24

2.3.2 NoSQL数据库及其特点 25

2.3.3 NoSQL数据库的分类 27

2.3.4 NewSQL数据库 30

2.4 算法 30

2.4.1 什么是算法 30

2.4.2 大数据时代的算法 32

2.5 大数据系统 33

2.5.1 Hadoop平台 33

2.5.2 Spark平台 35

2.6 大数据的数据类型 37

2.6.1 结构化数据 38

2.6.2 半结构化数据 38

2.6.3 非结构化数据 39

2.7 大数据应用的开发流程 40

2.8 数据科学算法的应用流程 41

习题 42

本章参考文献 43

第3章 数据采集与预处理 44

3.1 大数据的来源 44

3.1.1 传统商业数据 45

3.1.2 互联网数据 45

3.1.3 物联网数据 46

3.2 数据的采集方法 47

3.2.1 系统日志的采集方法 47

3.2.2 网页数据的采集方法 52

3.2.3 其他数据的采集方法 55

3.3 数据预处理 56

3.3.1 影响数据质量的因素 56

3.3.2 数据预处理的目的 59

3.3.3 数据预处理的流程 60

习题 67

本章参考文献 67

第4章 大数据存储与管理 68

4.1 数据存储概述 68

4.1.1 数据的存储介质 68

4.1.2 数据的存储模式 72

4.2 大数据时代的存储管理系统 76

4.2.1 文件系统 76

4.2.2 分布式文件系统 77

4.2.3 数据库 80

4.2.4 键-值数据库 82

4.2.5 分布式数据库 82

4.2.6 关系型数据库 84

4.2.7 数据仓库 85

4.2.8 文档数据库 87

4.2.9 图形数据库 89

4.2.10 云存储 90

习题 93

本章参考文献 93

第5章 大数据计算框架 94

5.1 计算框架 94

5.1.1 批处理框架 94

5.1.2 流式处理框架 95

5.1.3 交互式处理框架 96

5.2 MapReduce 96

5.2.1 MapReduce编程的特点 97

5.2.2 MapReduce的计算模型 97

5.2.3 MapReduce的资源管理框架 101

5.3 Spark 105

5.3.1 Spark的基本知识 105

5.3.2 Spark的生态系统 107

5.3.3 Spark的架构与原理 109

5.3.4 Spark RDD的基本知识 111

习题 115

本章参考文献 115

第6章 数据挖掘 116

6.1 什么是数据挖掘 116

6.2 数据挖掘的对象与价值 119

6.2.1 数据挖掘的对象 119

6.2.2 数据挖掘的价值 121

6.3 数据挖掘常用的技术 123

6.3.1 关联分析 123

6.3.2 分类分析 126

6.3.3 聚类分析 129

6.4 数据挖掘常用的工具 132

6.4.1 RapidMiner 133

6.4.2 WEKA 133

6.4.3 Orange 134

6.4.4 R语言 134

6.4.5 Mining 135

6.5 数据挖掘的典型应用 137

6.5.1 社交媒体领域的应用 137

6.5.2 市场营销领域的应用 137

6.5.3 科学研究领域的应用 138

6.5.4 电信领域的应用 138

6.5.5 教育领域的应用 138

6.5.6 医学领域的应用 139

习题 140

本章参考文献 140

第7章 数据可视化 141

7.1 什么是可视化 141

7.1.1 可视化的含义 141

7.1.2 可视化的发展历程 142

7.1.3 可视化的作用 143

7.2 数据可视化及其分类 144

7.2.1 科学可视化 144

7.2.2 信息可视化 146

7.2.3 可视化分析学 147

7.3 数据可视化工具 147

7.3.1 入门级工具 148

7.3.2 信息图表工具 149

7.3.3 地图工具 152

7.3.4 高级分析工具 155

7.4 数据可视化案例 157

7.4.1 数字美食 157

7.4.2 空中的间谍 157

习题 158

本章参考文献 158

第8章 大数据与云计算 160

8.1 什么是云计算 160

8.1.1 云计算的概念与特点 160

8.1.2 云计算的分类 162

8.1.3 云计算与分布式计算的区别 163

8.1.4 云计算的体系架构 163

8.1.5 云计算需要解决的问题 165

8.1.6 具有代表性的云计算厂商 166

8.2 大数据与云计算的关系 167

8.2.1 云计算将改变大数据分析 168

8.2.2 大数据与云计算的区别和联系 168

8.2.3 大数据与云计算未来的发展方向和趋势 169

8.2.4 大数据与云计算在生产生活中的应用 171

习题 173

本章参考文献 174

第9章 大数据与人工智能 175

9.1 什么是人工智能 175

9.1.1 人工智能的发展历史 176

9.1.2 人工智能的研究方向和方法 182

9.1.3 人工智能面临的问题 184

9.2 数据驱动的智能时代 185

9.2.1 人工智能与大数据 185

9.2.2 产业战略 187

习题 188

本章参考文献 188