大数据基础编程、实验和案例教程PDF电子书下载

第1章 大数据技术概述 1

1.1 大数据时代 1

1.2 大数据关键技术 2

1.3 大数据软件 3

1.3.1 Hadoop 4

1.3.2 Spark 5

1.3.3 NoSQL数据库 5

1.3.4 数据可视化 6

1.4 内容安排 7

1.5 在线资源 8

1.5.1 在线资源一览表 9

1.5.2 下载专区 9

1.5.3 在线视频 10

1.5.4 拓展阅读 11

1.5.5 大数据课程公共服务平台 11

1.6 本章小结 12

第2章 Linux系统的安装和使用 13

2.1 Linux系统简介 13

2.2 Linux系统安装 13

2.2.1 下载安装文件 14

2.2.2 Linux系统的安装方式 14

2.2.3 安装Linux虚拟机 15

2.2.4 生成Linux虚拟机镜像文件 36

2.3 Linux系统及相关软件的基本使用方法 38

2.3.1 Shell 38

2.3.2 root用户 38

2.3.3 创建普通用户 38

2.3.4 sudo命令 39

2.3.5 常用的Linux系统命令 40

2.3.6 文件解压缩 40

2.3.7 常用的目录 41

2.3.8 目录的权限 41

2.3.9 更新APT 41

2.3.10 切换中英文输入法 43

2.3.11 vim编辑器的使用方法 43

2.3.12 在Windows系统中使用SSH方式登录Linux系统 44

2.3.13 在Linux中安装Eclipse 48

2.3.14 其他使用技巧 49

2.4 关于本书内容的一些约定 49

2.5 本章小结 50

第3章 Hadoop的安装和使用 51

3.1 Hadoop简介 51

3.2 安装Hadoop前的准备工作 52

3.2.1 创建hadoop用户 52

3.2.2 更新APT 52

3.2.3 安装SSH 52

3.2.4 安装Java环境 53

3.3 安装Hadoop 55

3.3.1 下载安装文件 55

3.3.2 单机模式配置 56

3.3.3 伪分布式模式配置 57

3.3.4 分布式模式配置 66

3.3.5 使用Docker搭建Hadoop分布式集群 75

3.4 本章小结 87

第4章 HDFS操作方法和基础编程 88

4.1 HDFS操作常用Shell命令 88

4.1.1 查看命令使用方法 88

4.1.2 HDFS目录操作 90

4.2 利用HDFS的Web管理界面 92

4.3 HDFS编程实践 92

4.3.1 在Eclipse中创建项目 93

4.3.2 为项目添加需要用到的JAR包 94

4.3.3 编写Java应用程序 96

4.3.4 编译运行程序 98

4.3.5 应用程序的部署 100

4.4 本章小结 102

第5章 HBase的安装和基础编程 103

5.1 安装HBase 103

5.1.1 下载安装文件 103

5.1.2 配置环境变量 104

5.1.3 添加用户权限 104

5.1.4 查看HBase版本信息 104

5.2 HBase的配置 105

5.2.1 单机模式配置 105

5.2.2 伪分布式配置 107

5.3 HBase常用Shell命令 109

5.3.1 在HBase中创建表 109

5.3.2 添加数据 110

5.3.3 查看数据 110

5.3.4 删除数据 111

5.3.5 删除表 112

5.3.6 查询历史数据 112

5.3.7 退出HBase数据库 112

5.4 HBase编程实践 113

5.4.1 在Eclipse中创建项目 113

5.4.2 为项目添加需要用到的JAR包 116

5.4.3 编写Java应用程序 117

5.4.4 编译运行程序 123

5.4.5 应用程序的部署 124

5.5 本章小结 124

第6章 典型NoSQL数据库的安装和使用 125

6.1 Redis安装和使用 125

6.1.1 Redis简介 125

6.1.2 安装Redis 125

6.1.3 Redis实例演示 127

6.2 MongoDB的安装和使用 128

6.2.1 MongDB简介 129

6.2.2 安装MongoDB 129

6.2.3 使用Shell命令操作MongoDB 130

6.2.4 Java API编程实例 136

6.3 本章小结 139

第7章 MapReduce基础编程 140

7.1 词频统计任务要求 140

7.2 MapReduce程序编写方法 141

7.2.1 编写Map处理逻辑 141

7.2.2 编写Reduce处理逻辑 141

7.2.3 编写main方法 142

7.2.4 完整的词频统计程序 143

7.3 编译打包程序 144

7.3.1 使用命令行编译打包词频统计程序 145

7.3.2 使用Eclipse编译运行词频统计程序 145

7.4 运行程序 154

7.5 本章小结 156

第8章 数据仓库Hive的安装和使用 157

8.1 Hive的安装 157

8.1.1 下载安装文件 157

8.1.2 配置环境变量 158

8.1.3 修改配置文件 158

8.1.4 安装并配置MySQL 159

8.2 Hive的数据类型 161

8.3 Hive基本操作 162

8.3.1 创建数据库、表、视图 162

8.3.2 删除数据库、表、视图 163

8.3.3 修改数据库、表、视图 164

8.3.4 查看数据库、表、视图 165

8.3.5 描述数据库、表、视图 165

8.3.6 向表中装载数据 166

8.3.7 查询表中数据 166

8.3.8 向表中插入数据或从表中导出数据 166

8.4 Hive应用实例：WordCount 167

8.5 Hive编程的优势 167

8.6 本章小结 168

第9章 Spark的安装和基础编程 169

9.1 基础环境 169

9.2 安装Spark 169

9.2.1 下载安装文件 169

9.2.2 配置相关文件 170

9.3 使用Spark Shell编写代码 171

9.3.1 启动Spark Shell 171

9.3.2 读取文件 172

9.3.3 编写词频统计程序 174

9.4 编写Spark独立应用程序 174

9.4.1 用Scala语言编写Spark独立应用程序 175

9.4.2 用Java语言编写Spark独立应用程序 178

9.5 本章小结 182

第10章 典型的可视化工具的使用方法 183

10.1 Easel.ly信息图制作方法 183

10.1.1 信息图 183

10.1.2 信息图制作基本步骤 183

10.2 D3可视化库的使用方法 186

10.2.1 D3可视化库的安装 187

10.2.2 基本操作 187

10.3 可视化工具Tableau使用方法 194

10.3.1 安装Tableau 195

10.3.2 界面功能介绍 195

10.3.3 Tableau简单操作 197

10.4 使用“魔镜”制作图表 202

10.4.1 “魔镜”简介 202

10.4.2 简单制作实例 202

10.5 使用ECharts图表制作 206

10.5.1 ECharts简介 206

10.5.2 ECharts图表制作方法 206

10.5.3 两个实例 210

10.6 本章小结 217

第11章 数据采集工具的安装和使用 218

11.1 Flume 218

11.1.1 安装Flume 218

11.1.2 两个实例 220

11.2 Kafka 225

11.2.1 Kafka相关概念 225

11.2.2 安装Kafka 225

11.2.3 一个实例 225

11.3 Sqoop 227

11.3.1 下载安装文件 227

11.3.2 修改配置文件 228

11.3.3 配置环境变量 228

11.3.4 添加MySQL驱动程序 228

11.3.5 测试与MySQL的连接 229

11.4 实例：编写Spark程序使用Kafka数据源 230

11.4.1 Kafka准备工作 230

11.4.2 Spark准备工作 232

11.4.3 编写Spark程序使用Kafka数据源 234

11.5 本章小结 239

第12章 大数据课程综合实验案例 241

12.1 案例简介 241

12.1.1 案例目的 241

12.1.2 适用对象 241

12.1.3 时间安排 241

12.1.4 预备知识 241

12.1.5 硬件要求 242

12.1.6 软件工具 242

12.1.7 数据集 242

12.1.8 案例任务 242

12.2 实验环境搭建 243

12.3 实验步骤概述 244

12.4 本地数据集上传到数据仓库Hive 245

12.4.1 实验数据集的下载 245

12.4.2 数据集的预处理 246

12.4.3 导入数据库 249

12.5 Hive数据分析 253

12.5.1 简单查询分析 253

12.5.2 查询条数统计分析 255

12.5.3 关键字条件查询分析 256

12.5.4 根据用户行为分析 258

12.5.5 用户实时查询分析 259

12.6 Hive、MySQL、HBase数据互导 260

12.6.1 Hive预操作 260

12.6.2 使用Sqoop将数据从Hive导入MySQL 261

12.6.3 使用Sqoop将数据从MySQL导入HBase 265

12.6.4 使用HBase Java API把数据从本地导入到HBase中 269

12.7 利用R进行数据可视化分析 275

12.7.1 安装R 275

12.7.2 安装依赖库 277

12.7.3 可视化分析 278

12.8 本章小结 283

第13章 实验 284

13.1 实验一：熟悉常用的Linux操作和Hadoop操作 284

13.1.1 实验目的 284

13.1.2 实验平台 284

13.1.3 实验步骤 284

13.1.4 实验报告 286

13.2 实验二：熟悉常用的HDFS操作 286

13.2.1 实验目的 286

13.2.2 实验平台 286

13.2.3 实验步骤 287

13.2.4 实验报告 287

13.3 实验三：熟悉常用的HBase操作 288

13.3.1 实验目的 288

13.3.2 实验平台 288

13.3.3 实验步骤 288

13.3.4 实验报告 290

13.4 实验四：NoSQL和关系数据库的操作比较 290

13.4.1 实验目的 290

13.4.2 实验平台 290

13.4.3 实验步骤 290

13.4.4 实验报告 293

13.5 实验五：MapReduce初级编程实践 294

13.5.1 实验目的 294

13.5.2 实验平台 294

13.5.3 实验步骤 294

13.5.4 实验报告 297

附录A 大数据课程实验答案 298

A.1 实验一：熟悉常用的Linux操作和Hadoop操作 298

A.1.1 实验目的 298

A.1.2 实验平台 298

A.1.3 实验步骤 298

A.2 实验二：熟悉常用的HDFS操作 303

A.2.1 实验目的 303

A.2.2 实验平台 303

A.2.3 实验步骤 303

A.3 实验三：熟悉常用的HBase操作 323

A.3.1 实验目的 323

A.3.2 实验平台 323

A.3.3 实验步骤 323

A.4 实验四：NoSQL和关系数据库的操作比较 331

A.4.1 实验目的 331

A.4.2 实验平台 331

A.4.3 实验步骤 332

A.5 实验五：MapReduce初级编程实践 349

A.5.1 实验目的 349

A.5.2 实验平台 349

A.5.3 实验步骤 350

附录B Linux系统中的MySQL安装及常用操作 360

B.1 安装MySQL 360

B.2 MySQL常用操作 363

参考文献 367