学术中国 云计算大数据处理PDF电子书下载

第1章 大数据挑战 1

1.1 当前面临的大数据挑战 1

1.1.1 大数据急剧膨胀 1

1.1.2 大数据智能分析 2

1.1.3 大数据深度挖掘 4

1.1.4 业务与技术脱节 5

1.2 大数据催生云计算 5

1.2.1 云计算不是偶然 6

1.2.2 云计算带来挑战与机遇 10

1.2.3 云计算对大数据的意义 12

1.2.4 云计算的未来展望 13

1.3 大数据存储 14

1.3.1 存储仅是第一步 14

1.3.2 行存储和列存储 16

1.3.3 PB级大数据存储 19

1.3.4 大数据存储的未来 22

1.4 大数据处理 25

1.4.1 大数据处理的瓶颈 25

1.4.2 大数据处理的需求 29

1.4.3 大数据处理技术决定未来 29

1.4.4 大数据处理解决方案 32

参考文献 33

第2章 当前的大数据处理系统 35

2.1 开源大数据处理平台 35

2.1.1 Hadoop 35

2.1.2 MapReduce 39

2.2 NoSQL数据库 41

2.2.1 Google BigTable的开源Java实现：HBase 41

2.2.2 纯分布式数据库：Cassandra 44

2.2.3 NoSQL数据库的应用场景 45

2.3 数据仓库平台 46

2.3.1 Hive 46

2.3.2 数据仓库平台架构 46

2.3.3 数据仓库平台的实现 47

参考文献 47

第3章 数据立方简介 49

3.1 数据立方的产生背景 49

3.2 数据立方的相关技术 49

3.2.1 云计算中的大数据处理技术——MapReduce 49

3.2.2 并行数据库技术 51

3.2.3 云计算与数据库相结合的技术 51

3.3 数据立方的架构以及与Hadoop的关系 53

3.3.1 数据立方的体系架构 53

3.3.2 数据立方与Hadoop的关系 59

参考文献 60

第4章 数据立方及配套环境的安装 61

4.1 安装流程 61

4.2 操作系统的安装 61

4.2.1 CentOS6.2的安装 61

4.2.2 JDK的安装 66

4.2.3 配置SSH 66

4.2.4 配置/etc/hosts 67

4.2.5 修改机器主机名 67

4.2.6 配置NFS与NTP 68

4.3 Hadoop的安装 68

4.3.1 Hadoop的版本 68

4.3.2 HDFS的配置安装 69

4.3.3 MapReduce的配置安装 72

4.4 数据立方的配置安装 74

4.4.1 MySQL-Connector的安装 74

4.4.2 编辑数据立方的配置文件 74

4.4.3 数据立方的启动 77

4.5 监控工具Ganglia的安装 77

4.5.1 安装依赖 77

4.5.2 安装Ganglia 78

4.5.3 配置Ganglia 78

4.6 数据导入工具Sqoop的安装 80

4.6.1 安装前提 80

4.6.2 安装步骤 80

参考文献 81

第5章 Hello World数据立方快速入门 82

5.1 智慧交通数据处理实例 82

5.1.1 实例背景 82

5.1.2 建表 83

5.1.3 数据入库 84

5.1.4 数据查询 85

5.2 编程实现 85

第6章 数据立方开发 87

6.1 数据立方的开发说明 87

6.2 数据立方SQL规范 87

6.2.1 数据定义与数据操作语言 88

6.2.2 数据查询语言 95

6.3 数据入库接口开发 103

6.3.1 单条或多条记录入库Java开发包 103

6.3.2 开发说明 103

6.3.3 示例 104

6.4 数据查询接口开发 105

6.4.1 Java开发包 105

6.4.2 接口介绍 105

6.4.3 示例 106

6.5 数据导入工具Sqoop命令及其使用 106

6.5.1 Sqoop命令及通用函数 107

6.5.2 Sqoop命令的使用 108

第7章 数据立方的维护 109

7.1 HDFS的维护 109

7.1.1 HDFS的dfsadmin命令 109

7.1.2 HDFS的Balancer工具 111

7.2 Shell的使用 113

7.2.1 数据立方Shell说明 113

7.2.2 数据定义与数据操作的Shell 113

7.2.3 数据查询的Shell 114

7.3 数据立方的常见问题及其解决方法 114

7.4 Sqoop的常见问题及其解决方法 116

7.4.1 MySQL的用户问题 116

7.4.2 MySQL的权限问题 116

7.4.3 Sqoop的Path问题 117

7.4.4 Sqoop的Import问题 118

7.5 数据立方管理系统 118

参考文献 126

第8章 数据立方的可靠性 127

8.1 Hadoop的可靠性 127

8.1.1 HDFS中NameNode的单点问题 127

8.1.2 HDFS数据块副本机制 128

8.1.3 HDFS心跳机制 129

8.1.4 HDFS负载均衡 129

8.1.5 MapReduce容错 130

8.2 Hadoop的SecondaryNameNode机制 130

8.2.1 磁盘镜像与日志文件 131

8.2.2 SecondaryNameNode更新镜像的流程 131

8.3 Avatar机制 133

8.3.1 Avatar系统架构 134

8.3.2 Avatar元数据同步机制 135

8.3.3 故障切换过程 137

8.3.4 Avatar运行流程 139

8.3.5 Avatar故障切换流程 143

8.4 Avatar实战 148

8.4.1 实验环境 148

8.4.2 Avatar的编译 148

8.4.3 Avatar的安装和配置 150

8.4.4 Avatar启动运行与宕机切换 157

8.5 数据立方的工作流程及可靠性 160

8.5.1 数据立方的架构 160

8.5.2 数据立方的工作流程 161

8.5.3 数据立方的可靠性 161

参考文献 162

第9章 数据统计分析实例——供电信息采集系统 163

9.1 客户需求分析 163

9.1.1 测试过程及数据量描述 163

9.1.2 测试过程分解及效率统计 164

9.2 数据表设计 167

9.3 查询语句设计与结果展现 170

9.4 查询优化 171

9.4.1 存储方面的优化 171

9.4.2 内存方面的优化 171

9.5 性能测试结果 172

9.5.1 数据下载解压及标记 172

9.5.2 数据解析入库 173

9.5.3 数据计算流程 174

9.5.4 数据导入Oracle数据库 175

9.5.5 查询总时长统计 176

第10章 在线数据检索实例——移动信令分析云平台 177

10.1 需求分析 177

10.2 数据表设计 179

10.2.1 CDR数据文件的检测与索引创建任务调度 179

10.2.2 从HDFS读取数据并创建索引 181

10.2.3 查询CDR信息 181

10.3 查询语句设计与结果展现 182

10.3.1 CDR文件检测和索引创建任务调度程序 182

10.3.2 读取CDR数据和索引创建处理 185

10.3.3 CDR查询 188

10.4 查询优化 191

10.5 性能测试结果 192

第11章 实时数据处理实例——地震数据 194

11.1 需求分析 194

11.2 数据表设计 195

11.3 查询语句设计与结果展现 196

11.4 查询优化 197

11.4.1 存储方面的优化 197

11.4.2 计算方面的优化 198

11.5 性能测试结果 198

11.5.1 单机模拟集群测试 198

11.5.2 字段测试 199

11.5.3 排序测试 200

11.5.4 随机读写测试 200

名词索引 202