大数据分布式并行处理技术 基于天云星数据库的交通管理大数据处理PDF电子书下载

第1章 概论 1

1.1 大数据发展概况 1

1.2 大数据技术架构 2

1.3 大数据关键技术 3

1.3.1 大数据存储管理技术 3

1.3.2 大数据并行计算技术 5

1.3.3 大数据查询和分析技术 5

1.3.4 大数据可视化技术 6

1.4 公安交通管理大数据概述 7

1.4.1 交通行业信息化发展历程 7

1.4.2 公安交通管理大数据现状 8

1.4.3 公安交通管理大数据应用需求 9

1.4.4 公安交通管理大数据总体架构 9

本章小结 13

第2章 天云星数据库基础 14

2.1 天云星数据库概述 14

2.1.1 SCSDB的体系架构 14

2.1.2 SCSDB的主要功能 15

2.1.3 SCSDB的主要特点 16

2.1.4 SCSDB的主要应用 16

2.1.5 SCSDB应用程序开发 17

2.2 天云星数据库安装 18

2.2.1 安装流程 18

2.2.2 环境准备 18

2.2.3 安装规划 21

2.2.4 自动安装 25

2.2.5 服务管理 30

2.2.6 卸载与升级 33

2.3 天云星数据库运维和管理 34

2.3.1 DBA助手 34

2.3.2 集群管理工具 45

2.3.3 数据节点管理工具 48

2.3.4 服务进程监控守护工具 53

2.3.5 日志管理工具 57

本章小结 59

第3章 数据库对象管理 60

3.1 SCSDB存储管理 60

3.1.1 数据库存储逻辑结构管理 60

3.1.2 数据库存储物理结构管理 62

3.2 数据库对象概述及命名规则 64

3.2.1 数据库对象概述 64

3.2.2 数据库对象的命名规则 65

3.3 数据库管理 65

3.3.1 创建数据库 65

3.3.2 选定数据库 65

3.3.3 查看数据库 66

3.3.4 查看数据库分布 66

3.3.5 查看数据库建库语句 68

3.3.6 删除数据库 68

3.4 数据表管理 69

3.4.1 创建数据表 69

3.4.2 查看数据表 81

3.4.3 查看建表语句 83

3.4.4 查看表结构 84

3.4.5 查看表状态 85

3.4.6 修改数据表 89

3.4.7 删除数据表 100

3.5 索引管理 101

3.5.1 创建索引 101

3.5.2 查看索引 103

3.5.3 删除索引 105

3.6 视图管理 106

3.6.1 创建视图 107

3.6.2 查看视图 109

3.6.3 删除视图 110

3.7 序列号管理 110

3.7.1 获取序列号 110

3.7.2 查看序列号 111

3.7.3 查看全部序列号 111

3.7.4 重置序列号 111

3.7.5 删除序列号 112

本章小结 112

第4章 SCSDB安全管理 113

4.1 SCSDB账户管理 113

4.1.1 创建用户 113

4.1.2 查看用户 114

4.1.3 修改密码 114

4.1.4 删除用户 115

4.2 SCSDB权限管理 115

4.2.1 赋予权限 115

4.2.2 查看权限 118

4.2.3 撤销权限 119

4.3 数据库审计 119

4.3.1 审计日志 119

4.3.2 审计日志分析 122

本章小结 124

第5章 SCSDB备份与还原 125

5.1 SCSDB实时备份机制 125

5.1.1 数据实时备份介绍 125

5.1.2 数据实时备份原理 127

5.2 SCSDB冷备份 128

5.2.1 备份与恢复工具使用及参数说明 129

5.2.2 备份与恢复工具配置文件介绍 129

5.2.3 使用冷备份工具备份数据 131

5.2.4 使用冷备份工具恢复数据 132

本章小结 133

第6章 数据库监控与调优 134

6.1 系统监控 134

6.2 数据库监控 138

6.2.1 查看会话连接状态 138

6.2.2 查看集群信息 139

6.2.3 集群任务监控 141

6.2.4 数据节点任务监控 142

6.2.5 查看数据均衡状况 144

6.2.6 慢查询SCSQL监控 147

6.2.7 日志分析 148

6.3 数据库调优 150

6.3.1 优化器 150

6.3.2 执行计划 152

6.3.3 数据存储优化 158

6.3.4 索引设计 164

6.3.5 读写分离 165

6.3.6 关闭会话级的备份 166

6.3.7 表空洞修复 166

6.3.8 数据类型的选择 167

6.3.9 硬件的选择 167

6.3.10 其他优化建议 167

6.4 公安交通大数据应用案例 168

6.4.1 案例描述 168

6.4.2 表设计 168

6.4.3 案例实现 175

本章小结 178

第7章 数据导入与导出 179

7.1 使用SOURCE命令导入数据 179

7.2 使用重定向功能导出数据 182

7.3 使用LOAD DATA命令导入数据 182

7.4 使用易镜进行数据的导入和导出 184

7.4.1 数据导入 184

7.4.2 数据导出 185

7.5 使用SYNCD进行数据同步 185

7.5.1 功能介绍 185

7.5.2 工具安装 187

7.5.3 工具使用 188

7.5.4 同步方式 192

7.6 使用Kettle进行数据抽取 203

7.6.1 Kettle介绍 203

7.6.2 Kettle的安装 203

7.6.3 Kettle的使用 204

本章小结 211

附录A SCSDB的数据类型 213

A.1 数据值类别 213

A.2 数据类型 215

附录B 公安交通警务大数据案例表结构 225