数据工程理论与技术PDF电子书下载

第1章　绪论 1

1.1　数据 1

1.1.1　数据的定义与生命周期 1

1.1.2　数据的特性 2

1.1.3　数据与信息、知识、智慧的关系 2

1.2　数据工程概述 3

1.2.1　数据工程产生的背景 3

1.2.2　数据工程的内涵 5

1.2.3　数据工程研究的对象 6

1.3　数据工程的现状与发展 6

1.3.1 美军数据管理策略的演进 6

1.3.2　我国数据工程建设现状 10

第2章　数据建模 14

2.1　关系数据库设计理论 14

2.1.1 关系模型的基本概念 14

2.1.2　数据依赖 15

2.1.3 范式 17

2.1.4　关系模式规范化 20

2.2　数据模型 22

2.2.1　概念模型 23

2.2.2　逻辑模型 24

2.2.3　物理模型 26

2.2.4　数据模型标记符号 28

2.3　数据建模方法 35

2.3.1　数据需求分析 35

2.3.2　概念模型设计 39

2.3.3　逻辑模型设计 42

2.3.4　物理模型设计 47

2.4　PowerDesigner建模工具 48

2.4.1 PowerDesigner主界面 49

2.4.2　构建概念模型 50

2.4.3　从概念模型创建逻辑模型 53

2.4.4　从逻辑模型创建物理模型 54

2.4.5　生成模型报告 56

2.4.6　创建数据库 56

第3章　数据标准化 61

3.1　概述 61

3.1.1　标准和标准化 61

3.1.2　数据标准化的概念 62

3.2　元数据标准化 63

3.2.1　元数据的定义、作用和结构 63

3.2.2　信息资源元数据标准 67

3.2.3　数据集元数据标准内容 70

3.3　数据元标准化 78

3.3.1　数据元基本概念和组成 78

3.3.2　数据元基本属性及描述符 80

3.3.3　数据元命名规则 86

3.3.4　数据元标准制定 88

3.4　数据模式标准化 90

3.4.1　数据模式标准化内容及作用 90

3.4.2　数据模式规范化描述方法 91

3.4.3　数据模式标准化实例 93

3.5　数据分类与编码标准化 94

3.5.1 数据分类与编码的定义和作用 94

3.5.2　数据分类的基本原则和方法 95

3.5.3　数据编码的基本原则和方法 97

3.6　数据标准化管理 101

3.6.1　确定数据需求 102

3.6.2　制定数据标准 103

3.6.3　批准数据标准 104

3.6.4　实施数据标准 105

第4章　数据存储、备份与容灾 106

4.1　数据存储 106

4.1.1　数据存储介质 106

4.1.2　数据存储技术 107

4.1.3　存储管理 122

4.2　数据备份 124

4.2.1　备份结构 124

4.2.2　备份策略 126

4.2.3　备份软件 127

4.2.4　数据库备份 129

4.3　数据容灾 132

4.3.1 数据容灾与数据备份的关系 132

4.3.2　数据容灾的国际标准 133

4.3.3　数据容灾的关键技术 135

4.3.4　数据容灾的典型案例 137

第5章　数据质量管理 140

5.1　数据质量管理思想 140

5.2　数据质量描述 140

5.2.1　数据质量定量元素 141

5.2.2　数据质量非定量元素 142

5.3　数据质量评价 142

5.3.1　数据质量评价过程 142

5.3.2　数据质量评价方法 143

5.4　数据质量控制 146

5.4.1　数据生命周期各阶段对质量的影响 146

5.4.2　数据质量控制过程 147

5.4.3　数据质量控制实施 147

5.5　数据清理 148

5.5.1 数据清理的处理流程 148

5.5.2　数据清理的主要工具 149

5.5.3　相似重复数据的清理 150

5.5.4　不完整数据的清理 152

5.5.5　错误数据的清理 153

第6章　数据集成 156

6.1　数据集成概述 156

6.2　数据集成的常用方法 157

6.2.1　模式集成方法 157

6.2.2　数据复制方法 159

6.2.3　混合型集成方法 160

6.3　数据集成的常见标准与技术 160

6.3.1　数据访问接口 160

6.3.2　Web Services技术 164

6.3.3　数据网格技术 170

6.4　数据集成的典型结构 173

6.4.1 IBM信息集成平台 173

6.4.2　ORACLE数据集成架构 176

第7章　数据挖掘 180

7.1　数据挖掘概述 180

7.1.1　数据挖掘的内涵和任务 180

7.1.2　数据挖掘的过程 181

7.1.3　数据挖掘与数据仓库 183

7.2　数据挖掘的方法 185

7.2.1　数据总结方法 185

7.2.2　关联分析方法 189

7.2.3　分类和预测方法 195

7.2.4　聚类分析方法 208

7.3　多维数据分析 218

7.3.1 多维数据模型 218

7.3.2　多维数据分析基本操作 220

第8章　数据应用 222

8.1　数据服务 222

8.1.1　数据目录服务 222

8.1.2　数据查询、浏览和下载服务 228

8.1.3　数据分发服务 229

8.2　数据可视化 233

8.2.1 一维数据可视化 234

8.2.2　二维数据可视化 234

8.2.3　三维数据可视化 235

8.2.4　多维数据可视化 235

8.2.5　其他数据可视化 236

8.3　信息检索 238

8.3.1　信息检索简介 238

8.3.2　数据库搜索引擎技术 242

8.3.3　互联网搜索引擎技术 247

第9章　数据库安全 251

9.1　数据库安全概述 251

9.1.1　数据库安全威胁 251

9.1.2　数据库安全对策 252

9.2　数据库安全机制 253

9.2.1 身份认证 253

9.2.2　存取控制 254

9.2.3　数据库加密 255

9.2.4　数据库审计 260

9.2.5　推理控制与隐私保护 261

9.2.6　入侵容忍技术 262

9.3　Oracle安全措施 265

9.3.1 身份认证 265

9.3.2　授权与检查机制 266

9.3.3　数据加密 267

9.3.4　数据审计 268

9.3.5 用户定义的安全性措施 268

参考文献 270