数据仓库结构设计与实施 建造信息系统的金字塔 build information system pyramidPDF电子书下载

第1章 数据仓库技术与应用概述 1

1.1　数据仓库的基本概念 2

1.1.1　数据仓库的系统体系 2

1.1.2　数据仓库的应用目标 2

1.2　数据仓库与常规事务处理数据库的区别与联系 3

1.2.1 从数据仓库到操作型数据库——数据仓库的根与源 3

1.2.2　数据仓库与传统数据库的区别 3

1.3　数据仓库的产生原因 5

1.3.1　数据囚笼现象 5

1.3.2　信息孤岛现象 5

1.3.4　集成的解决办法 6

1.3.3　相互矛盾的信息流 6

1.3.5　动力和动机 7

1.4　管理信息系统的“上层建筑” 8

1.4.1　管理层次的概念 8

1.4.2　中层和上层管理存在的系统真空 9

1.4.3　数据仓库系统应用的基本作用 9

1.4.4　数据仓库应用的基本目标 11

1.4.5　数据仓库应用成功的保障 11

1.5 电子商务与电子政务 12

1.5.1　现代社会中的电子商务与电子政务 12

1.5.3 电子商务与电子政务提高了服务效率 14

1.5.2　以客户为中心的现代社会环境 14

1.6　数据仓库的ROI（回报投入比） 17

1.7　联机综合分析系统中数据仓库的应用 18

1.8　挑战和趋势 20

第2章　数据仓库的总体结构 24

2.1　金字塔结构 24

2.2　数据仓库的结构与环境 28

2.3　准备区——数据源和数据仓库之间的过渡 31

2.4　元数据与模型 31

2.4.2　元数据的作用 33

2.4.3　元数据和模型的整建 33

2.4.1　元数据的定义 33

2.4.4　命名法 34

2.4.5　元数据存储区 35

2.4.6　元数据的维护和应用 36

2.4.7　元数据的定义和管理 37

2.4.8　统一元数据标准和元数据交换 42

2.5　多维数据结构 45

2.5.1 星型结构 45

2.5.2　雪花型结构 47

2.5.3　混杂型结构 49

2.5.4　度量应用举例 49

2.6　映像 49

2.6.2　数据迁移和转换的过程 51

2.6.1　映像的含义 51

2.6.3　抽象与映像层次 55

2.6.4　应变式映像策略 56

2.6.5　映像类型 57

2.7　滚动综合数据 58

2.8　联机分析处理 63

2.8.1　联机分析处理——数据仓库的自然延伸 63

2.8.2　联机分析处理系统的集成 64

2.8.3　维的作用 64

2.8.4　对多维数据方阵的链接和分析 65

2.8.7　报表构架 66

2.8.5　方阵系列的设计要点 66

2.8.6　总计数据的自动更新 66

2.8.8　联机分析处理（OLAP）的解决办法 67

2.8.9　表示工具 67

2.8.10　表示工具的预处理 67

2.9　数据发掘 68

2.9.1 数据发掘的重要性 69

2.9.2　数据发掘的方法与技术 69

2.10　实现闭环的联机分析处理 70

2.11.2　操作型事务处理数据库的特征 73

2.11.3　决策支持数据库系统的特点 73

2.11.1 数据源——企业最重要的信息资产 73

2.11 卸载操作型数据库与保护数据源 73

2.11.4　两种作业混合的弊端 74

2.11.5　回顾过去作业的局限性 74

2.11.6　卸载 75

2.11.7　双赢的解决办法 77

2.12　数据仓库的三要素 78

2.13　多维总计方阵 80

2.13.1　从基本数据到综合信息 80

2.13.2　方阵是联机分析的基础结构 80

2.13.3　方阵的类型 81

2.13.4　方阵的卸载与底层数据表的屏蔽 84

2.13.5　刷新 85

2.13.6　方阵的设计要点 86

2.13.7　从数据仓库基本数据（事实／维）到最终分析报告的映像 87

2.14 ETL（提取—转换—加载）从数据源到目标 88

2.14.1　数据的启程 89

2.14.2　数据标准化的准备工作和数据清洗的工具字典 89

2.14.3　粒度与聚合数据 89

2.14.4　魔力无边的巨型章鱼 90

2.14.5　数据仓库的数据追加 90

2.14.6　提取—转换—加载处理的映像过程 91

2.14.7　作业顺序、依赖关系和进程控制 91

2.14.8　从数据源进入数据仓库到以分析报表输出 92

2.14.9　数据提取—转换—加载的主要流程和会话期流程 93

2.15　从数据源到目标——Informatica 96

2.16　数据仓库在因特网环境下的应用 98

2.16.2　因特网数据仓库的特点 99

2.16.3 设计指南 99

2.16.1　客户-服务器系统的特点 99

2.16.4　安全性技术 102

第3章　数据仓库应用实例 104

3.1 分布式数据仓库——独立的数据库接口 104

3.2　共享式数据仓库——共享式支票信用认可网络 107

3.3　某飞机制造公司——单源生产数据 108

3.4　汽车销售管理网络——数据仓库支持下的联机分析报表 109

第4章　数据仓库应用开发的策略与过程 111

4.1　数据仓库开发策略 111

4.2.1　数据仓库的演变史 113

4.2　跳跃（蛙跳）式发展 113

4.2.2　建立真正的数据仓库 114

4.3　数据仓库系统平台 116

4.3.1　观察数据仓库系统的基本结构 116

4.3.2　多层结构环境 116

4.3.3 多层次、多分区系统 117

4.3.4　坚实的胡桃 118

4.3.5　表示层与内核的部署 118

4.3.6 应用软件的基本结构 119

4.4　数据仓库应用开发的要点与特征 123

4.4.1 数据仓库应用的命题／主题确定 123

4.4.2　往复循环式开发数据仓库 128

4.4.3　建立数据集市 133

4.5　数据仓库设计质量 134

4.5.1　数据仓库质量的重要性 134

4.5.2　数据质量保障 135

4.5.3　数据质量保障的环境和各个处理环节 135

4.5.4　错误检测 137

4.5.5　质量保障系统 137

4.5.6　及时发现错误 138

4.5.7　错误追踪 138

4.5.8　解决劣质数据 144

4.6　数据仓库应用开发保障技术 144

4.6.1　知识与知识产权的维护 145

4.6.2　团队 147

4.7　数据仓库安全性与有关技术 152

4.7.1 识别安全威胁的类型与攻击方法 152

4.7.2　安全性防范思想与布局 154

4.7.3　安全性策略与技术 155

4.7.4　数据仓库安全性的应用结构设计技术 156

第5章　数据仓库设计与应用开发 160

5.1 数据仓库的概念设计 160

5.1.1　概念设计 161

5.1.2 元数据定义及管理 162

5.1.3　数据结构概图 162

5.1.4　数据仓库的基本表 163

5.1.5　从逻辑设计到物理设计 164

5.2　数据仓库的物理设计 166

5.2.1　事实表设计 166

5.2.2　维数 170

5.2.3　分区 173

5.2.4　索引设计 175

5.2.5　完整性约束设计 176

5.2.6　实体化视图设计 177

5.3 数据提取—转换—加载（ETL） 188

5.3.3　ETL过程举例 189

5.3.2　建立视图或实体化视图与视图模拟 189

5.3.1　建立事件映像 189

5.3.4　提取—转换—加载的方法 192

5.3.5　数据的标准化与规范化 193

5.3.6　数据清洗与实例 195

5.3.7　数据提取—转换—加载工具 198

5.3.8　数据提取 200

5.3.9　加载和转换 204

5.3.10　数据提取—转换—加载的主流程 209

5.4　综合管理 212

5.4.1　总体构架 212

5.4.3　报表准备工作的基础——从数据仓库生成并刷新实体化视图 214

5.4.4　刷新实体化视图 214

5.4.2　汇总准备 214

5.4.5　监控数据仓库的刷新 216

5.4.6　实体化视图的管理要点 218

5.5 联机分析处理（OLAP） 219

5.5.1 SQL与综合函数 219

5.5.2　多维分析技术 220

5.5.3　数据仓库SQL总计分析语句结构与流程 221

5.5.4　综合SQL和函数的应用 223

5.5.5 SQL和分析函数 236

5.6　报表发布 243

5.6.1　表示系统软件工具的联用——从后台到前台 243

5.6.3 对多维方阵的钻入／聚合操作 245

5.6.2　建立报表的过程 245

5.6.4　表示工具的预处理 246

5.6.5　应用SQL分析服务器 246

5.7　报表系统构架 249

5.7.1　报表系统构架及其支撑结构 250

5.7.2　从数据库生成XML数据 250

5.7.3　建立报表函数库 259

5.7.4　建立报表程序库 287

5.7.5　报表系统构架及其支撑结构 301

5.7.6 应用表函数 312

附录A　技术词汇 319

参考文献 321