数据仓库与数据挖掘的原理及应用PDF电子书下载

第1章 数据仓库概述 1

本章主要内容 1

1.1 从数据库到数据仓库 1

1.1.1 决策支持技术与数据库技术的发展 1

1.1.2 数据仓库与数据库的区别 6

1.2 数据仓库的概念与特点 11

1.2.1 数据仓库概念 11

1.2.2 面向主题 11

1.2.3 数据的集成性 12

1.2.4 数据的非易失性 13

1.2.5 数据因时而变的特点 14

1.3 数据仓库中的关键概念 14

1.3.1 外部数据源 14

1.3.2 数据抽取 15

1.3.3 数据清洗 15

1.3.4 数据转换 16

1.3.5 数据加载 16

1.3.6 元数据 16

1.3.7 数据集市 17

1.3.8 数据粒度 17

1.4 数据仓库的数据组织 18

1.4.1 数据仓库的数据组织结构 18

1.4.2 数据粒度与数据分割 19

1.4.3 数据仓库的数据组织形式 20

1.4.4 数据仓库的数据追加与清理 23

1.5 数据仓库与数据集市的关系 24

1.5.1 数据集市的类型 24

1.5.2 数据集市与数据仓库的区别 26

1.5.3 数据集市的特点 27

1.6 数据仓库体系结构 27

1.6.1 数据仓库系统的层次结构 27

1.6.2 数据仓库的构造模式 30

1.7 操作数据存储ODS 33

1.7.1 操作数据存储ODS的概念 33

1.7.2 操作数据存储ODS的应用 33

1.7.3 DB-ODS-DW三层体系结构 36

1.7.4 ODS/DW、ODS/DB之比较 38

习题一 39

第2章 联机分析处理 40

本章主要内容 40

2.1 联机分析处理的概念 40

2.1.1 OLAP的定义 40

2.1.2 OLAP的相关基本概念 41

2.1.3 OLAP与OLTP的关系及比较 42

2.1.4 OLAP准则 44

2.2 OLAP多维数据分析 49

2.2.1 OLAP基本分析动作 49

2.2.2 广义OLAP功能 53

2.2.3 多维数据分析实例 55

2.3 OLAP数据组织 57

2.3.1 多维数据组织 57

2.3.2 关系数据组织 60

2.3.3 两种数据组织的比较 63

2.3.4 HOLAP 66

2.4 OLAP的体系结构与展现方式 67

2.4.1 OLAP体系结构 67

2.4.2 OLAP前端展现方式 69

2.4.3 OLAP结果的展现方法 71

2.5 OLAP工具及评价 73

2.5.1 Oracle OLAP工具 73

2.5.2 OLAP服务器和工具的评价指标 74

2.5.3 OLAP的局限性 77

习题二 78

第3章 数据仓库设计 79

本章主要内容 79

3.1 数据仓库中数据模型概述 79

3.1.1 数据模型的概念 79

3.1.2 数据仓库模型的构建原则 81

3.1.3 企业数据模型 82

3.2 概念模型设计 83

3.2.1 企业模型的建立 83

3.2.2 数据模型的规范化 86

3.2.3 常见的概念模型 89

3.3 逻辑模型设计 90

3.3.1 概念模型到逻辑模型的转换 92

3.3.2 数据表的规范化与分割 95

3.3.3 维度表的设计 96

3.3.4 事实表的设计 96

3.3.5 数据集市的设计 97

3.4 物理模型设计 97

3.4.1 定义数据存储结构 97

3.4.2 索引策略 99

3.4.3 存储分配优化 100

3.4.4 数据加载设计 101

3.4.5 物理模型的设计对数据仓库性能的影响 101

3.5 元数据模型 102

3.5.1 元数据的类型 102

3.5.2 元数据的作用 103

3.5.3 元数据的收集与维护 104

3.5.4 元数据的使用 107

3.6 粒度模型 107

3.6.1 粒度的划分 108

3.6.2 粒度级别的确定 109

习题三 110

第4章 数据仓库的规划与开发 111

本章主要内容 111

4.1 数据仓库的投资分析 111

4.1.1 建立数据仓库的必要性 111

4.1.2 数据仓库的投资回报分析与风险分析 113

4.2 数据仓库的开发方法 115

4.2.1 瀑布式开发 115

4.2.2 螺旋式开发 116

4.3 数据仓库的建立过程 118

4.3.1 数据进入数据仓库的过程与建立数据仓库的步骤 118

4.3.2 需求分析 119

4.3.3 数据路线 120

4.3.4 技术路线 121

4.3.5 应用路线 121

4.3.6 数据仓库部署 126

4.3.7 运行维护 126

4.4 数据仓库的维护 127

4.4.1 数据周期 127

4.4.2 参照完整性 127

4.4.3 数据环境信息 128

4.4.4 数据备份与恢复 129

4.5 提高数据仓库性能 130

4.5.1 提高I/O性能 130

4.5.2 缩小查询范围 131

4.5.3 采取并行优化技术 131

4.5.4 选择适当的初始化参数 132

4.6 数据仓库的安全性 132

4.6.1 安全类型 132

4.6.2 安全方法 133

4.7 分布式数据仓库 134

4.7.1 分布式数据仓库的优点 134

4.7.2 分布式数据仓库的模型建立与数据划分 135

4.7.3 分布式数据仓库的建设策略 137

4.7.4 分布式数据仓库的技术缺陷 140

习题四 140

第5章 数据仓库的工具 141

本章主要内容 141

5.1 数据仓库工具的选择 141

5.1.1 数据仓库工具的组成 141

5.1.2 数据仓库工具应具备的主要功能 142

5.1.3 数据仓库的发展趋势 143

5.1.4 选取数据仓库工具的方法 144

5.2 常用数据仓库产品简介 145

5.2.1 Oracle 9i 145

5.2.2 NCR TeraData 148

5.2.3 IBM DB2 149

5.2.4 SAS 149

5.2.5 Microsoft SQL Server 2005的数据仓库工具 150

5.3 SQL Server数据仓库的操作应用 150

5.3.1 SQL Server数据仓库的框架 150

5.3.2 连接数据源 150

5.3.3 创建数据源视图 153

5.3.4 创建和部署多维数据集 156

习题五 170

第6章 数据挖掘概述 171

本章主要内容 171

6.1 数据挖掘的定义和对象 171

6.1.1 数据挖掘的由来 171

6.1.2 数据挖掘的技术定义 172

6.1.3 数据挖掘的商业定义 174

6.1.4 数据挖掘的对象 175

6.2 数据挖掘的分类 176

6.2.1 概述 176

6.2.2 描述型数据挖掘 176

6.2.3 预测型数据挖掘 177

6.3 数据挖掘系统 177

6.3.1 数据挖掘系统的结构 177

6.3.2 数据挖掘系统的设计 178

6.3.3 数据挖掘系统的发展 179

6.4 数据预处理 180

6.4.1 概述 180

6.4.2 数据清洗 181

6.4.3 数据集成 182

6.4.4 数据转换 182

6.4.5 数据归约 183

6.4.6 属性概念分层的自动生成 185

第7章 数据挖掘的算法 187

本章主要内容 187

7.1 分类规则挖掘 187

7.1.1 分类过程与方法 187

7.1.2 决策树分类 188

7.1.3 贝叶斯分类 192

7.2 预测分析与趋势分析规则 194

7.2.1 预测的基本概念 194

7.2.2 预测的基本方法 194

7.2.3 趋势分析挖掘 195

7.3 数据挖掘的关联算法 196

7.3.1 关联规则的概念及分类 196

7.3.2 简单形式的关联规则算法 197

7.3.3 多层与多维关联规则的挖掘 199

7.3.4 关联分析的其他算法 200

7.4 聚类分析 201

7.4.1 聚类分析的概念 201

7.4.2 聚类分析中的数据类型 202

7.4.3 主要的聚类分析方法 205

7.4.4 聚类分析算法 207

7.5 神经网络算法 209

7.5.1 神经网络的概念 209

7.5.2 定义神经网络拓扑结构 211

7.5.3 基于神经网络的算法 213

第8章 数据挖掘的新技术 215

本章主要内容 215

8.1 文本挖掘技术 215

8.1.1 文本挖掘概述 215

8.1.2 文本挖掘的过程 216

8.1.3 文本挖掘的方法 217

8.1.4 文本挖掘与信息检索 218

8.1.5 文本挖掘的应用 219

8.2 Web数据挖掘技术 221

8.2.1 Web挖掘概述 221

8.2.2 Web的特点 222

8.2.3 Web挖掘分类 222

8.2.4 Web挖掘流程 226

8.2.5 Web数据挖掘的常用工具 228

8.2.6 Web挖掘的应用 228

8.3 可视化数据挖掘技术 230

8.3.1 数据可视化技术 230

8.3.2 可视化数据挖掘技术的应用 233

8.4 基于GIS的空间数据挖掘技术 235

8.4.1 地理信息系统 235

8.4.2 空间数据挖掘 236

8.5 分布式数据挖掘 237

8.5.1 概述 237

8.5.2 分布式数据挖掘系统 239

8.5.3 分布式数据挖掘研究的现状 240

习题八 240

第9章 数据挖掘的工具及其应用 241

本章主要内容 241

9.1 国内外数据挖掘工具及评价 241

9.1.1 数据挖掘软件的特征 241

9.1.2 国外数据挖掘工具 242

9.1.3 国内数据挖掘工具 244

9.1.4 数据挖掘工具的功能分类 246

9.1.5 评价数据挖掘工具优劣的指标 247

9.2 SQL Server 2005数据挖掘工具应用 249

9.2.1 安装环境要求 249

9.2.2 Analysis Services功能介绍 250

9.2.3 SQL Server 2005数据挖掘算法概述 251

9.2.4 SQL Server 2005数据挖掘算法的选择 252

9.2.5 数据源的准备与创建 258

9.2.6 创建数据挖掘模型 261

9.2.7 处理数据挖掘模型 268

9.2.8 浏览模型 268

9.2.9 测试挖掘模型准确性 272

9.2.10 创建预测查询 275

习题九 277

第10章 数据仓库与数据挖掘的综合应用 278

本章主要内容 278

10.1 数据仓库与数据挖掘的关系 278

10.1.1 数据仓库的观点 278

10.1.2 数据挖掘的观点 281

10.2 数据仓库在企业管理中的应用 281

10.2.1 企业应用数据仓库的意义 282

10.2.2 应用数据仓库弥补ERP的不足 284

10.2.3 数据仓库实现分析型CRM 284

10.2.4 数据仓库提高SCM的效率 286

10.3 数据挖掘的社会影响与应用领域 287

10.3.1 数据挖掘的社会影响 287

10.3.2 数据挖掘的应用领域 288

10.3.3 数据挖掘的研究方向 290

10.4 金融业中的数据挖掘应用 291

10.4.1 数据挖掘在银行领域的应用 291

10.4.2 数据挖掘在证券领域的应用 293

10.4.3 数据挖掘在保险领域的应用 296

10.5 数据挖掘与客户关系管理 297

10.5.1 数据挖掘在客户识别和客户保留中的应用 297

10.5.2 客户分类 298

10.5.3 减少信用风险 299

10.5.4 数据挖掘在客户忠诚度分析中的应用 299

10.5.5 个性化营销与销售推荐 300

10.5.6 数据挖掘在客户赢利率分析中的应用 301

10.6 电信业中数据仓库与数据挖掘的应用 302

10.6.1 数据仓库与数据挖掘在电信业中的作用 302

10.6.2 数据挖掘在电信业应用的特点 304

习题十 305

第11章 基于数据挖掘的上市公司财务危机预警应用实例 306

本章主要内容 306

11.1 基本思路和相关知识 306

11.1.1 研究的基本思路 306

11.1.2 财务危机的界定 307

11.1.3 经济预警理论 308

11.2 上市公司财务危机预警模型的指标体系的构建 309

11.2.1 上市公司财务预警指标体系的选取原则 309

11.2.2 上市公司财务预警指标体系的构建 310

11.3 基于数据挖掘建立上市公司财务危机预警模型 313

11.3.1 数据准备 313

11.3.2 建立模型 314

11.3.3 模型测试 326

11.4 建立财务预警系统——财务预警的自动化 335

11.4.1 财务危机预警过程的自动化 336

11.4.2 预测准确性自动化 337

参考文献 339