第1章 数据仓库概述 1
本章主要内容 1
1.1 从数据库到数据仓库 1
1.1.1 决策支持技术与数据库技术的发展 1
1.1.2 数据仓库与数据库的区别 6
1.2 数据仓库的概念与特点 11
1.2.1 数据仓库概念 11
1.2.2 面向主题 11
1.2.3 数据的集成性 12
1.2.4 数据的非易失性 13
1.2.5 数据因时而变的特点 14
1.3 数据仓库中的关键概念 14
1.3.1 外部数据源 14
1.3.2 数据抽取 15
1.3.3 数据清洗 15
1.3.4 数据转换 16
1.3.5 数据加载 16
1.3.6 元数据 16
1.3.7 数据集市 17
1.3.8 数据粒度 17
1.4 数据仓库的数据组织 18
1.4.1 数据仓库的数据组织结构 18
1.4.2 数据粒度与数据分割 19
1.4.3 数据仓库的数据组织形式 20
1.4.4 数据仓库的数据追加与清理 23
1.5 数据仓库与数据集市的关系 24
1.5.1 数据集市的类型 24
1.5.2 数据集市与数据仓库的区别 26
1.5.3 数据集市的特点 27
1.6 数据仓库体系结构 27
1.6.1 数据仓库系统的层次结构 27
1.6.2 数据仓库的构造模式 30
1.7 操作数据存储ODS 33
1.7.1 操作数据存储ODS的概念 33
1.7.2 操作数据存储ODS的应用 33
1.7.3 DB-ODS-DW三层体系结构 36
1.7.4 ODS/DW、ODS/DB之比较 38
习题一 39
第2章 联机分析处理 40
本章主要内容 40
2.1 联机分析处理的概念 40
2.1.1 OLAP的定义 40
2.1.2 OLAP的相关基本概念 41
2.1.3 OLAP与OLTP的关系及比较 42
2.1.4 OLAP准则 44
2.2 OLAP多维数据分析 49
2.2.1 OLAP基本分析动作 49
2.2.2 广义OLAP功能 53
2.2.3 多维数据分析实例 55
2.3 OLAP数据组织 57
2.3.1 多维数据组织 57
2.3.2 关系数据组织 60
2.3.3 两种数据组织的比较 63
2.3.4 HOLAP 66
2.4 OLAP的体系结构与展现方式 67
2.4.1 OLAP体系结构 67
2.4.2 OLAP前端展现方式 69
2.4.3 OLAP结果的展现方法 71
2.5 OLAP工具及评价 73
2.5.1 Oracle OLAP工具 73
2.5.2 OLAP服务器和工具的评价指标 74
2.5.3 OLAP的局限性 77
习题二 78
第3章 数据仓库设计 79
本章主要内容 79
3.1 数据仓库中数据模型概述 79
3.1.1 数据模型的概念 79
3.1.2 数据仓库模型的构建原则 81
3.1.3 企业数据模型 82
3.2 概念模型设计 83
3.2.1 企业模型的建立 83
3.2.2 数据模型的规范化 86
3.2.3 常见的概念模型 89
3.3 逻辑模型设计 90
3.3.1 概念模型到逻辑模型的转换 92
3.3.2 数据表的规范化与分割 95
3.3.3 维度表的设计 96
3.3.4 事实表的设计 96
3.3.5 数据集市的设计 97
3.4 物理模型设计 97
3.4.1 定义数据存储结构 97
3.4.2 索引策略 99
3.4.3 存储分配优化 100
3.4.4 数据加载设计 101
3.4.5 物理模型的设计对数据仓库性能的影响 101
3.5 元数据模型 102
3.5.1 元数据的类型 102
3.5.2 元数据的作用 103
3.5.3 元数据的收集与维护 104
3.5.4 元数据的使用 107
3.6 粒度模型 107
3.6.1 粒度的划分 108
3.6.2 粒度级别的确定 109
习题三 110
第4章 数据仓库的规划与开发 111
本章主要内容 111
4.1 数据仓库的投资分析 111
4.1.1 建立数据仓库的必要性 111
4.1.2 数据仓库的投资回报分析与风险分析 113
4.2 数据仓库的开发方法 115
4.2.1 瀑布式开发 115
4.2.2 螺旋式开发 116
4.3 数据仓库的建立过程 118
4.3.1 数据进入数据仓库的过程与建立数据仓库的步骤 118
4.3.2 需求分析 119
4.3.3 数据路线 120
4.3.4 技术路线 121
4.3.5 应用路线 121
4.3.6 数据仓库部署 126
4.3.7 运行维护 126
4.4 数据仓库的维护 127
4.4.1 数据周期 127
4.4.2 参照完整性 127
4.4.3 数据环境信息 128
4.4.4 数据备份与恢复 129
4.5 提高数据仓库性能 130
4.5.1 提高I/O性能 130
4.5.2 缩小查询范围 131
4.5.3 采取并行优化技术 131
4.5.4 选择适当的初始化参数 132
4.6 数据仓库的安全性 132
4.6.1 安全类型 132
4.6.2 安全方法 133
4.7 分布式数据仓库 134
4.7.1 分布式数据仓库的优点 134
4.7.2 分布式数据仓库的模型建立与数据划分 135
4.7.3 分布式数据仓库的建设策略 137
4.7.4 分布式数据仓库的技术缺陷 140
习题四 140
第5章 数据仓库的工具 141
本章主要内容 141
5.1 数据仓库工具的选择 141
5.1.1 数据仓库工具的组成 141
5.1.2 数据仓库工具应具备的主要功能 142
5.1.3 数据仓库的发展趋势 143
5.1.4 选取数据仓库工具的方法 144
5.2 常用数据仓库产品简介 145
5.2.1 Oracle 9i 145
5.2.2 NCR TeraData 148
5.2.3 IBM DB2 149
5.2.4 SAS 149
5.2.5 Microsoft SQL Server 2005的数据仓库工具 150
5.3 SQL Server数据仓库的操作应用 150
5.3.1 SQL Server数据仓库的框架 150
5.3.2 连接数据源 150
5.3.3 创建数据源视图 153
5.3.4 创建和部署多维数据集 156
习题五 170
第6章 数据挖掘概述 171
本章主要内容 171
6.1 数据挖掘的定义和对象 171
6.1.1 数据挖掘的由来 171
6.1.2 数据挖掘的技术定义 172
6.1.3 数据挖掘的商业定义 174
6.1.4 数据挖掘的对象 175
6.2 数据挖掘的分类 176
6.2.1 概述 176
6.2.2 描述型数据挖掘 176
6.2.3 预测型数据挖掘 177
6.3 数据挖掘系统 177
6.3.1 数据挖掘系统的结构 177
6.3.2 数据挖掘系统的设计 178
6.3.3 数据挖掘系统的发展 179
6.4 数据预处理 180
6.4.1 概述 180
6.4.2 数据清洗 181
6.4.3 数据集成 182
6.4.4 数据转换 182
6.4.5 数据归约 183
6.4.6 属性概念分层的自动生成 185
第7章 数据挖掘的算法 187
本章主要内容 187
7.1 分类规则挖掘 187
7.1.1 分类过程与方法 187
7.1.2 决策树分类 188
7.1.3 贝叶斯分类 192
7.2 预测分析与趋势分析规则 194
7.2.1 预测的基本概念 194
7.2.2 预测的基本方法 194
7.2.3 趋势分析挖掘 195
7.3 数据挖掘的关联算法 196
7.3.1 关联规则的概念及分类 196
7.3.2 简单形式的关联规则算法 197
7.3.3 多层与多维关联规则的挖掘 199
7.3.4 关联分析的其他算法 200
7.4 聚类分析 201
7.4.1 聚类分析的概念 201
7.4.2 聚类分析中的数据类型 202
7.4.3 主要的聚类分析方法 205
7.4.4 聚类分析算法 207
7.5 神经网络算法 209
7.5.1 神经网络的概念 209
7.5.2 定义神经网络拓扑结构 211
7.5.3 基于神经网络的算法 213
第8章 数据挖掘的新技术 215
本章主要内容 215
8.1 文本挖掘技术 215
8.1.1 文本挖掘概述 215
8.1.2 文本挖掘的过程 216
8.1.3 文本挖掘的方法 217
8.1.4 文本挖掘与信息检索 218
8.1.5 文本挖掘的应用 219
8.2 Web数据挖掘技术 221
8.2.1 Web挖掘概述 221
8.2.2 Web的特点 222
8.2.3 Web挖掘分类 222
8.2.4 Web挖掘流程 226
8.2.5 Web数据挖掘的常用工具 228
8.2.6 Web挖掘的应用 228
8.3 可视化数据挖掘技术 230
8.3.1 数据可视化技术 230
8.3.2 可视化数据挖掘技术的应用 233
8.4 基于GIS的空间数据挖掘技术 235
8.4.1 地理信息系统 235
8.4.2 空间数据挖掘 236
8.5 分布式数据挖掘 237
8.5.1 概述 237
8.5.2 分布式数据挖掘系统 239
8.5.3 分布式数据挖掘研究的现状 240
习题八 240
第9章 数据挖掘的工具及其应用 241
本章主要内容 241
9.1 国内外数据挖掘工具及评价 241
9.1.1 数据挖掘软件的特征 241
9.1.2 国外数据挖掘工具 242
9.1.3 国内数据挖掘工具 244
9.1.4 数据挖掘工具的功能分类 246
9.1.5 评价数据挖掘工具优劣的指标 247
9.2 SQL Server 2005数据挖掘工具应用 249
9.2.1 安装环境要求 249
9.2.2 Analysis Services功能介绍 250
9.2.3 SQL Server 2005数据挖掘算法概述 251
9.2.4 SQL Server 2005数据挖掘算法的选择 252
9.2.5 数据源的准备与创建 258
9.2.6 创建数据挖掘模型 261
9.2.7 处理数据挖掘模型 268
9.2.8 浏览模型 268
9.2.9 测试挖掘模型准确性 272
9.2.10 创建预测查询 275
习题九 277
第10章 数据仓库与数据挖掘的综合应用 278
本章主要内容 278
10.1 数据仓库与数据挖掘的关系 278
10.1.1 数据仓库的观点 278
10.1.2 数据挖掘的观点 281
10.2 数据仓库在企业管理中的应用 281
10.2.1 企业应用数据仓库的意义 282
10.2.2 应用数据仓库弥补ERP的不足 284
10.2.3 数据仓库实现分析型CRM 284
10.2.4 数据仓库提高SCM的效率 286
10.3 数据挖掘的社会影响与应用领域 287
10.3.1 数据挖掘的社会影响 287
10.3.2 数据挖掘的应用领域 288
10.3.3 数据挖掘的研究方向 290
10.4 金融业中的数据挖掘应用 291
10.4.1 数据挖掘在银行领域的应用 291
10.4.2 数据挖掘在证券领域的应用 293
10.4.3 数据挖掘在保险领域的应用 296
10.5 数据挖掘与客户关系管理 297
10.5.1 数据挖掘在客户识别和客户保留中的应用 297
10.5.2 客户分类 298
10.5.3 减少信用风险 299
10.5.4 数据挖掘在客户忠诚度分析中的应用 299
10.5.5 个性化营销与销售推荐 300
10.5.6 数据挖掘在客户赢利率分析中的应用 301
10.6 电信业中数据仓库与数据挖掘的应用 302
10.6.1 数据仓库与数据挖掘在电信业中的作用 302
10.6.2 数据挖掘在电信业应用的特点 304
习题十 305
第11章 基于数据挖掘的上市公司财务危机预警应用实例 306
本章主要内容 306
11.1 基本思路和相关知识 306
11.1.1 研究的基本思路 306
11.1.2 财务危机的界定 307
11.1.3 经济预警理论 308
11.2 上市公司财务危机预警模型的指标体系的构建 309
11.2.1 上市公司财务预警指标体系的选取原则 309
11.2.2 上市公司财务预警指标体系的构建 310
11.3 基于数据挖掘建立上市公司财务危机预警模型 313
11.3.1 数据准备 313
11.3.2 建立模型 314
11.3.3 模型测试 326
11.4 建立财务预警系统——财务预警的自动化 335
11.4.1 财务危机预警过程的自动化 336
11.4.2 预测准确性自动化 337
参考文献 339