第一部分 准备 2
第1章 数据仓库和商务智能概述 2
1.1 商务智能概述 2
1.1.1 定义 3
1.1.2 商务智能的价值 4
1.1.3 剖析商务智能 5
1.1.4 商务智能的成功要素 6
1.1.5 商务智能的目标 7
1.1.6 BI用户展现层 9
1.1.7 BI工具和架构 12
1.1.8 全球化带来的发展 14
1.2 数据仓库概述 14
1.2.1 定义 14
1.2.2 数据仓库系统 15
1.2.3 数据仓库架构 16
1.2.4 数据流术语 18
1.2.5 数据仓库目标 20
1.2.6 数据结构化策略 22
1.2.7 数据仓库业务 23
1.3 常见问题 24
1.3.1 当前系统是否足够好 24
1.3.2 数据仓库的价值 25
1.3.3 成本多高 26
1.3.4 时间多长 27
1.3.5 成功的因素 29
第2章 企业中的数据 33
2.1 企业资产 33
2.1.1 具有上下文的数据 33
2.1.2 数据质量 35
2.1.3 数据字典 37
2.1.4 数据组件 38
2.2 组织数据 42
2.2.1 对数据结构化 43
2.2.2 数据模型 44
2.2.3 数据架构 48
2.3 竞争优势 52
2.3.1 构建还是购买数据模型 53
2.3.2 指导业务 56
第3章 为什么创建数据仓库 58
3.1 平台迁移 59
3.1.1 业务连续性 60
3.1.2 逆向工程 60
3.1.3 数据质量 61
3.1.4 并行环境 62
3.1.5 附加值 63
3.2 数据仓库集中化 63
3.2.1 企业间并购 63
3.2.2 企业内合并 64
3.2.3 集中式设计和局部使用 64
3.3 数据集市整合 64
3.4 新方案 66
3.5 新方案:动态报表 68
3.6 “Just Build It”模式 69
3.7 数据Floundation 71
3.8 不构建数据仓库的原因 72
3.8.1 数据质量差 72
3.8.2 缺乏商业目标 73
3.8.3 缺乏管理层支持 73
3.8.4 目标不明确 73
3.8.5 当前系统足够用 73
3.8.6 缺乏人才资源 74
3.8.7 环境不稳定 74
3.8.8 成本太高 74
3.8.9 管理不善 74
第4章 数据仓库和商务智能战略 75
4.1 商务智能战略 75
4.1.1 商业目标 75
4.1.2 商业用途 76
4.1.3 架构概览 77
4.2 数据仓库战略 79
4.2.1 用途 79
4.2.2 数据仓库架构 80
4.3 重点和成功 83
4.3.1 整个企业还是业务线 83
4.3.2 目标明确 84
4.3.3 成功:衡量的标准是什么 84
4.4 从何处着手 85
4.4.1 关于商务智能 86
4.4.2 关于数据仓库 87
4.5 如何开始 87
4.5.1 关于商务智能 87
4.5.2 关于数据仓库 90
4.6 项目阶段化 92
4.7 需要多长时间(重新回顾) 93
4.8 兴趣点 95
4.8.1 常见的失败原因 95
4.8.2 基本原则 99
第5章 项目资源:角色和洞察力 101
5.1 关键点 101
5.1.1 项目团队 102
5.1.2 资深专业知识 102
5.1.3 领导力 103
5.1.4 项目发起人 105
5.1.5 数据仓库管理层 105
5.2 团队结构 106
5.2.1 管理层发起人 107
5.2.2 数据管家 108
5.2.3 基本资源 108
5.3 定期审查:进度审核 112
5.4 能力中心 112
第6章 项目总结概论 114
6.1 项目章程 114
6.2 项目范畴 116
6.3 工作说明书 117
第二部分 组件 120
第7章 商务智能:数据集市及其使用方式 120
7.1 为什么要对数据建模 121
7.1.1 数据模型的类型 122
7.1.2 数据设计 125
7.2 事实表 132
7.2.1 事实的类型 133
7.2.2 事实表的类型 135
7.2.3 衡量指标来源 137
7.2.4 事实表关键字 137
7.2.5 事实表粒度 138
7.2.6 事实表密度 138
7.2.7 无事实的事实表 138
7.3 维度表 139
7.3.1 维度还是指标 140
7.3.2 历史表和日期表 141
7.3.3 维度表关键字 143
7.3.4 维度表的粒度 145
7.3.5 维度属性的来源和价值 146
7.3.6 维度类型 148
7.3.7 级别和辅助表 156
7.3.8 个人信息表 158
7.3.9 维度数 160
7.4 规模 160
第8章 企业数据模型 162
8.1 数据模型概览 162
8.2 构建企业数据模型的目标 166
8.3 企业数据模型的好处 166
8.4 数据模型:从何处开始 167
8.5 完全自上而下的数据模型 167
8.5.1 主题领域模型 168
8.5.2 概念模型 171
8.5.3 实体关系模型 171
8.6 总线结构 172
8.7 购买的数据模型 174
8.8 模型分析 176
8.8.1 数据组件 176
8.8.2 范化数据模型 178
8.8.3 超类和子类模型 182
8.8.4 在范化的数据模型中收集历史信息 185
8.8.5 代理键 189
8.8.6 逻辑和物理数据模型 190
8.8.7 是否具备参照完整性 191
8.9 其他数据模型 192
8.9.1 输入数据模型 192
8.9.2 临时存储数据模型 192
8.10 最后的思考 193
第9章 数据仓库架构:组件 194
9.1 架构概述 194
9.2 架构师角色 195
9.2.1 解决方案架构师 195
9.2.2 数据仓库架构师 195
9.2.3 技术架构师 196
9.2.4 数据架构师 196
9.2.5 ETL架构师 196
9.2.6 BI架构师 196
9.2.7 综合 197
9.3 体系结构分层 198
9.3.1 单层体系结构 198
9.3.2 经典的两层体系结构 199
9.3.3 高级的三层体系结构 200
9.4 数据仓库架构 201
9.4.1 单独的数据集市架构 201
9.4.2 总线结构 202
9.4.3 中央存储库架构 202
9.4.4 联合架构 203
9.5 组件(分层) 204
9.5.1 数据源 204
9.5.2 数据生成 205
9.5.3 数据组织 205
9.5.4 数据分发 205
9.5.5 信息输出 205
9.6 实现方式 206
9.6.1 数据设计和数据流 207
9.6.2 逻辑和物理模型 207
9.6.3 自上而下的方式 209
9.6.4 自下而上的方式 211
9.6.5 混合模式 212
9.7 捷径 213
9.7.1 数据采集层 214
9.7.2 中央数据层 214
9.7.3 数据分发层 215
9.7.4 表现层 215
9.7.5 用户展现层 215
9.7.6 方法论 216
9.7.7 现成的解决方案 216
第10章 ETL和数据质量 217
10.1 架构 218
10.1.1 数据获取 219
10.1.2 数据分发 220
10.1.3 ETL映射 221
10.1.4 初始加载和增量加载 223
10.1.5 ETL、ELT和ETTL 224
10.1.6 并行操作 225
10.1.7 ETL功能角色 226
10.1.8 数据流图 227
10.1.9 业务数据存储系统 228
10.2 数据源系统 229
10.2.1 没有数据源 229
10.2.2 多个数据源 229
10.2.3 其他来源(结构化输入文件) 230
10.2.4 非结构化数据 230
10.3 数据剖析 232
10.4 数据获取 232
10.4.1 多个大文件 233
10.4.2 伪文件 233
10.4.3 故障预防策略 234
10.5 转换和临时数据存储 234
10.5.1 准备工作 235
10.5.2 代理键 237
10.5.3 参照完整性 239
10.5.4 聚合、分析和汇总 240
10.5.5 编码表 240
10.6 加载 240
10.6.1 是否加载历史数据 241
10.6.2 插入、更新、插入或更新、删除 241
10.6.3 数据获取信息 242
10.6.4 加载调度 242
10.7 企业数据仓库的临时数据存储和总线架构的临时数据存储 242
10.8 数据分发 244
10.9 数据质量 246
10.10 ETL工具 247
第11章 项目规划和方法论 248
11.1 基础 250
11.1.1 风险:逐步发展 251
11.1.2 风险:数据质量 251
11.1.3 风险:资源 252
11.1.4 风险:成本 253
11.1.5 变更管理 253
11.1.6 最佳实践 254
11.2 错误 254
11.3 项目规划方法论 255
11.3.1 业务需求分析 256
11.3.2 战略和规划 257
11.3.3 解决方案纲要 259
11.3.4 设计 260
11.3.5 构建 260
11.3.6 部署 261
11.3.7 使用 261
第三部分 构建 264
第1 2章 工作场景 264
12.1 让我们开始“烹饪”吧 266
12.2 自上而下 269
12.2.1 字典 270
12.2.2 集中式数据模型 271
12.2.3 数据架构 272
12.2.4 数据源 274
12.2.5 数据模型 275
12.2.6 数据库 275
12.2.7 数据获取 276
12.2.8 解决方案概述 276
12.3 自下而上 278
12.3.1 最终结果 279
12.3.2 字典 284
12.3.3 数据架构 284
12.3.4 一致性维度的管理 284
12.3.5 数据源 286
12.3.6 解决方案概述 286
12.4 混合式 287
12.4.1 起步工作 289
12.4.2 数据模型 290
12.4.3 数据架构 291
12.4.4 解决方案概述 293
12.5 归并 293
12.6 没有输入:结构化的输入文件 296
12.7 集成的第二阶段 297
12.8 更大的框架:企业信息架构 299
第13章 数据监理 300
13.1 什么是数据监理 300
13.2 数据监理的原因 301
13.3 企业结构 302
13.4 驱动和启动 303
13.5 数据监理的主要方面 305
13.5.1 安全性和敏感性 305
13.5.2 数据质量 306
13.5.3 所有权 307
13.5.4 变更控制 307
13.6 数据监理的准备工作 308
第14章 项目后评审 310
14.1 概述 310
14.2 项目评审 311
14.3 后续工作 316