数据仓库生命周期工具箱PDF电子书下载

第1章　Kimball生命周期导论 1

1.1　生命周期的历史 1

1.2　生命周期里程碑 3

1.2.1　项目／项目群规划 3

1.2.2　项目／项目群管理 4

1.2.3　业务需求定义 4

1.2.4　技术路线 4

1.2.5　数据路线 5

1.2.6　商业智能应用路线 6

1.2.7　部署 6

1.2.8　维护 6

1.2.9　增长 6

1.3　使用生命周期图 7

1.4　生命周期导航帮助 7

1.5　生命周期相关术语简介 8

1.5.1　数据仓库与商业智能 8

1.5.2 ETL系统 9

1.5.3　业务过程维度模型 9

1.5.4　商业智能应用程序 10

1.6 小结 11

第2章　项目／项目群的启动与管理 13

2.1 确定项目 14

2.1.1　评估DW/BI项目的准备就绪情况 14

2.1.2　弥补不足并确定下步工作 15

2.1.3　确定初步范围和章程 18

2.1.4　建立商业报告和合理性证明 22

2.2　项目规划 26

2.2.1　确立项目标识 26

2.2.2　项目人员配备 26

2.2.3　制定项目计划 32

2.2.4　制定沟通计划 35

2.3 项目管理 37

2.3.1 召开项目团队启动会议 38

2.3.2　监控项目状态 39

2.3.3　维护项目计划 40

2.3.4　整理项目文档 40

2.3.5　范围管理 40

2.3.6　期望管理 42

2.3.7　辨识项目陷入困境的征兆 42

2.4　项目群管理 43

2.4.1　确立管理职责和管理过程 43

2.4.2　将数据管理员的地位提升到企业层 44

2.4.3　利用高效的方法和架构最优方法 45

2.4.4　进行定期评估 45

2.4.5　沟通，沟通，沟通 46

2.5 小结 46

2.6　管理工作和降低风险 46

2.7　质量保证 46

2.8　关键角色 47

2.9　关键提交内容 47

2.10　作量估计 47

2.11 站资源 48

2.12　任务列表 48

第3章　收集业务需求 51

3.1　需求定义的各种方法 53

3.1.1　个别访谈VS集体促谈会 53

3.1.2　收集业务需求应避免使用的方法 54

3.2　访谈准备 55

3.2.1　确定访谈小组 55

3.2.2　研究业务机构 56

3.2.3　选择受访者 57

3.2.4　设计访谈问卷 58

3.2.5　确定访谈时间表 60

3.2.6　通知受访者做好准备 61

3.2.7　访谈中的基本规则综述 63

3.3 进行访谈 65

3.3.1　项目群层面的业务访谈 66

3.3.2　项目群层面上的IT访谈 67

3.3.3　项目群合规性／安全性访谈 67

3.4　总结访谈 67

3.4.1　确定项目群成功的标准 67

3.4.2　致谢并告辞 68

3.5　审查访谈结果 69

3.6　准备和发布项目群需求文档 70

3.6.1　访谈书面说明 70

3.6.2　项目群需求调查结果文档 71

3.7　区分业务优先次序和商定下步工作 73

3.7.1 以优先级的审查和确定结束会议 73

3.7.2　结束本轮访谈 74

3.8　项目层需求的调整 75

3.8.1　走近项目层 75

3.8.2　为项目需求访谈做准备 76

3.8.3　进行访谈 77

3.8.4　深入调查数据 79

3.8.5　审查访谈结果 79

3.8.6　准备和发布项目提交材料 80

3.8.7　协商下一步工作并结束本轮访谈 80

3.9　应对富有挑战性的受访者 80

3.9.1 受过打击的用户 81

3.9.2　超负荷的用户／替换用户 81

3.9.3 昏昏欲睡的用户 81

3.9.4　过分热心的用户 81

3.9.5 自以为无所不知的用户 82

3.9.6　一窍不通的用户 82

3.9.7　用户的缺位 82

3.10 小结 82

3.11　管理工作和降低风险 83

3.12　保证质量 83

3.13 关键角色 83

3.14　关键提交内容 84

3.15　工作量估计 84

3.16　网站资源 84

3.17　任务列表 85

第4章　技术架构介绍 87

4.1　架构的价值 88

4.2　技术架构综述 89

4.2.1　从源系统到用户桌面的流程 91

4.2.2　常见架构特征 91

4.2.3 DW/BI架构评估 94

4.3　后台架构 94

4.3.1 ETL一般性需求 95

4.3.2　创建与购买 95

4.3.3 后台ETL流程 95

4.3.4　源系统 97

4.3.5 抽取 100

4.3.6　清洗和一致化 100

4.3.7　提交 101

4.3.8 ETL管理服务 101

4.3.9　其他后台服务和趋势 102

4.3.10 ETL数据存储 102

4.3.11 ETL元数据 103

4.3.12　后台总结 104

4.4　呈现服务器架构 105

4.4.1　信息方面的业务需求 105

4.4.2　细节原子数据 106

4.4.3 聚集 106

4.4.4　呈现服务器设计规定 108

4.4.5　调整呈现服务器架构 109

4.4.6　机构考虑事项 109

4.4.7　呈现服务器元数据 110

4.4.8　呈现服务器总结 110

4.5　前台架构 111

4.5.1 BI应用程序类型 112

4.5.2 BI管理服务 112

4.5.3 BI数据存储 118

4.5.4　桌面工具架构方法 120

4.5.5 BI元数据 120

4.5.6　前台总结 121

4.6　底层设施 121

4.6.1　底层设施驱动因素 122

4.6.2　后台和呈现服务器底层设施因素 122

4.6.3　并行处理硬件架构 124

4.6.4　硬件性能推进器 127

4.6.5　数据库平台因素 128

4.6.6　前台底层设施要素 130

4.6.7　底层设施总结 132

4.8　元数据 132

4.8.1　元数据集成的价值 132

4.8.2　元数据集成的供选方案 133

4.8.3　元数据总结 134

4.9　安全性 134

4.9.1　安全方面的弱点 135

4.9.2　安全性总结 137

4.10 小结 137

第5章　创建架构计划和选择产品 139

5.1 创建架构 139

5.1.1　架构开发过程 140

5.1.2　设计应用程序架构计划 142

5.2　选择产品 149

5.2.1　保留一个业务关注点 149

5.2.2　主要DW/BI评估领域 149

5.2.3　评估供选方案并挑选产品 150

5.2.4　后台和呈现服务器方面的考虑事项 158

5.2.5　前台考虑事项 160

5.2.6　管理元数据 161

5.2.7　任命元数据管理员 162

5.2.8　创建元数据策略 162

5.3　保护系统安全 163

5.3.1　保护硬件和操作系统的安全 164

5.3.2　保护开发环境的安全 164

5.3.3　保护网络安全 165

5.3.4　用户验证 167

5.3.5　数据保护 168

5.3.6　监视使用情况和保证合规性 171

5.3.7　备份和恢复计划 171

5.3.8　创建底层设施图 172

5.4　安装硬件和软件 174

5.5 小结 175

5.6　管理工作和降低风险 175

5.7　质量保证 176

5.8　关键角色 176

5.9　关键提交内容 177

5.10　工作量估计 177

5.10.1　创建架构计划 177

5.10.2　选择产品 177

5.10.3　元数据 177

5.10.4　安全性 178

5.11 网站资源 178

5.12　任务列表 178

第6章　维度建模介绍 183

6.1　使用维度建模的场合 184

6.1.1　什么是维度建模 184

6.1.2　怎样进行规范化建模？ 185

6.1.3　维度建模的好处 186

6.2　维度建模入门 187

6.2.1 事实表 187

6.2.2　维度表 189

6.2.3　四步维度设计过程 193

6.3 企业数据仓库总线架构 194

6.3.1 规划危机 194

6.3.2　总线架构 195

6.3.3　价值链的意义 196

6.3.4　通用矩阵的常见问题 197

6.3.5　坚持使用一致性维度 198

6.4　对维度的深入讨论 198

6.4.1 日期和时间 199

6.4.2　退化维 201

6.4.3　缓慢变化维 202

6.4.4　角色扮演维 205

6.4.5　杂项维 206

6.4.6　雪花型和支架 208

6.4.7　处理层次结构 211

6.4.8　使用桥接表的多值维 212

6.5　更多关于事实的讨论 214

6.5.1　三个基本粒度 215

6.5.2　不同粒度的事实及其分配 217

6.5.3　多种货币和度量单位 219

6.5.4　无事实的事实表 221

6.5.5　合并事实表 221

6.6　有关维度建模的错觉和误区 222

6.6.1 将关注点集中在部门报表上导致的错误观点 222

6.6.2　提前汇总导致的错误观点 223

6.6.3　过于重视规范化导致的错误观点 224

6.7 小结 225

第7章　维度模型设计 227

7.1　建模过程综述 227

7.2　组建团队 229

7.2.1　确定参加设计的人员 229

7.2.2　回顾需求 231

7.2.3　使用建模工具 231

7.2.4　确立命名约定 233

7.2.5　为源数据调查和数据探查做准备 234

7.2.6　获取场所和用品 234

7.3　再论四步建模过程 234

7.3.1　第1步：选择业务过程 235

7.3.2　第2步：声明粒度 235

7.3.3　第3步：识别维度 236

7.3.4　第4步：识别事实 237

7.4　设计维度模型 237

7.4.1 建立高层维度模型 238

7.4.2　开发详细的维度模型 240

7.4.3　审查和验证模型 250

7.4.4　设计文档定稿 251

7.5　拥抱数据管理 252

7.6 小结 253

7.7　管理工作和降低风险 253

7.8　保证质量 254

7.9　关键角色 254

7.10　关键提交内容 254

7.11　工作量估计 255

7.12　网站资源 255

7.13　任务列表 255

第8章 物理数据库设计与性能规划 257

8.1 制定标准 258

8.1.1　遵守命名约定 259

8.1.2　为空还是不为空 259

8.1.3　设置登台表 259

8.1.4　制定文件位置标准 260

8.1.5　对用户访问的表使用代用名或者视图 260

8.1.6　主键 261

8.1.7　外键 262

8.2　设计物理数据模型 263

8.2.1　设计物理数据结构 263

8.2.2　确定源到目标的映射 264

8.2.3　星型VS雪花型 265

8.2.4　使用数据建模工具 266

8.2.5　进行初步的规模估计 267

8.3　创建开发数据库 268

8.4　设计处理数据存储 269

8.5　设计初始索引方案 270

8.5.1　索引和查询策略综述 270

8.5.2　为维度表建立索引 272

8.5.3　为事实表建立索引 272

8.5.4　为装载数据（loads）建立索引 273

8.5.5 为OLAP建立索引 273

8.5.6　在装载之后分析表和索引 273

8.6 设计OLAP数据库 274

8.6.1 OLAP数据粒度和深入钻取 274

8.6.2　完善OLAP维度 274

8.6.3 定义OLAP计算 275

8.7　建立测试数据库 276

8.8　设计聚集 276

8.8.1　确定如何聚集 276

8.8.2　确定聚集的内容 277

8.8.3　维护聚集 278

8.8.4　完成索引 279

8.9　设计和构建数据库实例 279

8.9.1 内存 280

8.9.2　块大小 280

8.9.3　保存数据库构建脚本和参数文件 280

8.10　设计物理存储结构 281

8.10.1　计算表和索引的大小 281

8.10.2　设计分区方案 281

8.10.3　设置存储 282

8.11 小结 284

8.12　管理工作和降低风险 284

8.13　保证质量 285

8.14　关键角色 285

8.15　关键提交内容 285

8.16　工作量估计 285

8.17　网站资源 286

8.18　任务列表 286

第9　章抽取、转换和装载介绍 289

9.1 归拢需求 290

9.1.1　业务需求 290

9.1.2　合规性 290

9.1.3　数据质量 291

9.1.4　安全性 291

9.1.5　数据集成 291

9.1.6　数据等待时间 292

9.1.7　存档和沿袭 292

9.1.8　用户提交界面 292

9.1.9　可用的技能 292

9.1.10　遗留许可证 293

9.2 ETL系统的34个子系统 293

9.3　抽取数据 293

9.3.1　子系统1——数据探查 294

9.3.2　子系统2——变化数据捕捉系统 294

9.3.3　子系统3——抽取系统 296

9.4　数据的清洗和一致化 297

9.4.1 改进数据质量文化和过程 297

9.4.2　子系统4——数据清洗系统 298

9.4.3　子系统5——错误事件模式 299

9.4.4　子系统6——审计维装配器 300

9.4.5　子系统7——重复数据删除系统 301

9.4.6　子系统8——一致化系统 302

9.5 向呈现层交付数据 303

9.5.1　子系统9——缓慢变化维管理器 303

9.5.2 子系统10——代理键生成器 306

9.5.3　子系统11——层次管理器 306

9.5.4　子系统12——专用维度管理器 307

9.5.5　子系统13——事实表构建器 308

9.5.6　子系统14——代理键管道 310

9.5.7　子系统15——多值维度桥接表构建器 311

9.5.8　子系统16——延迟到达数据处理器 312

9.5.9　子系统17——维度管理系统 312

9.5.10　子系统18——事实提供系统 313

9.5.11 子系统19——聚集构建器 313

9.5.12　子系统20——OLAP多维数据集构建器 314

9.5.13　子系统21——数据传播管理器 314

9.6 管理ETL环境 315

9.6.1　子系统22——作业调度器 315

9.6.2　子系统23——备份系统 316

9.6.3　子系统24——恢复和重启系统 317

9.6.4　子系统25——版本控制系统 318

9.6.5　子系统26——版本迁移系统 318

9.6.6　子系统27——工作流监视器 319

9.6.7　子系统28——排序系统 320

9.6.8　子系统29——沿袭和依赖分析器 320

9.6.9　子系统30——问题自动调整系统 321

9.6.10　子系统31——并行／管道系统 321

9.6.11　子系统32——安全系统 322

9.6.12　子系统33——合规性管理器 322

9.6.13　子系统34——元数据知识库管理器 323

9.7　实时的意义 323

9.7.1　实时的分类 323

9.7.2　实时的权衡 325

9.7.3　呈现服务器上的实时分区 326

9.8 小结 327

第10章　设计和开发ETL系统 329

10.1 ETL过程综述 329

10.2 启动 330

10.3 设计ETL计划 331

10.3.1　步骤1——制订高层计划 331

10.3.2　步骤2——选择ETL工具 332

10.3.3　步骤3——制定默认策略 333

10.3.4　步骤4——由目标表向下钻取 334

10.3.5　设计ETL说明文档 336

10.3.6　开发沙盒源系统 337

10.4　设计一次性的历史装载处理 338

10.4.1　步骤5——使用历史数据填充维度表 339

10.4.2　步骤6——执行事实表历史装载 346

10.5 设计增量ETL处理过程 352

10.5.1　步骤7——维度表增量处理 352

10.5.2　步骤8——事实表增量处理 355

10.5.3 步骤9——聚集表和OLAP装载 359

10.5.4 步骤10——ETL系统操作和自动化 360

10.6 小结 362

10.7　管理工作和降低风险 362

10.8　保证质量 363

10.9　关键角色 363

10.10　关键交付内容 363

10.11　工作量估计 363

10.12　网站资源 364

10.13　任务列表 364

第11章　商务智能应用程序介绍 367

11.1　商业智能应用程序的重要性 367

11.2　商业智能分析周期 369

11.2.1　第一阶段：监视活动 370

11.2.2　第二阶段：识别异常 370

11.2.3 第三阶段：确定构成原因的因素 370

11.2.4　第四阶段：模型供选方案 371

11.2.5　第五阶段：采取行动并跟踪结果 371

11.2.6　分析周期的更多意义 371

11.3　商业智能应用程序的类型 372

11.3.1　直接访问查询和报表工具 372

11.3.2　标准报表 377

11.3.3 分析性应用程序 378

11.3.4　仪表板和记分卡 379

11.3.5　运营商业智能 381

11.3.6　数据挖掘 382

11.4　通过BI门户导航应用程序 385

11.4.1　考虑密度 387

11.4.2　基于业务过程的导航结构 387

11.4.3 附加门户功能 388

11.4.4　应用程序界面供选方案 389

11.5 小结 389

第12章　设计和开发商务智能应用程序 391

12.1 商业智能应用程序资源规划 392

12.1.1 BI应用程序开发人员的角色 392

12.1.2　谁来完成商业智能工作 392

12.1.3　生命周期时间安排 392

12.2 BI应用程序规范 393

12.2.1　创建应用程序标准和模板 393

12.2.2　确定初始应用程序集 396

12.2.3　制定详细的应用程序规范 398

12.2.4　设计导航框架和门户 401

12.2.5　审查以及确认应用程序和模型 402

12.2.6　与业务人士一同审查 403

12.3 BI应用程序开发 403

12.3.1　准备应用程序开发 403

12.3.2　构建应用程序 405

12.3.3　应用程序和数据的测试和验证 411

12.3.4　完成文档 412

12.3.5　部署计划 412

12.4 BI应用程序维护 412

12.5 小结 413

12.6　管理工作并降低风险 413

12.7　保证质量 413

12.8　关键角色 414

12.9　关键提交内容 414

12.10　工作量估计 414

12.10.1 BI应用程序规范 415

12.10.2　开发 415

12.11 网站资源 415

12.12　任务列表 415

第13章　DW/BI系统的部署和支持 419

13.1 系统部署 420

13.1.1　部署前测试 420

13.1.2　部署 428

13.2　文档和培训 431

13.2.1　核心文档 431

13.2.2　补充文档 432

13.2.3　用户培训 433

13.3　维护与支持 435

13.3.1　管理前台 436

13.3.2　管理后台 439

13.4　小结 443

13.5　管理工作和降低风险 443

13.6　质量保证 444

13.7　关键角色 444

13.8　关键提交内容 444

13.9　工作量估计 444

13.10　任务列表 445

第14章　扩展DW/BI系统 449

14.1　对已有环境的管理 449

14.1.1　赢得业务用户 450

14.1.2 向上管理 450

14.1.3　度量并推销您的成功 451

14.1.4　经常进行沟通 453

14.2　为增长与演化作准备 454

14.2.1　评估当前环境 454

14.2.2　优化增长时机 455

14.2.3　管理迭代增长 456

14.3 小结 457

14.4　管理工作和降低风险 457

14.5　保证质量 458

14.6　关键角色 458

14.7　关键提交内容 458

14.8 工作量估计 458

术语表 459