大型数据库系统开发指南PDF电子书下载

引言 1

第一部分 RDBMS概念 3

1 关系数据库系统概述 3

1．1 RDBMS 3

1．2 一个RDBMS提供的功能 6

1．3 数据库性能策略 8

1．4 RDBMS包含的组成部件 9

1．5 RDBMS术语和概念 13

1．5．1 RDBMS术语 13

1．7 如何安全地维护数据 18

1．6 结构化查询语言 18

1．8 备份和性能 21

1．8．1 备份介质 21

1．8．2 完整或部分备份 22

1．8．3 物理和逻辑备份 22

1．8．4 联机和脱线备份 23

1．8．5 备份建议 24

2 工作负载类型 25

2．1 联机事务处理（OLTP） 25

2．3 决策支持系统（DSS） 26

2．2 联机分析处理（OLAP） 26

2．3．2 数据中心 27

2．3．1 数据仓库 27

2．3．3 商务智能（BI） 28

2．3．4 数据挖掘 28

2．4 企业资源规划（ERP） 28

2．5 电子商务 29

2．6 报表 30

3．1 DB2 UDB数据库体系结构 32

3．1．1 内存结构 32

3 特殊数据库 32

3．1．2 逻辑存储结构 33

3．1．3 物理存储结构 34

3．1．4 进程 37

3．1．5 SQL扩展——存储过程 38

3．1．6 管理工具 39

3．2 Oracle数据库体系结构 41

3．2．1 内存结构 41

3．2．2 逻辑存储结构 42

3．2．3 物理存储结构 43

3．2．4 进程 44

3．2．6 管理工具 46

3．2．5 SQL扩展——存储过程 46

4 并行数据库 48

4．1 数据库环境中的并行概念 48

4．1．1 共享内存 48

4．1．2 共享磁盘 49

4．1．3 共享分布式 49

4．2 DB2 UDB企业扩展版本（EEE） 50

4．2．1 概念和功能 50

4．2．3 分区间和分区内并行 51

4．2．2 优化程序 51

4．2．4 硬件实现 52

4．3 Oracle并行服务器 53

4．3．1 并行Oracle体系结构 53

4．3．2 虚拟共享磁盘（VSD） 55

4．3．3 分布式封锁管理员（DLM） 56

4．4 并行数据库的优点和缺点 57

第二部分 最优性能的系统设计和估算尺寸 59

5 估算一个数据库系统尺寸 59

5．1 估算尺寸约束 59

5．2 估算尺寸技术 60

5．2．2 从事务速率估算尺寸 61

5．2．3 从用户个数估算尺寸 61

5．2．1 从数据尺寸来估算尺寸 61

5．3 从一个特殊应用估算尺寸 62

5．4 CPU目标和估算尺寸 62

5．4．1 单处理器（UP）系统 62

5．4．2 对称多处理器（SMP）系统 62

5．4．3 CPU利用率 63

5．5 内存目标和估算尺寸 63

5．5．3 RDBMS高速缓存和结构 64

5．5．4 用户应用和数据库连接 64

5．5．1 AIX操作系统 64

5．5．2 AIX文件系统高速缓存（AIX缓冲区高速缓存） 64

5．6 磁盘目标和估算尺寸 65

5．6．1 通用数据库估算尺寸——高级 66

5．6．2 特殊的一个表一个表地估算尺寸——细目级 67

5．6．3 选择何种磁盘尺寸 68

5．6．4 磁盘保护 68

5．7 由组成部件代价平衡一个系统 70

6．1．2 基本的和将来的应用程序资源 71

6．1．1 基本的和将来的AIX资源 71

6．1 工作空间 71

6 设计一个RDBMS系统 71

6．1．3 基本的RDBMS资源 72

6．1．4 未来RDBMS资源 74

6．2 考虑工作负载 75

6．3 考虑网络 75

6．4 考虑内存和数据库 76

6．4．1 DBW UDB内存需求 76

6．4．2 Oracle内存需求 76

6．5 系统资源利用 77

6．6 数据库的备份和恢复 78

6．6．1 DB2 UDB备份/恢复方案 79

6．6．2 Oracle备份/恢复方案 79

6．6．3 通用备份考虑 79

6．7 处理增长性 81

6．7．1 DB2 UDB重组方法 81

6．7．2 Oracle重新组织方法 82

6．7．3 何时需要并如何避免数据库重组 82

6．7．4 处理大量的意外的增长 83

6．7．5 预期的增长领域 83

6．8 性能和可用性 84

6．7．6 加载大量数据 84

6．9．1 生产 85

6．9 在同一台机器上生产开发和测试 85

6．9．2 开发 86

6．9．3 测试 86

6．9．4 综合机器 86

6．10 AIX和RDBMS升级 86

7 设计磁盘子系统 88

7．1 磁盘子系统的设计方法 88

7．2 与性能有关的带宽的考虑 88

7．3．1 数据库数据文件的分布 89

7．3 物理数据库布局的考虑 89

7．4 逻辑卷管理的概念 90

7．4．1 物理分区带和LVM微带 91

7．4．2 LVM策略的使用 92

7．5 原始逻辑卷和相对的日志文件系统（JFS） 94

7．6 各级RAID概述和性能考虑 95

7．6．1 O级RAID 95

7．6．2 1级RAID 95

7．6．5 5级RAID 96

7．6．4 4级RAID 96

7．6．3 2级和3级RAID 96

7．6．6 RAID 0+1 97

7．6．7 各种RAID级别之间的比较 97

7．6．8 RAID和AIX LVM镜像 97

7．7 使用镜像写一致性（MWC） 98

7．8 串行存储结构（SSA） 100

7．8．1 技术概述 100

7．8．2 SSA特殊性能考虑 100

7．9．1 IBM企业存储服务器（ESS） 103

7．9 集成的磁盘存储系统 103

7．10 磁盘性能测试和观察 104

7．11 选择你的磁盘子系统 106

第三部分 系统优化 108

8 数据库实现 108

8．1 硬件和AIX就绪检查列表 109

8．2 启动前的检查列表 111

8．3 数据库数据 111

8．4 硬件测试 113

8．5 安装RDBMS代码 114

8．7 建立脚本 115

8．6 数据库物理布局 115

8．8 建立小型系统 116

8．9 安装后 117

8．10 备份和恢复测试 117

9 监视RDBMS系统性能 118

9．1 RDBMS工具 118

9．1．1 DBW UDB监视工具 118

9．1．2 Oracle监视工具 128

9．2 常规、特定或报警监视方法的使用 132

9．2．1 常规（regular）监视方法 132

9．3 性能监视脚本 133

9．4 监视和调谐责任者 133

9．2．2 特定（ad-hoc）监视方法 133

9．2．3 报警（alert）监视方法 133

9．5 性能问题的报告 134

9．5．1 检查 134

10 调整RDBMS系统 136

10．1 调整技能 137

10．2 参考手册和参考书 137

10．2．1 有关RDBMS调整和RDMBS性能调整参考书 138

10．3 调整策略 138

10．4．1 弄清楚成功准则的定义 139

10．4 合理的好的调整方法 139

10．4．2 限制活动 140

10．4．3 重复 140

10．4．4 每次一个改变 140

10．4．5 决定优先权 140

10．4．6 热点 141

10．4．7 很好地了解重要领域 141

10．4．8 可再现的工作负荷 141

10．4．11 文档 142

10．4．10 注意测试设备和测量 142

10．4．9 如何测定响应时间 142

10．4．12 安排测试 143

10．4．13 检验改善 143

10．4．14 调整小组 144

10．5 同时改变的方法 144

10．5．1 忽略谣传 145

10．5．2 收集信息 145

10．6 瓶颈、利用和资源 147

10．5．6 检查和设置顶级性能参数 147

10．5．4 升级到最后确定的级别 147

10．5．5 研究系统 147

10．5．3 检查错误 147

10．6．1 利用目标 149

10．6．2 不足的CPU和潜在请求 149

10．6．3 不足的内存 150

10．6．4 不足的磁盘I/O 151

10．6．5 不足的网络资源 153

10．6．6 不足的逻辑资源访问 153

10．7 调整 153

10．7．1 调整窗口 154

10．8 典型错误列表 155

11 DB2 UDB的调整 156

11．1 性能提高过程 156

11．2 通常调整的元素 156

11．2．1 操作性能要考虑的事情 156

11．2．6 SQL解释工具 157

11．2．5 SQL编译程序 157

11．2．8 配置可扩充性 157

11．2．7 使用DB2 UDB管理员 157

11．2．3 应用要考虑的事情 157

11．2．2 环境要考虑的事情 157

11．2．4 系统目录统计 157

11．2．9 DB2 DUB的内存应用 158

11．3 可执行的改变 159

11．4 选项 159

11．4．1 数据库管理员配置参数 159

11．4．2 数据库参数 161

11．5 选项的作用 162

11．5．1 缓冲池尺寸（buffpage） 162

11．4．3 DB2 DUB注册表变量 162

11．5．2 I/O服务器数目（mum_ioservers） 164

11．5．3 异步分页消除器数（num_iocleaners） 165

11．5．4 改变的页阈值（chngpgs_thresh） 165

11．5．5 排序堆尺寸（sortheap） 166

11．5．6 排序堆阈值（sheapthres） 166

11．5．7 语句堆尺寸（stmtheap） 167

11．5．8 程序包高速缓存尺寸（pckcachesz） 167

11．5．9 数据库堆尺寸（dbheap） 168

11．5．10 目录高速缓存尺寸（catalogcache_sz） 168

11．5．12 最大主体数（maxagents） 169

11．5．11 日志缓冲区尺寸（logbufsz） 169

11．5．13 锁列表的最大存储（locklist） 170

11．5．14 升级前最大锁列表百分比（maxlocks） 171

11．5．15 并行的最大查询度（max_querydegree） 171

11．5．16 DB2MEMDISCLAIM和DB2MEMMAXFREE 171

11．5．17 DB2_PARALLEL_IODB2_STRIP-ED_CONTAINERS 172

11．5．18 重新组织表 173

11．6 通过SYSSTAT视图模拟 173

12．1 可以进行的改变 175

12．2 Oracle调整顺序 175

12 Oracle调整 175

12．3 检查最常见的AIX配置错误 178

12．3．1 改变控制 178

12．3．2 使用异步I/O故障 178

12．3．3 差的磁盘子系统的安装 178

12．3．4 重做日志磁盘 178

12．3．5 分页空间和监视分页 178

12．3．6 对Oracle没有分配足够的内存 179

12．3．7 较差的使用AIX磁盘特征 179

12．4．4 分析数据库的表和索引 180

12．4．2 分析 180

12．4．3 基本的Oracle参数 180

12．4 检查最常见的Oracle错误 180

12．3．8 忙碌的磁盘 180

12．4．1 索引 180

12．5 AIX和Oracle使用的调整提示分类 182

12．6 估计最重要的10个Oracle参数 183

12．6．1 db_block_size 183

12．6．2 db_block_buffers 183

12．6．4 db_writers、db_writer_processes和dbwr_io_slaves 185

12．6．5 shared_pool_size 185

12．6．3 use_async_io或disk_asynch_io 185

12．6．6 sort_area_size 186

12．6．7 sql_trace 186

12．6．8 timed_statistics 186

12．6．9 optimizer_mode 186

12．6．10 log_buffer 186

12．6．11 rollback_segments 186

12．7 其他关键的Oracle参数 187

12．8 可重复的好的调整步骤 188

12．8．1 访问方法调整 188

12．8．3 磁盘I/O调整 189

12．8．2 内存调整 189

12．8．4 CPU调整 190

12．8．5 竞争调整 191

12．9 按Oracle提示调整AIX 192

12．9．1 AIX异步I/O 192

12．9．2 AIX逻辑卷管理程序或Orancle文件 192

12．9．3 按标准尺寸建立逻辑卷 193

12．9．4 AIX JFS或原始设备 194

12．9．7 AIX预先顺序读 195

12．9．6 命名约定 195

12．9．5 AIX磁盘布局考虑 195

12．9．8 AIX分页空间 196

12．9．9 AIX分页率 196

12．9．10 消除热磁盘 196

12．9．11 避免热磁盘的磁盘集 197

12．9．12 在SMP机上平衡CPU利用 197

12．10 高级的AIX调整提示 197

12．10．1 AIX readv()特征 197

12．10．4 AIX磁盘I/O定步 198

12．10．5 在SMP机上绑定AIX处理器 198

12．10．3 AIX写滞后 198

12．10．2 AIX直接I/O 198

12．10．6 SMP机上AIX旋转计数 199

12．10．7 AIX进程优先级 199

12．10．8 AIX进程时间片 199

12．10．9 AIX空闲内存 199

12．10．10 AIX缓冲区高速缓存尺寸 200

12．11 Oracle调整提示 201

12．11．5 Oracle块尺寸 202

12．11．4 AIX的Oracle post-wait核心扩充 202

12．11．3 Oracle控制文件 202

12．11．2 Oracle ARCHIVEMODE 202

12．11．1 按照Oracle灵活的体系结构安装Oracle 202

12．11．6 Oracle SGA尺寸 203

12．11．7 Oracle数据库写程序 203

12．11．8 Oracle缓冲区高速缓存命中率调整 203

12．11．9 从AIX磁盘中分离数据库磁盘 204

12．11．10 Oracle重做日志应该有一个专用磁盘 204

12．11．11 镜像重做日志或使用RAID 5 fast-write cache选项 204

12．11．12 Oracle重做日志组或AIX镜像 204

12．11．17 Oracle共享缓冲池尺寸 205

12．11．16 Oracle重做缓冲区尺寸 205

12．11．14 Oracle db_file_multiblock_read_count参数 205

12．11．13 Oracle并发恢复 205

12．11．15 Oracle重做日志锁存 205

12．11．18 Oracle表空间和表建立 206

12．11．19 Oracle回滚段数 206

12．11．20 Oracle并行处理 206

12．11．24 Oracle SQL*Loader I/O缓冲区 207

12．12 其他调整提示 207

12．12．1 网络TCP/IP 207

12．11．23 Oracle标记和批量删除行 207

12．11．22 Oracle使用TRUNCATE而不是DELETE删除所有行 207

12．11．21 Oracle存档程序缓冲区 207

12．12．2 使用嵌入的Oracle SQL编译程序 208

13 解决问题 209

13．1 Perfpmr——性能数据集工具 209

13．1．1 获得perfpmr最新版本 209

13．1．2 AIX媒体提供的版本 210

13．2 出现问题前 210

13．3 提升问题管理记录（PMR） 210

13．3．1 PMR信息 211

13．4 数据库性能PMR的大多数公共资源 212

13．5 避免下一个性能危机 213