引言 1
第一部分 设计：构建系统 8
第1章 分布式世界中的设计 8
1.1 大规模的可见性 9
1.2 简单的重要性 10
1.3 构成 10
1.3.1 具有多个后端副本的负载平衡器 10
1.3.2 具有多个后端的服务器 12
1.3.3 服务器树 13
1.4 分布状态 14
1.5 CAP原则 16
1.5.1 一致性 16
1.5.2 可用性 17
1.5.3 分区可容忍性 17
1.6 松散耦合系统 19
1.7 速度 20
1.8 小结 23
练习 23
第2章 为运营而设计 25
2.1 运营需求 25
2.1.1 配置 26
2.1.2 启动和关机 27
2.1.3 队列排空 28
2.1.4 软件升级 29
2.1.5 备份和恢复 29
2.1.6 冗余性 29
2.1.7 数据库副本 30
2.1.8 热切换 31
2.1.9 单独功能开关 31
2.1.10 优雅降级 31
2.1.11 访问控制和速率限制 32
2.1.12 数据导入控制 33
2.1.13 监控 33
2.1.14 审计 33
2.1.15 调试设施 34
2.1.16 异常收集 34
2.1.17 运营文档 35
2.2 为运营实现设计 35
2.2.1 从一开始就构建功能 36
2.2.2 在确定功能时提出请求 36
2.2.3 自行编写功能 37
2.2.4 与第三方供应商合作 37
2.3 改善模型 38
2.4 小结 38
练习 39
第3章 选择服务平台 40
3.1 服务抽象水平 41
3.1.1 基础设施即服务 41
3.1.2 平台即服务 42
3.1.3 软件即服务 43
3.2 机器的类型 44
3.2.1 物理机器 44
3.2.2 虚拟机 44
3.2.3 容器 46
3.3 资源共享水平 48
3.3.1 依从性 49
3.3.2 隐私 49
3.3.3 成本 49
3.3.4 控制 50
3.4 主机托管 50
3.5 选择策略 51
3.6 小结 53
练习 53
第4章 应用程序架构 54
4.1 单机Web服务器 55
4.2 三层Web服务 56
4.2.1 负载平衡器种类 56
4.2.2 负载平衡方法 57
4.2.3 共享状态的负载平衡 58
4.2.4 用户身份标识 59
4.2.5 伸缩性 59
4.3 四层Web服务 60
4.3.1 前端 60
4.3.2 应用服务器 61
4.3.3 配置选项 62
4.4 反向代理服务 62
4.5 云规模服务 62
4.5.1 全局负载平衡器 63
4.5.2 全局负载平衡方法 63
4.5.3 使用用户特定数据的全局负载平衡 64
4.5.4 内部主干网 64
4.6 消息总线架构 66
4.6.1 消息总线设计 67
4.6.2 消息总线可靠性 67
4.6.3 例1：链接缩短网站 68
4.6.4 例2：员工人力资源数据更新 69
4.7 面向服务的架构 70
4.7.1 灵活性 70
4.7.2 支持 70
4.7.3 最佳实践 71
4.8 小结 71
练习 72
第5章 伸缩性设计模式 73
5.1 总体战略 74
5.1.1 识别瓶颈 74
5.1.2 重新设计组件 74
5.1.3 计量结果 74
5.1.4 保持主动 75
5.2 纵向扩展 75
5.3 AKF伸缩立方体 76
5.3.1 x轴：水平复制 76
5.3.2 y轴：功能或者服务分割 77
5.3.3 z轴：面向查找的分割 79
5.3.4 组合 80
5.4 缓存 80
5.4.1 缓存效能 80
5.4.2 缓存布置 81
5.4.3 缓存持久性 81
5.4.4 缓存置换算法 82
5.4.5 缓存条目失效 82
5.4.6 缓存大小 83
5.5 数据分片 84
5.6 线程处理 86
5.7 队列 86
5.7.1 优点 87
5.7.2 变种 87
5.8 内容分发网络 87
5.9 小结 89
练习 89
第6章 弹性设计模式 90
6.1 软件弹性胜过硬件可靠性 91
6.2 所有东西最终都会失灵 92
6.2.1 分布式系统的MTBF 92
6.2.2 传统方法 92
6.2.3 分布式计算方法 93
6.3 通过备用容量实现弹性 94
6.3.1 需要多少备用容量 95
6.3.2 负载平衡与热备份的对比 95
6.4 故障域 96
6.5 软件故障 97
6.5.1 软件崩溃 97
6.5.2 软件挂起 98
6.5.3 死查询 98
6.6 物理故障 99
6.6.1 部件和组件 99
6.6.2 机器 101
6.6.3 负载平衡器 102
6.6.4 机架 103
6.6.5 数据中心 104
6.7 超载故障 104
6.7.1 流量浪涌 105
6.7.2 DoS和DDoS攻击 106
6.7.3 抓取攻击 106
6.8 人为错误 107
6.9 小结 108
练习 108
第二部分 运营：运行系统 110
第7章 分布式世界中的运营 110
7.1 分布式系统运营 111
7.1.1 SRE和传统企业IT的对比 111
7.1.2 变化和稳定性的对比 112
7.1.3 SRE定义 113
7.1.4 大规模运营 114
7.2 服务生命周期 116
7.2.1 服务启动 117
7.2.2 服务退役 120
7.3 运营团队组织策略 120
7.3.1 团队成员的工作日类型 122
7.3.2 其他策略 124
7.4 虚拟办公室 125
7.4.1 沟通机制 125
7.4.2 沟通策略 125
7.5 小结 125
练习 126
第8章 DevOps文化 128
8.1 什么是DevOps 129
8.1.1 传统方法 130
8.1.2 DevOps方法 131
8.2 DevOps的3条道路 131
8.2.1 第一条道路：工作流 131
8.2.2 第二条道路：改进反馈 132
8.2.3 第三条道路：持续试验和学习 133
8.2.4 小批次更好 133
8.2.5 策略的采用 134
8.3 DevOps的历史 134
8.3.1 演变 135
8.3.2 网站可靠性工程 135
8.4 DevOps价值观和原则 136
8.4.1 关系 136
8.4.2 整合 136
8.4.3 自动化 136
8.4.4 持续改进 136
8.4.5 常见的非技术性DevOps实践 137
8.4.6 常见的技术性DevOps实践 138
8.4.7 DevOps发行工程实践 139
8.5 向DevOps转化 139
8.5.1 准备开始 139
8.5.2 企业层面的DevOps 140
8.6 敏捷和持续交付 141
8.6.1 什么是敏捷 141
8.6.2 什么是持续交付 141
8.7 小结 143
练习 144
第9章 服务交付：构建阶段 145
9.1 服务交付策略 146
9.1.1 模式：现代化的DevOps方法论 146
9.1.2 反模式：瀑布方法论 148
9.2 高质量的良性循环 148
9.3 构建阶段的步骤 150
9.3.1 开发 150
9.3.2 提交 150
9.3.3 构建 151
9.3.4 打包 152
9.3.5 注册 152
9.4 构建控制台 152
9.5 持续集成 153
9.6 以软件包作为移交接口 154
9.7 小结 155
练习 156
第10章 服务交付：部署阶段 157
10.1 部署阶段的步骤 157
10.1.1 升级 157
10.1.2 安装 158
10.1.3 配置 158
10.2 测试和批准 159
10.2.1 测试 160
10.2.2 批准 161
10.3 运营控制台 161
10.4 基础设施自动化策略 161
10.4.1 准备物理机器 162
10.4.2 准备虚拟机 162
10.4.3 安装OS和服务 163
10.5 持续交付 164
10.6 基础设施即代码 164
10.7 其他平台服务 165
10.8 小结 165
练习 166
第11章 升级运行中的服务 167
11.1 卸下服务进行升级 167
11.2 滚动升级 168
11.3 “金丝雀” 169
11.4 分阶段试运行 170
11.5 按比例分片 171
11.6 蓝—绿部署 171
11.7 功能切换 171
11.8 在线模式更改 174
11.9 在线代码更改 175
11.10 持续部署 175
11.11 处理失败的代码推送 177
11.12 发行原子性 178
11.13 小结 179
练习 180
第12章 自动化 181
12.1 自动化方法 182
12.1.1 剩余原则 182
12.1.2 补偿原则 183
12.1.3 互补性原则 184
12.1.4 系统管理自动化 185
12.1.5 经验教训总结 185
12.2 工具建设与自动化的对比 186
12.2.1 示例：汽车制造 186
12.2.2 示例：机器配置 187
12.2.3 示例：账户创建 187
12.2.4 工具很好，自动化更好 187
12.3 自动化的目标 187
12.4 创建自动化系统 190
12.4.1 为自动化投入时间 190
12.4.2 减少“苦活” 191
12.4.3 决定自动化的首要任务 191
12.5 如何自动化 192
12.6 语言工具 192
12.6.1 Shell脚本语言 192
12.6.2 脚本语言 193
12.6.3 编译型语言 194
12.6.4 配置管理语言 194
12.7 软件工程工具和技术 195
12.7.1 问题跟踪系统 196
12.7.2 版本控制系统 197
12.7.3 软件打包 198
12.7.4 风格指南 198
12.7.5 测试驱动开发 199
12.7.6 代码评审 200
12.7.7 编写刚好足够的代码 201
12.8 多租户系统 201
12.9 小结 202
练习 203
第13章 设计文档 204
13.1 设计文档概述 204
13.1.1 记录更改和依据 205
13.1.2 作为过去决策存储库的文档 205
13.2 设计文档剖析 205
13.3 模板 207
13.4 文档存档 207
13.5 审核工作流程 208
13.5.1 审核人和批准人 208
13.5.2 获得签字同意 209
13.6 采用设计文档 209
13.7 小结 210
练习 210
第14章 随时待命 212
14.1 设计值班 212
14.1.1 从SLA开始 213
14.1.2 值班人员花名册 213
14.1.3 值日 214
14.1.4 值班表设计 215
14.1.5 值班日程表 216
14.1.6 值班频率 217
14.1.7 通知类型 217
14.1.8 下班时间维护协调 219
14.2 当值 219
14.2.1 当班前的职责 219
14.2.2 常规值班职责 219
14.2.3 警报职责 220
14.2.4 观察、确认、决策、行动 221
14.2.5 值班剧本 221
14.2.6 第三方升级 222
14.2.7 班次结束时的职责 223
14.3 两次当值之间 223
14.3.1 长期修复 223
14.3.2 事后剖析 224
14.4 警报的定期审核 226
14.5 收到太多传呼 227
14.6 小结 228
练习 228
第15章 灾难准备 229
15.1 心态 230
15.1.1 反脆弱系统 230
15.1.2 降低风险 231
15.2 个人培训：灾祸之轮 232
15.3 团队培训：应急演练 233
15.3.1 服务测试 234
15.3.2 随机测试 235
15.4 组织培训：游戏日/DiRT 235
15.4.1 开始 236
15.4.2 扩大范围 237
15.4.3 实施和后勤 237
15.4.4 经历DiRT测试 239
15.5 事故指挥系统 242
15.5.1 工作原理：公共安全领域 243
15.5.2 工作原理：IT运营领域 243
15.5.3 事故行动计划 244
15.5.4 最佳实践 245
15.5.5 ICS示例 245
15.6 小结 246
练习 246
第16章 监控基础知识 248
16.1 概述 249
16.1.1 使用监控 250
16.1.2 服务管理 250
16.2 监控信息的消费者 250
16.3 监控的内容 252
16.4 留存期 253
16.5 元监控 254
16.6 日志 255
16.6.1 方法 255
16.6.2 时间戳 256
16.7小结 256
练习 256
第17章 监控架构与实践 258
17.1 传感与计量 259
17.1.1 黑盒与白盒监控 259
17.1.2 直接计量与合成计量 259
17.1.3 速率与能力监控 260
17.1.4 仪表和计数器 260
17.2 收集 261
17.2.1 推送与拉取 262
17.2.2 协议选择 262
17.2.3 服务器组件与代理、轮询器的对比 263
17.2.4 中心与区域收集器 263
17.3 分析和计算 264
17.4 警报和升级管理器 265
17.4.1 警报、升级和确认 265
17.4.2 静默与抑制 266
17.5 可视化 267
17.5.1 百分位数 268
17.5.2 堆栈排名 269
17.5.3 直方图 269
17.6 存储 270
17.7 配置 271
17.8 小结 271
练习 272
第18章 容量规划 273
18.1 标准容量规划 274
18.1.1 当前使用量 275
18.1.2 正常增长 276
18.1.3 计划增长 276
18.1.4 余量 276
18.1.5 弹性 277
18.1.6 时间表 277
18.2 高级容量规划 278
18.2.1 确定主要资源 278
18.2.2 了解容量限制 278
18.2.3 确定核心驱动力 279
18.2.4 参与度计量 280
18.2.5 分析数据 280
18.2.6 监控关键指标 284
18.2.7 委派容量规划 285
18.3 资源回归 285
18.4 发布新服务 286
18.5 缩短配给时间 287
18.6 小结 288
练习 288
第19章 建立KPI 290
19.1 什么是KPI 291
19.2 创建KPI 292
19.2.1 步骤1：想象理想状况 292
19.2.2 步骤2：量化与理想的距离 292
19.2.3 步骤3：想象行为的变化方式 293
19.2.4 步骤4：修订和选择 293
19.2.5 步骤5：部署KPI 294
19.3 KPI示例：机器分配 294
19.3.1 第一遍 295
19.3.2 第二遍 295
19.3.3 评估KPI 297
19.4 案例研究：错误预算 297
19.4.1 相互冲突的目标 297
19.4.2 统一的目标 298
19.4.3 所有人得益 298
19.5 小结 299
练习 299
第20章 卓越运营 301
20.1 卓越运营是什么样子的 301
20.2 如何计量卓越的程度 302
20.3 评估方法论 302
20.3.1 运营职责 303
20.3.2 评估级别 304
20.3.3 评估问题和匹配属性 305
20.4 服务评估 306
20.4.1 确定评估的内容 306
20.4.2 评估每个服务 306
20.4.3 比较不同服务的结果 307
20.4.4 根据结果采取行动 308
20.4.5 评估和项目计划的频率 308
20.5 组织评估 308
20.6 提高级别 309
20.7 开始着手 310
20.8 小结 311
练习 311
第三部分 附录 314
附录A评估 314
附录B分布式计算和云的起源及未来 335
附录C伸缩性术语和概念 352
附录D模板和示例 356
附录E推荐读物 360
后记 363
参考文献 365