高可用架构 第1卷PDF电子书下载

第1章 高可用架构案例精选 1

1.1 Twitter高性能分布式日志系统架构解析&郭斯杰 1

1.1.1 为什么需要分布式日志 1

1.1.2 Twitter如何考虑这个问题 4

1.1.3 基于Apache BookKeeper构建DistributeLog 5

1.1.4 DistributeLog案例分享 13

1.1.5 疑问与解惑 13

1.2 腾讯基于用户画像大数据的电商防刷架构&颜国平 16

1.2.1 背景介绍 16

1.2.2 黑产现状介绍 16

1.2.3 腾讯内部防刷架构 18

1.2.4 腾讯大数据收集维度 20

1.2.5 腾讯大数据处理平台——魔方 21

1.2.6 疑问与解惑 24

1.3 如何设计类似微信的多终端数据同步协议：Grouk实践分享&王渊命 26

1.3.1 移动互联网时代多终端数据同步面临的挑战 26

1.3.2 多终端数据同步与传统消息投递协议的差异 27

1.3.3 Grouk在多终端数据同步协议上的探索实践 28

1.3.4 疑问与解惑 32

1.4 如何实现支持数亿用户的长连消息系统：Golang高并发案例&周洋 33

1.4.1 关于push系统对比与性能指标的讨论 33

1.4.2 消息系统架构介绍 35

1.4.3 哪些因素能影响推送系统 37

1.4.4 GO语言开发问题与解决方案 38

1.4.5 消息系统的运维及测试 41

1.4.6 疑问与解惑 42

1.5 雪球在股市风暴下的高可用架构改造分享&唐福林 46

1.5.1 雪球公司的介绍 46

1.5.2 雪球当前总体架构 47

1.5.3 雪球架构优化历程 48

1.5.4 关于架构优化的总结和感想 53

1.5.5 疑问与解惑 54

1.6 亿级短视频社交美拍架构实战&麦俊生 59

1.6.1 短视频市场的发展 59

1.6.2 美拍的发展 60

1.6.3 短视频所面临的架构问题 61

1.6.4 为支持亿级用户，美拍架构所做的一些改进 62

1.6.5 后续发展 68

1.7 微博“异地多活”部署经验谈&刘道儒 69

1.7.1 微博异地多活建设历程 69

1.7.2 微博异地多活面临的挑战 70

1.7.3 异地多活的最佳实践 73

1.7.4 异地多活的新方向 74

1.8 来自Google的高可用架构理念与实践&孙宇聪 75

1.8.1 决定可用性的两大因素 76

1.8.2 高可用性方案 77

1.8.3 可用性7级图表 80

1.8.4 疑问与解惑 81

1.9 深入理解同步／异步与阻塞／非阻塞区别&那谁 84

1.9.1 同步与异步 84

1.9.2 阻塞与非阻塞 85

1.9.3 与多路复用I/O的联系 86

第2章 高可用架构原理与分布式实践 88

2.1 Codis作者细说分布式Redis架构设计&黄东旭 88

2.1.1 Redis、Redis Cluster和Codis 88

2.1.2 我们更爱一致性 90

2.1.3 Codis在生产环境中的使用经验和坑 91

2.1.4 分布式数据库和分布式架构 94

2.1.5 疑问与解惑 95

2.2 给你介绍一个不一样的硅谷&霍泰稳 98

2.2.1 Uber 98

2.2.2 Coursera 99

2.2.3 Airbnb 102

2.2.4 硅谷行带给我的一些影响 106

2.2.5 疑问与解惑 106

2.3 解耦的艺术——大型互联网业务系统的插件化改造&金自翔 110

2.3.1 插件化 110

2.3.2 如何处理用户交互 115

2.3.3 如何处理数据 115

2.3.4 总结 116

2.4 从零开始搭建高可用IM系统&沈剑 117

2.4.1 什么是IM 117

2.4.2 协议设计 118

2.4.3 Web聊天室 122

2.4.4 IM典型业务场景 126

2.4.5 疑问与解惑 126

2.5 360分布式存储系统Bada的架构设计和应用&陈宗志 129

2.5.1 主要应用场景 129

2.5.2 整体架构 130

2.5.3 主要模块 131

2.5.4 数据分布策略 132

2.5.5 请求流程 133

2.5.6 多机房架构 134

2.5.7 FAQ 138

2.5.8 疑问与解惑 139

2.6 新一代分布式任务调度框架：当当Elastic-Job开源项目的10项特性&张亮 143

2.6.1 为什么需要作业（定时任务） 143

2.6.2 当当之前使用的作业系统 144

2.6.3 Elastic-Job的来历 145

2.6.4 Elastic-Job包含的功能 145

2.6.5 Elastic-Job的部署和使用 146

2.6.6 对开源产品的开发理念 147

2.6.7 未来展望 148

2.6.8 疑问与解惑 149

2.7 互联网DSP广告系统架构及关键技术解析&付海军 152

2.7.1 优秀DSP系统的特点 152

2.7.2 程序化购买的特点 153

2.7.3 在线广告的核心问题 156

2.7.4 在线广告的挑战 156

2.7.5 DSP系统架构 157

2.7.6 RTB投放引擎的架构 158

2.7.7 DMP 160

2.7.8 广告系统DMP数据处理的架构 160

2.7.9 用户画像的方法 162

2.7.10 广告行业的反作弊 165

2.7.11 P2P流量互刷 166

2.7.12 CPS引流作弊 167

2.7.13 疑问与解惑 168

2.8 亿级规模的Elasticsearch优化实战&王卫华 170

2.8.1 索引性能（Index Performance） 170

2.8.2 查询性能（Query Performance） 171

2.8.3 其他 173

2.8.4 疑问与解惑 174

2.9 微博分布式存储考试题：案例讲解及作业精选&杨卫华 179

2.9.1 访问场景 179

2.9.2 设计 180

2.9.3 sharding策略 180

2.9.4 案例精选 181

2.10 架构师需要了解的Paxos原理、历程及实战&李凯 184

2.10.1 数据库高可用性难题 184

2.10.2 Paxos协议简单回顾 185

2.10.3 Basic Paxos同步日志的理论模型 186

2.10.4 Multi Paxos的实际应用 187

2.10.5 依赖时钟误差的变种Paxos选主协议简单分析 190

2.10.6 疑问与解惑 191

2.11 OpenResty的现在和未来&温铭 193

2.11.1 OpenResty是什么，适合什么场景下使用 193

2.11.2 某安全公司服务端技术选型的标准 194

2.11.3 如何在项目中引入新技术 196

2.11.4 如何入门以及学习的正确方法 197

2.11.5 OpenResty中的测试和调试 199

2.11.6 NginScript是否会替代OpenResty 201

2.11.7 未来重点解决的问题和新增特性 202

2.11.8 开源社区建设 203

2.11.9 疑问与解惑 203

第3章 电商架构热点专题 205

3.1 亿级商品详情页架构演进技术解密&张开涛 205

3.1.1 商品详情页 205

3.1.2 商品详情页发展史 209

3.1.3 遇到的一些问题和解决方案 220

3.1.4 总结 228

3.1.5 疑问与解惑 229

3.2 大促系统全流量压测及稳定性保证——京东交易架构&杨超 232

3.2.1 交易系统的三个阶段 232

3.2.2 交易系统的三层结构 233

3.2.3 交易系统的访问特征 234

3.2.4 应对大促的第1步：全链路全流量线上压测 234

3.2.5 应对大促的第2步：根据压力表现进行调优 237

3.2.6 异步和异构 240

3.2.7 应对大促的第3步：分流与限流 242

3.2.8 应对大促的第4步：容灾降级 244

3.2.9 应对大促的第5步：完善监控 245

3.2.10 疑问与解惑 246

3.3 秒杀系统架构解密与防刷设计&吕毅 248

3.3.1 抢购业务介绍 248

3.3.2 具体抢购项目中的设计 249

3.3.3 如何解耦前后端压力 250

3.3.4 如何保证商品库的库存可靠 252

3.3.5 如何与第三方多方对账 254

3.3.6 项目总结 255

3.3.7 疑问与解惑 255

3.4 Lambda架构与推荐在电商网站实践&王富平 257

3.4.1 Lambda架构 257

3.4.2 1号店推荐系统实践 260

3.4.3 Lambda的未来 262

3.4.4 思考 263

3.4.5 疑问与解惑 263

3.5 某公司线上真实流量压测工具构建&杨硕 265

3.5.1 为什么要开发一个通用的压测工具 265

3.5.2 常见的压测工具 266

3.5.3 构建自己的压测工具 266

3.5.4 疑问与解惑 271

第4章 容器与云计算 273

4.1 微博基于Docker容器的混合云迁移实战&陈飞 273

4.1.1 为什么要采用混合云的架构 273

4.1.2 跨云的资源管理与调度 275

4.1.3 容器的编排与服务发现 278

4.1.4 混合云监控体系 284

4.1.5 前进路上遇到的那些坑 286

4.1.6 疑问与解惑 286

4.2 互联网金融创业公司Docker实践&高磊 287

4.2.1 背景介绍 287

4.2.2 容器选型 287

4.2.3 应用迁移 288

4.2.4 弹性扩容 291

4.2.5 未来规划 295

4.2.6 疑问与解惑 295

4.3 使用开源Calico构建Docker多租户网络&高永超 297

4.3.1 PaaS平台的网络需求 297

4.3.2 使用Calico实现Docker的跨服务器通信 298

4.3.3 利用Profile实现ACL 301

4.3.4 性能测试 306

4.3.5 Calico的发展 308

4.3.6 疑问与解惑 309

4.4 解析Docker在芒果TV的实践之路&彭哲夫 310

4.4.1 豆瓣时期 310

4.4.2 芒果TV的Nebulium Engine 311

4.4.3 Project Eru 312

4.4.4 细节 313

4.4.5 网络 314

4.4.6 存储 315

4.4.7 Scale 316

4.4.8 资源分配和集群调度 316

4.4.9 服务发现和安全 317

4.4.10 实例 317

4.4.11 总结 318

4.4.12 疑问与解惑 318

4.5 微博基于Docker的混合云平台设计与实践&王关胜 323

4.5.1 微博的业务场景及混合云背景 323

4.5.2 三大基础设施助力微博混合云 326

4.5.3 微博混合云DCP系统设计核心：自动化、弹性调度 328

4.5.4 引入阿里云作为第3机房，实现弹性调度架构 330

4.5.5 大规模集群操作自动化 331

4.5.6 不怕峰值事件 332

第5章 运维保障 333

5.1 360如何用QConf搞定两万台以上服务器的配置管理&王康 333

5.1.1 设计初衷 333

5.1.2 整体认识 334

5.1.3 架构介绍 335

5.1.4 QConf服务端 336

5.1.5 QConf客户端 336

5.1.6 QConf管理端 340

5.1.7 其他 341

5.1.8 疑问与解惑 343

5.2 深度剖析开源分布式监控CAT&尤勇 347

5.2.1 背景介绍 347

5.2.2 整体设计 348

5.2.3 客户端设计 349

5.2.4 服务端设计 352

5.2.5 总结感悟 357

5.3 单表60亿记录等大数据场景的MySQL优化和运维之道&杨尚刚 359

5.3.1 前言 359

5.3.2 数据库开发规范 360

5.3.3 数据库运维规范 363

5.3.4 性能优化 368

5.3.5 疑问与解惑 375

5.4 微博在大规模、高负载系统问题排查方法&秦迪 379

5.4.1 背景 379

5.4.2 排查方法及线索 379

5.4.3 总结 384

5.4.4 疑问与解惑 385

5.5 系统运维之为什么每个团队存在大量烂代码&秦迪 387

5.5.1 写烂代码很容易 387

5.5.2 烂代码终究是烂代码 388

5.5.3 重构不是万能药 392

5.5.4 写好代码很难 393

5.5.5 悲观的结语 394

5.6 系统运维之评价代码优劣的方法&秦迪 395

5.6.1 什么是好代码 395

5.6.2 结语 403

5.6.3 参考阅读 403

5.7 系统运维之如何应对烂代码&秦迪 404

5.7.1 改善可维护性 404

5.7.2 改善性能与健壮性 409

5.7.3 改善生存环境 412

5.7.4 个人感想 414

第6章 大数据与数据库 415

6.1 某音乐公司的大数据实践&王劲 415

6.1.1 什么是大数据 415

6.1.2 某音乐公司大数据技术架构 418

6.1.3 在大数据平台重构过程中踩过的坑 425

6.1.4 后续的持续改进 430

6.2 实时计算在点评&王新春 431

6.2.1 实时计算在点评的使用场景 431

6.2.2 实时计算在业界的使用场景 432

6.2.3 点评如何构建实时计算平台 432

6.2.4 Storm基础知识简单介绍 433

6.2.5 如何保证业务运行的可靠性 436

6.2.6 Storm使用经验分享 437

6.2.7 关于计算框架的后续想法 441

6.2.8 疑问与解惑 442

6.3 百姓网Elasticsearch 2.x升级之路&王卫华 445

6.3.1 Elasticsearch 2.x变化 445

6.3.2 升级之路 447

6.3.3 优化或建议 450

6.3.4 百姓之道 451

6.3.5 后话：Elasticsearch 5.0 452

6.3.6 升级2.x版本成功，5.x版本还会远吗 453

6.3.7 疑问与解惑 453

6.4 Hadoop、HBase年度回顾&董西成 张虔熙 456

6.4.1 Hadoop 2015技术发展 456

6.4.2 HBase 2015年技术发展 459

6.4.3 疑问与解惑 465

6.5 解密Apache HAWQ——功能强大的SQL-on-Hadoop引擎&常雷 468

6.5.1 HAWQ基本介绍 468

6.5.2 Apache HAWQ系统架构 471

6.5.3 HAWQ中短期规划 478

6.5.4 贡献到Apache HAWQ社区 478

6.5.5 疑问与解惑 479

6.6 PostgresSQL HA高可用架构实战&萧少聪 481

6.6.1 PostgreSQL背景介绍 481

6.6.2 在PostgreSQL下如何实现数据复制技术的HA高可用集群 482

6.6.3 Corosync+Pacemaker MS模式介绍 483

6.6.4 Corosync+Pacemaker M/S环境配置 484

6.6.5 Corosync+Pacemaker HA基础配置 487

6.6.6 PostgreSQL Sync模式当前的问题 491

6.6.7 疑问与解惑 491

6.7 从NoSQL历史看未来&王晶昱 494

6.7.1 前言 494

6.7.2 1970年：We have no SQL 495

6.7.3 1980年：Know SQL 496

6.7.4 2000年：No SQL 501

6.7.5 2005年：不仅仅是SQL 503

6.7.6 2013年：No，SQL 504

6.7.7 阿里的技术选择 504

6.7.8 疑问与解惑 505

6.8 MySQL 5.7新特性大全和未来展望&杨尚刚 507

6.8.1 提高运维效率的特性 507

6.8.2 优化器Server层改进 510

6.8.3 InnoDB层优化 512

6.8.4 未来发展 515

6.8.5 运维经验总结 516

6.8.6 疑问与解惑 517

6.9 大数据盘点之Spark篇&谭政 520

6.9.1 Spark的特性以及功能 520

6.9.2 Spark在Hulu的实践 524

6.9.3 Spark未来的发展趋势 527

6.9.4 参考文章 529

6.9.5 疑问与解惑 529

6.10 从Postgres 95到PostgreSQL 9.5：新版亮眼特性&萧少聪 531

6.10.1 Postgres 95介绍 531

6.10.2 PostgresSQL版本发展历史 532

6.10.3 PostgresSQL 9.5 的亮眼特性 533

6.10.4 PostgresSQL还可以做什么 543

6.10.5 疑问与解惑 546

6.11 MongoDB 2015回顾：全新里程碑式的WiredTiger存储引擎&毕洪宇 550

6.11.1 存储引擎的发展 550

6.11.2 复制集改进 554

6.11.3 自动分片机制 555

6.11.4 其他新特性介绍 555

6.11.5 疑问与解惑 557

6.12 基于Xapian的垂直搜索引擎的构建分析&王晓伟 560

6.12.1 垂直搜索的应用场景 560

6.12.2 技术选型 562

6.12.3 垂直搜索的引擎架构 563

6.12.4 垂直搜索技术和业务细节 565

6.12.5 疑问与解惑 567

第7章 安全与网络 571

7.1 揭秘DDoS防护——腾讯云大禹系统&郭伟 571

7.1.1 有关DDoS简介的问答 573

7.1.2 有关大禹系统简介的问答 574

7.1.3 有关大禹系统硬件防护能力的问答 575

7.1.4 有关算法设计的问答 575

7.1.5 大禹和其他产品、技术的区别 577

7.2 App域名劫持之DNS高可用——开源版HttpDNS方案详解&冯磊 赵星宇 579

7.2.1 HttpDNSLib库组成 580

7.2.2 HttpDNS交互流程 581

7.2.3 代码结构 582

7.2.4 开发过程中的一些问题及应对 585

7.2.5 疑问与解惑 592

7.3 CDN对流媒体和应用分发的支持及优化&马涛 594

7.3.1 CDN系统工作原理 594

7.3.2 网络分发过程中ISP的影响 601

7.3.3 防盗链 602

7.3.4 内容分发系统的问题和应对思路 603

7.3.5 P2P穿墙打洞 606

7.3.6 疑问与解惑 608

7.4 HTTPS环境使用第三方CDN的证书难题与最佳实践&马涛 610

7.5 互联网主要安全威胁分析及应对方案&蒋海滔 612

7.5.1 互联网Web应用面临的主要威胁 612

7.5.2 威胁应对方案 616

7.5.3 疑问与解惑 623

7.5.4 进一步阅读 625