第1章 走进Elasticsearch 1
1.1 基本概念和原理 1
1.1.1 索引结构 2
1.1.2 分片（shard ） 2
1.1.3 动态更新索引 4
1.1.4 近实时搜索 5
1.1.5 段合并 5
1.2 集群内部原理 6
1.2.1 集群节点角色 6
1.2.2 集群健康状态 8
1.2.3 集群状态 8
1.2.4 集群扩容 8
1.3 客户端API 9
1.4 主要内部模块简介 10
1.4.1 模块结构 11
1.4.2 模块管理 12
第2章 准备编译和调试环境 13
2.1 编译源码 13
2.1.1 准备JDK和Gradle 13
2.1.2 下载源代码 13
2.1.3 编译项目，打包 14
2.1.4 将工程导入IntelliJ IDEA 14
2.2 调试Elasticsearch 16
2.2.1 本地运行、调试项目 16
2.2.2 远程调试 18
2.3 代码书签和断点组 19
第3章 集群启动流程 21
3.1 选举主节点 22
3.2 选举集群元信息 22
3.3 allocation过程 23
3.4 index recovery 24
3.5 集群启动日志 25
3.6 小结 26
第4章 节点的启动和关闭 28
4.1 启动流程做了什么 28
4.2 启动流程分析 28
4.2.1 启动脚本 28
4.2.2 解析命令行参数和配置文件 29
4.2.3 加载安全配置 30
4.2.4 检查内部环境 30
4.2.5 检测外部环境 30
4.2.6 启动内部模块 33
4.2.7 启动keepalive线程 33
4.3 节点关闭流程 34
4.4 关闭流程分析 34
4.5 分片读写过程中执行关闭 36
4.6 主节点被关闭 36
4.7 小结 36
第5章 选主流程 38
5.1 设计思想 38
5.2 为什么使用主从模式 38
5.3 选举算法 39
5.4 相关配置 39
5.5 流程概述 41
5.6 流程分析 41
5.6.1 选举临时Master 42
5.6.2 投票与得票的实现 46
5.6.3 确立Master或加入集群 46
5.7 节点失效检测 47
5.7.1 NodesFaultDetection事件处理 47
5.7.2 MasterFaultDetection事件处理 48
5.8 小结 49
第6章 数据模型 50
6.1 PacificA算法 50
6.1.1 数据副本策略 51
6.1.2 配置管理 52
6.1.3 错误检测 52
6.2 ES的数据副本模型 53
6.2.1 基本写入模型 53
6.2.2 写故障处理 54
6.2.3 基本读取模型 54
6.2.4 读故障处理 55
6.2.5 引申的含义 55
6.2.6 系统异常 56
6.3 Allocation IDs 56
6.3.1 安全地分配主分片 56
6.3.2 将分配标记为陈旧 57
6.2.3 一个例子 58
6.3.4 不会丢失全部 63
6.4 Sequence IDs 64
6.4.1 Primary Terms和Sequence Numbers 64
6.4.2 本地及全局检查点 66
6.4.3 用于快速恢复（Recovery） 68
6.5 version 69
第7章 写流程 71
7.1 文档操作的定义 71
7.2 可选参数 72
7.3 Index/Bulk基本流程 72
7.4 Index/Bulk详细流程 73
7.4.1 协调节点流程 74
7.4.2 主分片节点流程 79
7.4.3 副分片节点流程 82
7.5 I/O异常处理 82
7.5.1 Engine关闭过程 83
7.5.2 Master的对应处理 84
7.5.3 异常流程总结 84
7.6 系统特性 84
7.7 思考 85
第8章 GET流程 86
8.1 可选参数 87
8.2 GET基本流程 87
8.3 GET详细分析 88
8.3.1 协调节点 89
8.3.2 数据节点 91
8.4 MGET流程分析 93
8.5 思考 94
第9章 Search流程 95
9.1 索引和搜索 96
9.1.1 建立索引 97
9.1.2 执行搜索 97
9.2 search type 98
9.3 分布式搜索过程 98
9.3.1 协调节点流程 99
9.3.2 执行搜索的数据节点流程 106
9.4 小结 108
第10章 索引恢复流程分析 110
10.1 相关配置 111
10.2 流程概述 111
10.3 主分片恢复流程 112
10.4 副分片恢复流程 116
10.4.1 流程概述 116
10.4.2 synced flush机制 118
10.4.3 副分片节点处理过程 118
10.4.4 主分片节点处理过程 123
10.5 recovery速度优化 127
10.6 如何保证副分片和主分片一致 128
10.7 recovery相关监控命令 131
10.8 小结 133
第11章 gateway模块分析 134
11.1 元数据 134
11.2 元数据的持久化 135
11.3 元数据的恢复 136
11.4 元数据恢复流程分析 137
11.4.1 选举集群级和索引级别的元数据 138
11.4.2 触发allocation 140
11.5 思考 140
第12章 allocation模块分析 141
12.1 什么是allocation 141
12.2 触发时机 142
12.3 allocation模块结构概述 142
12.4 allocators 142
12.5 deciders 143
12.5.1 负载均衡类 144
12.5.2 并发控制类 145
12.5.3 条件限制类 145
12.6 核心reroute实现 146
12.6.1 集群启动时reroute的触发时机 147
12.6.2 流程分析 147
12.6.3 gatewayAllocator 147
12.6.4 shardsAllocator 154
12.7 从gateway到allocation流程的转换 154
12.8 从allocation流程到recovery流程的转换 155
12.9 思考 156
第13章 Snapshot模块分析 157
13.1 仓库 158
13.2 快照 160
13.2.1 创建快照 160
13.2.2 获取快照信息 161
13.2.3 快照status 163
13.2.4 取消、删除快照和恢复操作 163
13.3 从快照恢复 164
13.3.1 部分恢复 165
13.3.2 恢复过程中更改索引设置 165
13.3.3 监控恢复进度 165
13.4 创建快照的实现原理 166
13.4.1 Lucene文件格式简介 167
13.4.2 协调节点流程 168
13.4.3 主节点流程 170
13.4.4 数据节点流程 173
13.5 删除快照实现原理 184
13.5.1 协调节点流程 184
13.5.2 主节点流程 185
13.6 思考与总结 192
第14章 Cluster模块分析 194
14.1 集群状态 194
14.2 内部封装和实现 198
14.2.1 MasterService 198
14.2.2 ClusterApplierService 199
14.2.3 线程池 201
14.3 提交集群任务 202
14.3.1 内部模块如何提交任务 203
14.3.2 任务提交过程实现 205
14.4 集群任务的执行过程 209
14.5 集群状态的发布过程 211
14.5.1 增量发布的实现原理 213
14.5.2 二段提交总流程 214
14.5.3 发布过程 215
14.5.4 提交过程 216
14.5.5 异常处理 217
14.6 应用集群状态 217
14.7 查看等待执行的集群任务 219
14.8 任务管理API 220
14.8.1 列出运行中的任务 221
14.8.2 取消任务 222
14.9 思考与总结 222
第15章 Transport模块分析 223
15.1 配置信息 223
15.1.1 传输模块配置 223
15.1.2 通用网络配置 225
15.2 Transport总体架构 227
15.2.1 网络层 227
15.2.2 服务层 229
15.3 REST解析和处理 234
15.4 RPC实现 235
15.4.1 RPC的注册和映射 236
15.4.2 根据Action获取处理类 240
15.5 思考与总结 241
第16章 ThreadPool模块分析 242
16.1 线程池类型 243
16.1.1 fixed 244
16.1.2 scaling 244
16.1.3 direct 245
16.1.4 fixed_ auto_ queue_ size 245
16.2 处理器设置 245
16.3 查看线程池 246
16.3.1 cat thread pool 246
16.3.2 nodes info 247
16.3.3 nodes stats 248
16.3.4 nodes hot threads 248
16.3.5 Java的线程池结构 250
16.4 ES的线程池实现 252
16.4.1 ThreadPool类结构与初始化 253
16.4.2 fixed类型线程池构建过程 255
16.4.3 scaling类型线程池构建过程 256
16.4.4 direct类型线程池构建过程 256
16.4.5 fixed_ auto_queue_ size类型线程池构建过程 257
16.5 其他线程池 258
16.6 思考与总结 258
第17章 Shrink原理分析 259
17.1 准备源索引 259
17.2 缩小索引 260
17.3 Shrink的工作原理 260
17.3.1 创建新索引 261
17.3.2 创建硬链接 261
17.3.3 硬链接过程源码分析 262
第18章 写入速度优化 264
18.1 translog flush间隔调整 264
18.2 索引刷新间隔refresh_ interval 265
18.3 段合并优化 265
18.4 indexing buffer 266
18.5 使用bulk请求 267
18.5.1 bulk线程池和队列 267
18.5.2 并发执行bulk请求 267
18.6 磁盘间的任务均衡 268
18.7 节点间的任务均衡 268
18.8 索引过程调整和优化 269
18.8.1 自动生成doc ID 269
18.8.2 调整字段Mappings 269
18.8.3 调整_source字段 269
18.8.4 禁用_all字段 270
18.8.5 对Analyzed的字段禁用Norms 271
18.8.6 index_ options设置 271
18.9 参考配置 271
18.10 思考与总结 272
第19章 搜索速度的优化 273
19.1 为文件系统cache预留足够的内存 273
19.2 使用更快的硬件 273
19.3 文档模型 274
19.4 预索引数据 274
19.5 字段映射 276
19.6 避免使用脚本 276
19.7 优化日期搜索 276
19.8 为只读索引执行force-merge 278
19.9 预热全局序号（global ordinals） 279
19.10 execution hint 279
19.11 预热文件系统cache 280
19.12 转换查询表达式 280
19.13 调节搜索请求中的batched reduce size 281
19.14 使用近似聚合 281
19.15 深度优先还是广度优先 281
19.16 限制搜索请求的分片数 281
19.17 利用自适应副本选择（ARS）提升ES响应速度 282
第20章 磁盘使用量优化 285
20.1 预备知识 285
20.1.1 元数据字段 285
20.1.2 索引映射参数 286
20.2 优化措施 287
20.2.1 禁用对你来说不需要的特性 287
20.2.2 禁用doc values 290
20.2.3 不要使用默认的动态字符串映射 290
20.2.4 观察分片大小 291
20.2.5 禁用source 291
20.2.6 使用best_compression 291
20.2.7 Fource Merge 292
20.2.8 Shrink Index 292
20.2.9 数值类型长度够用就好 292
20.2.10 使用索引排序来排列类似的文档 292
20.2.11 在文档中以相同的顺序放置字段 292
20.3 测试数据 293
第21章 综合应用实践 294
21.1 集群层 294
21.1.1 规划集群规模 294
21.1.2 单节点还是多节点部署 295
21.1.3 移除节点 295
21.1.4 独立部署主节点 296
21.2 节点层 296
21.2.1 控制线程池的队列大小 296
21.2.2 为系统cache保留一半物理内存 297
21.3 系统层 297
21.3.1 关闭swap 297
21.3.2 配置Linux OOM Killer 297
21.3.3 优化内核参数 298
21.4 索引层 304
21.4.1 使用全局模板 304
21.4.2 索引轮转 304
21.4.3 避免热索引分片不均 305
21.4.4 副本数选择 306
21.4.5 Force Merge 306
21.4.6 Shrink Index 306
21.4.7 close索引 307
21.4.8 延迟分配分片 307
21.4.9 小心地使用fielddata 307
21.5 客户端 308
21.5.1 使用REST API而非Java API 308
21.5.2 注意429状态码 308
21.5.3 curl的HEAD请求 308
21.5.4 了解你的搜索计划 309
21.5.5 为读写请求设置比较长的超时时间 309
21.6 读写 309
21.6.1 避免搜索操作返回巨大的结果集 309
21.6.2 避免索引巨大的文档 309
21.6.3 避免使用多个type 310
21.6.4 避免使用all字段 310
21.6.5 避免将请求发送到同一个协调节点 310
21.7 控制相关度 311
第22章 故障诊断 316
22.1 使用Profile API定位慢查询 317
22.2 使用Explain API分析未分配的分片（Unassigned Shards） 320
22.2.1 诊断未分配的主分片 320
22.2.2 诊断未分配的副分片 324
22.2.3 诊断已分配的分片 326
22.3 节点CPU使用率高 328
22.4 节点内存使用率高 330
22.5 Slow Logs 333
22.6 分析工具 334
22.6.1 I/O信息 334
22.6.2 内存 335
22.6.3 CPU信息 337
22.6.4 网络连接和流量 339
22.7 小结 341
附录A 重大版本变化 342