第1章 Elastic Stack概述 1
1.1 ELK Stack简介 1
1.1.1 Logstash 2
1.1.2 Elasticsearch 3
1.1.3 Kibana 3
1.2 Elastic Stack的诞生 3
1.3 谁在使用Elastic Stack？ 4
1.3.1 Salesforce 5
1.3.2 CERN 5
1.3.3 Green Man Gaming 5
1.4 竞争者 6
1.5 设置Elastic Stack的使用环境 6
1.5.1 安装Java 6
1.5.2 安装Elasticsearch 9
1.5.3 安装Kibana 12
1.5.4 安装Logstash 15
1.5.5 安装Filebeat 16
1.6 X-Pack简介 18
1.7 本章小结 19
第2章 走进Elasticsearch 20
2.1 Elasticsearch的起源 20
2.2 了解Elasticsearch的体系结构 22
2.2.1 推荐的集群配置 23
2.2.2 了解文档处理 24
2.3 Elasticsearch API 25
2.3.1 有关文档的API 25
2.3.2 有关搜索的API 38
2.3.3 有关索引的API 43
2.3.4 Cat API 51
2.3.5 Cluster API 52
2.4 Query DSL 52
2.5 聚合 52
2.5.1 Buckets聚合 52
2.5.2 Metrics聚合 59
2.6 Painless脚本说明 64
2.7 本章小结 66
第3章 探索Logstash及其组件 67
3.1 Logstash简介 68
3.2 为什么需要用Logstash 68
3.3 Logstash的特点 69
3.4 Logstash插件的体系架构 70
3.5 Logstash配置文件的结构 71
3.5.1 值类型 71
3.5.2 条件判断的用法 73
3.6 插件种类 74
3.6.1 数据输入插件Input 74
3.6.2 数据过滤插件Filter 74
3.6.3 数据输出插件Output 75
3.6.4 编解码插件Codec 75
3.7 学习数据输入插件Input 76
3.7.1 stdin 77
3.7.2 file 78
3.7.3 path 79
3.7.4 udp 82
3.8 学习数据过滤插件Filter 83
3.8.1 grok 84
3.8.2 mutate 86
3.8.3 csv 89
3.9 学习数据输出插件Output 90
3.9.1 stdout 90
3.9.2 file 91
3.9.3 elasticsearch 93
3.10 学习编解码插件Codec 95
3.10.1 rubydebug 95
3.10.2 json 96
3.10.3 avro 96
3.10.4 multiline 97
3.11 插件的命令行操作 99
3.11.1 列出插件列表 100
3.11.2 安装插件 100
3.11.3 移除插件 101
3.11.4 更新插件 101
3.11.5 压缩插件 102
3.11.6 解压插件 102
3.12 Logstash的命令行操作 103
3.13 使用Logstash的小技巧 105
3.13.1 引用字段及其值 106
3.13.2 添加自定义的grok模式 106
3.13.3 Logstash不显示任何输出信息 107
3.14 用于解析日志的Logstash配置 108
3.14.1 Catalina日志示例 108
3.14.2 Tomcat日志示例 108
3.14.3 基于grok模式的Catalina日志 109
3.14.4 基于grok模式的Tomcat日志示例 109
3.14.5 Logstash配置文件 110
3.15 监控系统相应状态信息的API 112
3.15.1 节点信息API 113
3.15.2 插件信息API 115
3.15.3 节点状态API 116
3.15.4 Hot threads API 116
3.16 本章小结 117
第4章 Kibana界面 118
4.1 Kibana及其功能 118
4.2 探索Discover界面 120
4.3 时间过滤器 121
4.3.1 快捷时间过滤器 122
4.3.2 相对时间过滤器 122
4.3.3 绝对时间过滤器 122
4.3.4 自动刷新 122
4.4 查询和搜索数据 123
4.4.1 全文检索 123
4.4.2 范围搜索 123
4.4.3 布尔搜索 124
4.4.4 邻近搜索 124
4.4.5 通配符搜索 124
4.4.6 正则表达式搜索 125
4.4.7 分组 125
4.5 字段和过滤器 125
4.5.1 过滤字段 125
4.5.2 过滤器的功能 126
4.6 查询页面选项 127
4.7 探索Visualize界面 127
4.7.1 了解聚合 129
4.7.2 可视化画布 133
4.7.3 面积图 133
4.7.4 数据表 133
4.7.5 折线图 133
4.7.6 气泡图 133
4.7.7 Markdown部件 134
4.7.8 Metric 134
4.7.9 饼图 134
4.7.10 标签云 134
4.7.11 瓦片地图 134
4.7.12 时间序列 134
4.7.13 直方图 134
4.8 探索Dashboard界面 135
4.9 了解Timelion 137
4.10 探索开发者工具 139
4.11 探索设置界面 140
4.11.1 索引模式 141
4.11.2 已保存的对象 141
4.11.3 高级设置 141
4.11.4 状态 143
4.12 综合应用 143
4.12.1 输入数据 143
4.12.2 创建Logstash配置文件 144
4.12.3 使用Kibana 147
4.12.4 在Kibana中创建面板 155
4.13 本章小结 157
第5章 使用Beats 158
5.1 Beats简介 158
5.2 Beats与Logstash的不同之处 159
5.3 Beats如何融入Elastic Stack 160
5.4 不同类型的Beats组件概述 162
5.4.1 Elastic团队开发的Beats组件 162
5.4.2 社区开发者开发的Beats组件 164
5.5 Elastic团队开发的Beats组件 164
5.5.1 了解Filebeat 165
5.5.2 理解Metricbeat 172
5.5.3 理解Packetbeat 177
5.6 社区开发者开发的Beats组件 179
5.7 Beats在Elastic Stack中的实战 182
5.7.1 用Logstash和Kibana探索Metricbeat 182
5.7.2 用Elasticsearch和Kibana探索Elasticbeat 191
5.8 本章小结 195
第6章 Elastic Stack实战 196
6.1 理解问题场景 196
6.2 准备Elastic Stack管道 199
6.2.1 要获取什么数据？ 200
6.2.2 更新体系结构 200
6.3 配置Elastic Stack组件 201
6.3.1 搭建Elasticsearch 202
6.3.2 搭建agents/Beats 202
6.3.3 搭建Logstash 207
6.3.4 设置Kibana 213
6.4 设置Kibana面板 213
6.4.1 Packetbeat 214
6.4.2 Metricbeat 214
6.4.3 查看数据库（MySQL）性能 215
6.4.4 分析CPU的使用 216
6.4.5 内存使用情况 217
6.4.6 检查日志 217
6.4.7 寻找访问最多的网页 219
6.4.8 访客地图 219
6.4.9 一定时间范围内的访客数量 220
6.4.10 请求类型 221
6.4.11 错误类型——日志的级别 221
6.4.12 首选的referrer 223
6.4.13 首选的代理agent 223
6.5 使用Logstash电子邮件功能发警报 224
6.6 使用消息代理 225
6.7 本章小结 226
第7章 个性化定制Elastic Stack 227
7.1 扩展Elasticsearch 227
7.1.1 Elasticsearch开发环境 228
7.1.2 剖析一个Elasticsearch Java插件 229
7.1.3 构建插件 230
7.2 扩展Logstash 231
7.3 扩展Beat s 239
7.3.1 Libbeat框架 239
7.3.2 创建一个Beat 240
7.4 扩展Kibana 251
7.4.1 设置Kibana开发环境 252
7.4.2 生成一个插件 253
7.4.3 剖析一个插件 254
7.5 本章小结 257
第8章 Elasticsearch API 258
8.1 集群API 258
8.1.1 集群健康状况 258
8.1.2 集群状态 260
8.1.3 集群统计信息 261
8.1.4 待处理任务 261
8.1.5 集群重路由 261
8.1.6 集群更新设置 262
8.1.7 节点统计信息 262
8.1.8 节点信息API 263
8.1.9 任务管理API 264
8.2 Cat API 265
8.3 Elasticsearch模块 268
8.3.1 集群模块 269
8.3.2 Discovery模块 269
8.3.3 Gateway模块 269
8.3.4 HTTP模块 269
8.3.5 索引模块 269
8.3.6 网络模块 269
8.3.7 节点客户端 270
8.3.8 插件模块 270
8.3.9 脚本 270
8.3.10 快照/恢复模块 271
8.3.11 线程池 271
8.3.12 Transport模块 271
8.3.13 Tribe节点模块 272
8.4 Ingest节点 272
8.5 Elasticsearch客户端 276
8.5.1 支持的客户端 276
8.5.2 社区提供的客户端 276
8.6 Java API 277
8.6.1 连接到集群 277
8.6.2 管理任务 278
8.6.3 索引级任务 281
8.7 Elasticsearch插件 286
8.7.1 Discovery插件 287
8.7.2 Ingest插件 287
8.7.3 Elasticsearch SQL 288
8.8 本章小结 289
第9章 X-Pack插件中的Security与Monitoring组件 290
9.1 X-Pack介绍 290
9.2 X-Pack的安装 291
9.2.1 在Elasticsearch中安装X-Pack 291
9.2.2 在Kibana中安装X-Pack 292
9.2.3 在离线系统中安装X-Pack 292
9.2.4 卸载X-Pack 293
9.3 Security组件 294
9.3.1 列出所有Security中的用户 295
9.3.2 列出Security中的角色 296
9.3.3 了解Security中的角色 297
9.3.4 理解默认用户角色 299
9.3.5 在Security中添加新角色 299
9.3.6 在Security中更新角色 300
9.3.7 了解字段级的Security 301
9.3.8 在Security中添加新用户 302
9.3.9 在Security中更新用户详细信息 303
9.3.10 在Security中修改用户密码 304
9.3.11 在Security中删除角色 304
9.3.12 在Security中删除用户 304
9.4 查看X-Pack信息 305
9.5 Monitoring组件 307
9.5.1 探索Elasticsearch的监控统计 308
9.5.2 探索Kibana的监控统计 314
9.6 了解Profiler 315
9.7 本章小结 317
第10章 X-Pack插件中的Alerting、Graph和Reporting组件 318
10.1 Alerting与Notification组件 318
10.2 Graph组件 336
10.3 Reporting组件 341
10.4 本章小结 344
第11章 最佳实践范例 345
11.1 为什么需要最佳实践范例 345
11.2 了解你的用例 346
11.3 管理配置文件 347
11.3.1 Elasticsearch——elasticsearch.yml 347
11.3.2 Kibana——kibana.yml 348
11.4 选择正确的硬件 348
11.4.1 内存 349
11.4.2 磁盘 351
11.4.3 输入输出 353
11.4.4 CPU 354
11.4.5 网络 354
11.5 搜索和索引性能 354
11.5.1 过滤缓存 354
11.5.2 Fielddata的容量 355
11.5.3 索引缓冲区 356
11.6 调整Elasticsearch集群 357
11.6.1 选择正确的节点 357
11.6.2 确定节点数 359
11.6.3 确定分片数 360
11.6.4 缩减磁盘空间 361
11.7 Logstash配置文件 361
11.7.1 对多个数据源分类 362
11.7.2 使用conditional条件 362
11.7.3 使用自定义grok模式 363
11.7.4 简化grokparsefailure 363
11.7.5 字段的映像 363
11.7.6 动态模板 363
11.7.7 测试配置 364
11.8 重新索引数据 364
11.9 本章小结 365
第12章 案例分析——Meetup 366
12.1 了解Meetup使用场景 366
12.2 环境搭建 367
12.2.1 理解Meetup API 368
12.2.2 搭建Elasticsearch 370
12.2.3 准备Logstash 370
12.2.4 搭建Kibana 374
12.3 使用Kibana分析数据 374
12.3.1 内容过滤 375
12.3.2 按国家统计Meetup使用量 377
12.3.3 世界前10座使用Meetup的城市 379
12.3.4 按持续时间分析Meetup发展趋势 380
12.3.5 按RSVP计数统计Meetup使用量 383
12.3.6 国家分组统计 384
12.3.7 加入群组的模式统计 384
12.3.8 热门类别 385
12.3.9 热门话题 387
12.3.10 Meetup活动场所地图 388
12.3.11 Meetup活动地图 389
12.3.12 仅数量方面的统计 389
12.4 获取通知 390
12.5 本章小结 393