实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案PDF电子书下载

第1章 概述 1

1.1 Elasticsearch的安装与简单配置 2

1.2 走近Elasticsearch 6

1.2.1 Elasticsearch是什么 6

1.2.2 Elasticsearch中涉及到的相关概念 7

1.2.3 Elasticsearch API的简单使用方式 9

1.2.4 E1asticsearch RTF版本中的部分插件简介 10

1.2.5 Elasticsearch基本架构 12

1.3 Elasticsearch索引及其构建 13

1.3.1 概述 13

1.3.2 借助Head工具构建索引 13

1.3.3 Mapping简述 15

1.4 信息检索及其构建 15

1.5 实例 16

1.6 扩展知识与阅读 21

1.7 本章小结 22

第2章 文档索引及管理 23

2.1 文档索引概述 23

2.2 建立索引 24

2.3 通过映像Mapping配置索引 28

2.3.1 在索引中使用映像 28

2.3.2 管理／配置映像 29

2.3.3 获取映像信息 30

2.3.4 删除映像 31

2.4 管理索引文件 31

2.4.1 打开、关闭、检测、删除索引文件 31

2.4.2 清空索引缓存 32

2.4.3 刷新索引数据 32

2.4.4 优化索引数据 32

2.4.5 Flush操作 33

2.5 设置中文分词器 33

2.6 对文档的其他操作 34

2.6.1 获取指定的文档信息 34

2.6.2 删除文档中的信息 36

2.6.3 数据更新 36

2.6.4 基于POST方式批量获取文档 39

2.6.5 删除部分文档 40

2.7 扩展知识与阅读 40

2.8 本章小结 41

第3章 信息检索与结果过滤 42

3.1 实验数据集描述 42

3.2 简单检索 44

3.3 基本检索 45

3.3.1 设置不同字段的排序权重 45

3.3.2 指定返回的字段子集 46

3.3.3 Term查询、Terms查询、Wildcard通配符查询 48

3.3.4 Match、Match_all、Match_phrase查询 49

3.3.5 Query_string查询 50

3.3.6 Prefix、Range查询 51

3.3.7 More_like_this、Fuzzy_like_this查询 52

3.3.8 跨字段检索 54

3.4 Filter概述 54

3.5 常用Filter及其应用 56

3.5.1 And Filter及Or Filter 56

3.5.2 Bool Filter 57

3.5.3 Exists Filter和Missing Filter 57

3.5.4 Type Filter 58

3.5.5 Match_all Filter 58

3.5.6 Not Filter 59

3.5.7 Query Filter 59

3.6 复合查询 60

3.7 结果排序 62

3.8 扩展知识与阅读 63

3.9 本章小结 63

第4章 信息统计分析与搜索提示 64

4.1 Facets概述 64

4.2 各种不同的Facets统计 66

4.2.1 Terms Facets：指定字段的分布情况统计 66

4.2.2 Range Facets：在某个范围的分布情况统计 70

4.2.3 Histogram Facets 72

4.2.4 Date_histogram Facets 75

4.2.5 Statistical Facets 77

4.2.6 Terms_stats Facets 79

4.3 Aggregations 80

4.3.1 概述 80

4.3.2 最值、求和、均值统计 82

4.3.3 Stats Aggregations及Extended Stats Aggregations 84

4.3.4 Terms Aggregations 85

4.3.5 Range Aggregations 89

4.3.6 Date_range Aggregations 92

4.3.7 Histogram Aggregations 93

4.3.8 Date_histogram Aggregations 96

4.3.9 Filter Aggregations 98

4.3.10 Missing Aggregations 101

4.4 搜索提示 101

4.5 扩展知识与阅读 102

4.6 本章小结 102

第5章 Elasticsearch部分功能的Java客户端实现 103

5.1 Elasticsearch节点实例化 103

5.1.1 通过Maven添加对Elasticsearch依赖 103

5.1.2 初始化Elasticsearch Client 105

5.2 索引数据 107

5.2.1 准备JSON数据 107

5.2.2 索引JSON数据 108

5.3 对索引文档的操作 110

5.3.1 获取索引文档 110

5.3.2 删除索引文档 111

5.3.3 更新索引文档 112

5.3.4 批量操作索引文件 113

5.3.5 简单的统计操作 113

5.4 信息检索 114

5.4.1 概述 114

5.4.2 MultiSearch 115

5.4.3 Query DSL概述 116

5.4.4 MatchQuery 117

5.4.5 MatchAllQuery 117

5.4.6 MultiMatchQuery 118

5.4.7 BoolQuery 118

5.4.8 TermQuery 120

5.4.9 WildcardQuery 120

5.4.10 QueryString 121

5.4.11 MoreLikeThis 121

5.4.12 Filter概述 123

5.4.13 TermFilter 123

5.4.14 ExistsFilter 123

5.4.15 MatchAllFilter 124

5.4.16 QueryFilter 124

5.4.17 RangeFilter 125

5.4.18 TypeFilter 126

5.4.19 过滤器间的组合：BoolFilter、NotFilter、OrFilter、AndFilter 126

5.5 统计分析 127

5.5.1 Facets 127

5.5.2 Aggregations 129

5.6 对检索结果的进一步处理 130

5.6.1 控制每页的显示数量及显示排序依据 130

5.6.2 基于Scroll方法的检索结果及其分页 131

5.6.3 高亮显示检索词 133

5.7 扩展知识与阅读 134

5.8 本章小结 134

第6章 Elasticsearch配置与集群管理 136

6.1 Elasticsearch部分基本配置及其说明 136

6.2 提高索引和查询效率的策略 139

6.3 监控集群状态 140

6.4 控制索引分片与副本分配 143

6.5 扩展知识与阅读 144

6.6 本章小结 144

第7章 基于Logstash的日志处理 145

7.1 概述 145

7.2 Input：处理输入的日志数据 148

7.2.1 处理基于File方式输入的日志信息 148

7.2.2 处理基于Generator产生的日志信息 149

7.2.3 处理基于Log4j的日志信息 150

7.2.4 处理基于Redis的日志信息 151

7.2.5 处理基于Stdin方式输入的信息 154

7.2.6 处理基于TCP传输的日志数据 154

7.2.7 处理基于UDP传输的日志数据 157

7.3 Codecs：格式化日志数据 159

7.3.1 JSON格式 159

7.3.2 Rubydebug格式 161

7.3.3 Plain格式 162

7.4 基于Filter的日志处理与转换 162

7.4.1 JSON Filter 163

7.4.2 Grok Filter 164

7.4.3 Kv Filter 166

7.5 Output：处理输出的日志数据 167

7.5.1 将处理后的日志输出到Elasticsearch中 168

7.5.2 将处理后的日志输出至文件中 169

7.5.3 将处理后的部分日志输出到csv格式的文件中 170

7.5.4 将处理后的日志输出到redis中 171

7.5.5 将处理后的部分日志通过UDP协议输出 173

7.5.6 将处理后的部分日志通过TCP协议输出 175

7.5.7 将收集到的日志信息传输到自定义的HTTP接口中 178

7.6 扩展知识与阅读 178

7.7 本章小结 178

第8章 基于Kibana的数据分析可视化 180

8.1 安装Kibana 181

8.2 Kibana概述 182

8.2.1 在仪表盘上添加新行 183

8.2.2 在行中添加新面板 183

8.2.3 设置Query和Filtering 185

8.3 常用面板类型 187

8.3.1 Histogram 187

8.3.2 Table 189

8.3.3 Map和Bettermap 190

8.3.4 Terms 191

8.3.5 Text 192

8.3.6 Sparklines 193

8.3.7 Trends 194

8.4 网站性能监控可视化应用的设计与实现 195

8.4.1 概述 195

8.4.2 Page View 196

8.4.3 响应／请求时间 197

8.4.4 流量走势与统计 198

8.4.5 状态码监控 200

8.4.6 UA行 203

8.5 Kibana V4简介 205

8.5.1 新建视图 205

8.5.2 建立Dashboard 207

8.5.3 配置 208

8.6 扩展知识与阅读 208

8.7 本章小结 209

第9章 网络信息检索与分析实践 210

9.1 信息采集 210

9.2 基于Python的信息检索及Web端设计 214

9.2.1 安装Python及Django 214

9.2.2 安装E1asticsearch的Python插件 215

9.2.3 Web页面设计 216

9.3 基于Logstash的日志处理 219

9.3.1 安装和配置Nginx 219

9.3.2 设计面向日志文件的Pattern 220

9.3.3 在Logstash中进行相关配置 220

9.4 基于Kibana的日志分析结果可视化设计与实现 222

9.4.1 图表1：状态码走势分析 222

9.4.2 图表2：查询词分析 224

9.4.3 图表3：分析各状态码随时间的变迁情况 224

9.4.4 集成上述图表 226

9.5 扩展知识与阅读 226

9.6 本章小结 227

参考文献 228