第1章 大数据测试的思维 1
1.1 规律是否存在 1
1.2 大数据的背后 3
1.3 大数据测试方法 4
1.4 目的及组织结构 5
第2章 大数据收集概述 7
2.1 案例介绍 7
2.2 原理及方法 7
2.3 环境配置 8
2.3.1 配置无线网 8
2.3.2 安装分析软件 9
2.4 数据采集 10
2.4.1 软件连接 10
2.4.2 信息显示 11
2.4.3 数据包的存储 11
2.5 同步操作 12
2.6 小结 14
【思考题】 14
第3章 网络数据的采集与分析 15
3.1 物理连接及Wireshark软件的常用操作 15
3.1.1 物理连接 15
3.1.2 Wireshark软件的打开方式 15
3.1.3 构建网络 17
3.1.4 Wireshark软件功能介绍 18
3.2 数据包的采集 18
3.2.1 数据的收集 18
3.2.2 数据的存储和打开 20
3.3 数据包的自动抓取 22
3.3.1 背景介绍 22
3.3.2 脚本录制 23
3.3.3 脚本执行 24
3.4 数据包分析 25
3.4.1 数据包的分析方法 25
3.4.2 数据获取 25
3.4.3 数据包的数量 28
3.4.4 数据分析 28
3.5 小结 32
【思考题】 32
第4章 数据格式转换及Python编程 34
4.1 原理及方法 34
4.1.1 pyshark介绍 34
4.1.2 FileCapture和LiveCapture 35
4.1.3 Python基础语法 37
4.2 Python安装及配置 37
4.2.1 Python安装 37
4.2.2 配置 38
4.2.3 pyshark包下载 39
4.2.4 pyshark包安装 40
4.2.5 安装支撑文件 41
4.3 Python基础学习 42
4.3.1 Python的命令行演示 42
4.3.2 创建并运行.Py文件 42
4.3.3 Python出错演示 42
4.3.4 Python注释 43
4.3.5 一行多语句 43
4.3.6 输出换行 43
4.3.7 缩进 44
4.3.8 Python帮助 44
4.4 Notepad环境 45
4.4.1 Notepad+++软件 45
4.4.2 运行设置 45
4.4.3 多个变量赋值 46
4.4.4 Python的标准数据类型 47
4.4.5 删除对象的引用 50
4.4.6 Python语言的运算符 50
4.4.7 Python条件语句 52
4.5 Python编程实践 52
4.5.1 汉诺塔问题 52
4.5.2 奇偶数分离 53
4.5.3 Python中in的应用 54
4.5.4 循环使用else语句编程 54
4.6 Python面向对象 54
4.6.1 面向对象介绍 54
4.6.2 self代表类的对象 55
4.6.3 类的实例化 56
4.6.4 Python内置类属性 57
4.6.5 Python对象的销毁（垃圾回收） 57
4.6.6 类的继承 58
4.6.7 方法重写 59
4.6.8 运算符重载 60
4.6.9 类属性与方法 60
4.7 Python的集成开发环境 61
4.7.1 PyCharm软件 61
4.7.2 Jupyter软件 67
4.8 pcapng文件到CSV文件 78
4.8.1 编写代码 78
4.8.2 代码运行 80
4.8.3 转换文件 80
4.9 小结 80
【思考题】 81
第5章 Splunk软件初探 83
5.1 Splunk简介 83
5.1.1 Splunk的架构 84
5.1.2 Splunk indexer集群架构 85
5.1.3 Splunk search集群架构 86
5.1.4 SPL语言 86
5.2 Splunk的安装与配置 90
5.2.1 安装 90
5.2.2 配置 92
5.3 Splunk数据分析 94
5.3.1 构造SPL语句 94
5.3.2 确定列名 95
5.3.3 Splunk的简单操作 95
5.4 SPL高级编程 97
5.4.1 自动生成数据 97
5.4.2 构造随机数 99
5.4.3 数据统计 100
5.4.4 Splunk处理过程 101
5.4.5 报告再编辑 102
5.5 小结 102
【思考题】 102
第6章 Splunk平台实践 105
6.1 Splunk的基础命令 105
6.1.1 Search（搜索）命令 105
6.1.2 SPL的命令分类 107
6.1.3 常用命令详解 115
6.2 Splunk软件的自动数据生成 119
6.2.1 生成数据 119
6.2.2 删除无用数据 121
6.2.3 构造随机数据 121
6.2.4 创建对数列和指数列 122
6.3 可视化展示 123
6.3.1 可视化图 123
6.3.2 格式设置 123
6.3.3 保存和导入 123
6.3.4 图形修改 125
6.4 官方帮助文档 126
6.4.1 SPL语言目录 126
6.4.2 命令分析实例 133
6.5 应用分析实例 137
6.5.1 案例 137
6.5.2 案例分析 137
6.5.3 创建记录 137
6.5.4 增加统计值 138
6.5.5 创建test字段 138
6.5.6 错误解决 139
【思考题】 140
第7章 SPL案例编程 142
7.1 stats命令学习 142
7.2 数据下载和导入 144
7.2.1 数据下载 144
7.2.2 数据导入 145
7.3 问题描述及分析 148
7.3.1 自动生成的SPL语句 148
7.3.2 要求及分析 149
7.3.3 解决方案 150
【思考题】 151
第8章 数据导入及错误分析 153
8.1 背景知识介绍 153
8.1.1 时间戳 153
8.1.2 数据 153
8.2 数据选择 154
8.2.1 导入数据入口 154
8.2.2 数据类型 154
8.3 时间戳错误 155
8.3.1 手机联网数据导入 155
8.3.2 时间戳错误 157
8.4 问题分析及解决 157
8.4.1 问题分析 157
8.4.2 问题解决 158
8.5 导入配置 159
8.5.1 源类型设置 159
8.5.2 索引设置 160
8.5.3 导入成功及预览 161
8.5.4 数据搜索及分析 162
【思考题】 163
第9章 联网效率分析 164
9.1 原理及方法 164
9.1.1 效率分析 164
9.1.2 性能测试方法 164
9.2 常用分析命令 164
9.2.1 sort命令 164
9.2.2 timechart命令 165
9.2.3 outlier命令 166
9.2.4 eventstats命令 167
9.3 数据导入和处理 167
9.3.1 数据导入 167
9.3.2 从Wireshark代码到Splunk代码 167
9.3.3 字段调整 169
9.3.4 时间排序 171
9.3.5 数据分组 172
9.4 分析联网效率 175
9.4.1 创建count字段 175
9.4.2 数据过滤 176
9.4.3 数据分析 176
【思考题】 180
第10章 Linux部署 182
10.1 原理及方法 182
10.1.1 虚拟机 182
10.1.2 数据传输 183
10.2 软件安装及运行 184
10.2.1 在虚拟机中安装Linux系统 184
10.2.2 在CentOS 7系统中安装Splunk平台 185
10.2.3 启动Splunk 186
10.2.4 Splunk的运行演示 187
10.3 网络配置 189
10.3.1 Ubuntu安装 189
10.3.2 VMware网络设置 190
10.3.3 网络验证 191
10.3.4 Ubuntu系统的网络配置 192
10.3.5 运行Splunk 193
【思考题】 196
第11章 大数据测试实践 197
11.1 监测数据导入 197
11.1.1 运行Splunk 197
11.1.2 Web日志分析 197
11.1.3 Xftp连接 198
11.1.4 monitor方式 199
11.1.5 monitor数据导入 199
11.1.6 数据分析 203
11.1.7 查看文件和目录 204
11.1.8 小结 205
11.2 数据缺陷挖掘 205
11.2.1 方法与思路 205
11.2.2 状态码 206
11.2.3 启动Splunk服务 209
11.2.4 网络联通验证 210
11.2.5 运行Splunk 212
11.2.6 返回操作 212
11.2.7 数据挖掘及分析 214
11.2.8 可视化展示 217
11.3 非结构化数据处理 220
11.3.1 非结构化数据 220
11.3.2 正则表达式 221
11.3.3 数据处理 226
【思考题】 240
思考题答案 242