大数据测试技术 数据采集、分析与测试实践PDF电子书下载

第1章 大数据测试的思维 1

1.1 规律是否存在 1

1.2 大数据的背后 3

1.3 大数据测试方法 4

1.4 目的及组织结构 5

第2章 大数据收集概述 7

2.1 案例介绍 7

2.2 原理及方法 7

2.3 环境配置 8

2.3.1 配置无线网 8

2.3.2 安装分析软件 9

2.4 数据采集 10

2.4.1 软件连接 10

2.4.2 信息显示 11

2.4.3 数据包的存储 11

2.5 同步操作 12

2.6 小结 14

【思考题】 14

第3章 网络数据的采集与分析 15

3.1 物理连接及Wireshark软件的常用操作 15

3.1.1 物理连接 15

3.1.2 Wireshark软件的打开方式 15

3.1.3 构建网络 17

3.1.4 Wireshark软件功能介绍 18

3.2 数据包的采集 18

3.2.1 数据的收集 18

3.2.2 数据的存储和打开 20

3.3 数据包的自动抓取 22

3.3.1 背景介绍 22

3.3.2 脚本录制 23

3.3.3 脚本执行 24

3.4 数据包分析 25

3.4.1 数据包的分析方法 25

3.4.2 数据获取 25

3.4.3 数据包的数量 28

3.4.4 数据分析 28

3.5 小结 32

【思考题】 32

第4章 数据格式转换及Python编程 34

4.1 原理及方法 34

4.1.1 pyshark介绍 34

4.1.2 FileCapture和LiveCapture 35

4.1.3 Python基础语法 37

4.2 Python安装及配置 37

4.2.1 Python安装 37

4.2.2 配置 38

4.2.3 pyshark包下载 39

4.2.4 pyshark包安装 40

4.2.5 安装支撑文件 41

4.3 Python基础学习 42

4.3.1 Python的命令行演示 42

4.3.2 创建并运行.Py文件 42

4.3.3 Python出错演示 42

4.3.4 Python注释 43

4.3.5 一行多语句 43

4.3.6 输出换行 43

4.3.7 缩进 44

4.3.8 Python帮助 44

4.4 Notepad环境 45

4.4.1 Notepad+++软件 45

4.4.2 运行设置 45

4.4.3 多个变量赋值 46

4.4.4 Python的标准数据类型 47

4.4.5 删除对象的引用 50

4.4.6 Python语言的运算符 50

4.4.7 Python条件语句 52

4.5 Python编程实践 52

4.5.1 汉诺塔问题 52

4.5.2 奇偶数分离 53

4.5.3 Python中in的应用 54

4.5.4 循环使用else语句编程 54

4.6 Python面向对象 54

4.6.1 面向对象介绍 54

4.6.2 self代表类的对象 55

4.6.3 类的实例化 56

4.6.4 Python内置类属性 57

4.6.5 Python对象的销毁（垃圾回收） 57

4.6.6 类的继承 58

4.6.7 方法重写 59

4.6.8 运算符重载 60

4.6.9 类属性与方法 60

4.7 Python的集成开发环境 61

4.7.1 PyCharm软件 61

4.7.2 Jupyter软件 67

4.8 pcapng文件到CSV文件 78

4.8.1 编写代码 78

4.8.2 代码运行 80

4.8.3 转换文件 80

4.9 小结 80

【思考题】 81

第5章 Splunk软件初探 83

5.1 Splunk简介 83

5.1.1 Splunk的架构 84

5.1.2 Splunk indexer集群架构 85

5.1.3 Splunk search集群架构 86

5.1.4 SPL语言 86

5.2 Splunk的安装与配置 90

5.2.1 安装 90

5.2.2 配置 92

5.3 Splunk数据分析 94

5.3.1 构造SPL语句 94

5.3.2 确定列名 95

5.3.3 Splunk的简单操作 95

5.4 SPL高级编程 97

5.4.1 自动生成数据 97

5.4.2 构造随机数 99

5.4.3 数据统计 100

5.4.4 Splunk处理过程 101

5.4.5 报告再编辑 102

5.5 小结 102

【思考题】 102

第6章 Splunk平台实践 105

6.1 Splunk的基础命令 105

6.1.1 Search（搜索）命令 105

6.1.2 SPL的命令分类 107

6.1.3 常用命令详解 115

6.2 Splunk软件的自动数据生成 119

6.2.1 生成数据 119

6.2.2 删除无用数据 121

6.2.3 构造随机数据 121

6.2.4 创建对数列和指数列 122

6.3 可视化展示 123

6.3.1 可视化图 123

6.3.2 格式设置 123

6.3.3 保存和导入 123

6.3.4 图形修改 125

6.4 官方帮助文档 126

6.4.1 SPL语言目录 126

6.4.2 命令分析实例 133

6.5 应用分析实例 137

6.5.1 案例 137

6.5.2 案例分析 137

6.5.3 创建记录 137

6.5.4 增加统计值 138

6.5.5 创建test字段 138

6.5.6 错误解决 139

【思考题】 140

第7章 SPL案例编程 142

7.1 stats命令学习 142

7.2 数据下载和导入 144

7.2.1 数据下载 144

7.2.2 数据导入 145

7.3 问题描述及分析 148

7.3.1 自动生成的SPL语句 148

7.3.2 要求及分析 149

7.3.3 解决方案 150

【思考题】 151

第8章 数据导入及错误分析 153

8.1 背景知识介绍 153

8.1.1 时间戳 153

8.1.2 数据 153

8.2 数据选择 154

8.2.1 导入数据入口 154

8.2.2 数据类型 154

8.3 时间戳错误 155

8.3.1 手机联网数据导入 155

8.3.2 时间戳错误 157

8.4 问题分析及解决 157

8.4.1 问题分析 157

8.4.2 问题解决 158

8.5 导入配置 159

8.5.1 源类型设置 159

8.5.2 索引设置 160

8.5.3 导入成功及预览 161

8.5.4 数据搜索及分析 162

【思考题】 163

第9章 联网效率分析 164

9.1 原理及方法 164

9.1.1 效率分析 164

9.1.2 性能测试方法 164

9.2 常用分析命令 164

9.2.1 sort命令 164

9.2.2 timechart命令 165

9.2.3 outlier命令 166

9.2.4 eventstats命令 167

9.3 数据导入和处理 167

9.3.1 数据导入 167

9.3.2 从Wireshark代码到Splunk代码 167

9.3.3 字段调整 169

9.3.4 时间排序 171

9.3.5 数据分组 172

9.4 分析联网效率 175

9.4.1 创建count字段 175

9.4.2 数据过滤 176

9.4.3 数据分析 176

【思考题】 180

第10章 Linux部署 182

10.1 原理及方法 182

10.1.1 虚拟机 182

10.1.2 数据传输 183

10.2 软件安装及运行 184

10.2.1 在虚拟机中安装Linux系统 184

10.2.2 在CentOS 7系统中安装Splunk平台 185

10.2.3 启动Splunk 186

10.2.4 Splunk的运行演示 187

10.3 网络配置 189

10.3.1 Ubuntu安装 189

10.3.2 VMware网络设置 190

10.3.3 网络验证 191

10.3.4 Ubuntu系统的网络配置 192

10.3.5 运行Splunk 193

【思考题】 196

第11章 大数据测试实践 197

11.1 监测数据导入 197

11.1.1 运行Splunk 197

11.1.2 Web日志分析 197

11.1.3 Xftp连接 198

11.1.4 monitor方式 199

11.1.5 monitor数据导入 199

11.1.6 数据分析 203

11.1.7 查看文件和目录 204

11.1.8 小结 205

11.2 数据缺陷挖掘 205

11.2.1 方法与思路 205

11.2.2 状态码 206

11.2.3 启动Splunk服务 209

11.2.4 网络联通验证 210

11.2.5 运行Splunk 212

11.2.6 返回操作 212

11.2.7 数据挖掘及分析 214

11.2.8 可视化展示 217

11.3 非结构化数据处理 220

11.3.1 非结构化数据 220

11.3.2 正则表达式 221

11.3.3 数据处理 226

【思考题】 240

思考题答案 242