白帽子讲Web扫描PDF电子书下载

第1章 扫描器基础 1

1.1什么是Web扫描器 1

1.2扫描器的重要性 2

1.3扫描器的类型 3

1.4常见的扫描器（扫描器的示例） 4

1.5扫描器评测 8

1.6漏洞测试平台 9

1.7扫描环境部署 9

1.7.1测试环境 9

1.7.2开发环境 12

第2章Web爬虫基础 19

2.1什么是Web爬虫 19

2.2浏览器手工爬取过程 19

2.3 URL 21

2.4超级链接 22

2.5 HTTP协议（Request／Response） 23

2.5.1 HTTP请求 23

2.5.2 HTTP响应 24

2.6 HTTP认证 25

2.6.1 Basic认证（基本式） 26

2.6.2 Digest认证（摘要式） 27

2.7 HEAD方法 29

2.8 Cookie机制 29

2.9 DNS本地缓存 31

2.9.1浏览器缓存 31

2.9.2系统缓存 32

2.10页面解析 33

2.11爬虫策略 34

2.11.1广度优先策略 34

2.11.2深度优先策略 34

2.11.3最佳优先策略（聚焦爬虫策略） 35

2.12页面跳转 35

2.12.1客户端跳转 36

2.12.2服务端跳转 37

2.13识别404错误页面 38

2.14 URL重复／URL相似／URL包含 39

2.14.1 URL重复 39

2.14.2 URL相似 39

2.14.3 URL包含 39

2.15区分URL的意义 40

2.16 URL去重 40

2.16.1布隆过滤器（Bloom Filter） 41

2.16.2哈希表去重 41

2.17页面相似算法 42

2.17.1编辑距离（Levenshtein Distance） 42

2.17.2 Simhash 43

2.18断连重试 43

2.19动态链接与静态链接 43

第3章Web爬虫进阶 44

3.1 Web爬虫的工作原理 44

3.2实现URL封装 45

3.3实现HTTP请求和响应 47

3.4实现页面解析 58

3.4.1 HTML解析库 58

3.4.2 URL提取 59

3.4.3自动填表 66

3.5 URL去重去似 67

3.5.1 URL去重 67

3.5.2 URL去似去含 73

3.6实现404页面识别 75

3.7实现断连重试 77

3.8实现Web爬虫 78

3.9实现Web 2.0爬虫 83

第4章应用指纹识别 94

4.1应用指纹种类及识别 94

4.2应用指纹识别的价值 95

4.3应用指纹识别技术 96

第5章 安全漏洞审计 102

5.1安全漏洞审计三部曲 102

5.2通用型漏洞审计 103

5.2.1 SQL注入漏洞 103

5.2.2 XSS跨站漏洞 111

5.2.3命令执行注入 120

5.2.4文件包含漏洞 129

5.2.5敏感文件泄露 136

5.3 Nday／Oday漏洞审计 146

5.3.1 Discuz！7.2 faq.php SQL注入漏洞 147

5.3.2 Dedecms get webshell漏洞 150

5.3.3 Heartbleed漏洞（C VE-2014-0160 ） 153

5.3.4 PHP multipart／form-data远程DDoS （CVE-2015-4024 ） 157

第6章扫描器进阶 160

6.1扫描流程 160

6.2软件设计 163

6.3功能模块 164

6.4软件架构 165

6.5数据结构 166

6.6功能实现 167

6.6.1 IP／端口扫描和检测（端口模块） 167

6.6.2端口破解模块 170

6.6.3子域名信息枚举 172

6.6.4文件、目录暴力枚举探测（不可视URL爬取） 175

6.6.5扫描引擎 176

6.7扫描报告 180

6.8扫描测试 182

第7章 云扫描 185

7.1什么是云扫描 185

7.2云扫描架构 185

7.3云扫描实践 187

7.3.1 Celery框架 188

7.3.2扫描器Worker部署 189

7.3.3云端调度 193

7.4云扫描服务 199

第8章企业安全扫描实践 202

8.1企业为什么需要扫描 202

8.2企业扫描的应用场景 202

8.2.1基于网络流量的扫描 202

8.2.2基于访问日志的扫描 208

8.2.3扫描的应用场景比较 217

第9章 关于防御 218

9.1爬虫反制 218

9.1.1基于IP的反爬虫 218

9.1.2基于爬行的反爬虫 221

9.2审计反制 223

9.2.1云WAF 223

9.2.2云WAF的价值 223

9.3防御策略 225

附录A 227

附录B 229