Webbots、Spiders和Screen Scrapers 技术解析与应用实践PDF电子书下载

第一部分 基础概念和技术 3

第1章 本书主要内容 3

1.1发现互联网的真正潜力 3

1.2对开发者来说 3

1.2.1网络机器人开发者是紧缺人才 4

1.2.2编写网络机器人是有趣的 4

1.2.3网络机器人利用了“建设性黑客”技术 4

1.3对企业管理者来说 5

1.3.1为业务定制互联网 5

1.3.2充分利用公众对网络机器人的经验不足 5

1.3.3事半功倍 6

1.4结论 6

第2章 网络机器人项目创意 7

2.1浏览器局限性的启发 7

2.1.1聚合并过滤相关信息的网络机器人 7

2.1.2解释在线信息的网络机器人 8

2.1.3个人代理网络机器人 9

2.2从疯狂的创意开始 9

2.2.1帮助繁忙的人解脱 10

2.2.2自动执行，节省开支 10

2.2.3保护知识产权 10

2.2.4监视机会 11

2.2.5在网站上验证访问权限 11

2.2.6创建网上剪报服务 11

2.2.7寻找未授权的Wi-Fi网络 12

2.2.8跟踪网站技术 12

2.2.9让互不兼容的系统通信 12

2.3结论 13

第3章 下载网页 14

3.1当它们是文件，而不是网页 14

3.2用PHP的内置函数下载文件 15

3.2.1用fopen（）和fgets（）下载文件 15

3.2.2用file（）函数下载文件 17

3.3 PHP/CURL库介绍 18

3.3.1多种传输协议 18

3.3.2表单提交 19

3.3.3基本认证技术 19

3.3.4 cookie 19

3.3.5重定向 19

3.3.6代理名称欺诈 19

3.3.7上链管理 20

3.3.8套接字管理 20

3.4安装PHP/CURL 20

3.5 LIB_http库 21

3.5.1熟悉默认值 21

3.5.2使用LIB_http 21

3.5.3了解更多HTTP标头信息 24

3.5.4检查LIB http的源代码 25

3.6结论 25

第4章 基本解析技术 26

4.1内容与标签相混合 26

4.2解析格式混乱的HTML文件 26

4.3标准解析过程 27

4.4使用LIB_parse库 27

4.4.1用分隔符分解字符串：split_string（）函数 27

4.4.2提取分隔符之间的部分：return_between（）函数 28

4.4.3将数据集解析到数组之中：parse_array（）函数 29

4.4.4提取属性值：get_attribute（）函数 30

4.4.5移除无用文本：remove（）函数 32

4.5有用的PHP函数 32

4.5.1判断一个字符串是否在另一个字符串里面 32

4.5.2用一个字符串替换另一个字符串中的一部分 33

4.5.3解析无格式文本 33

4.5.4衡量字符串的相似度 34

4.6结论 34

4.6.1别相信编码混乱的网页 34

4.6.2小步解析 35

4.6.3不要在调试的时候渲染解析结果 35

4.6.4少用正则表达式 35

第5章 使用正则表达式的高级解析技术 36

5.1模式匹配——正则表达式的关键 36

5.2 PHP的正则表达式类型 36

5.2.1 PHP正则表达式函数 37

5.2.2与PHP内置函数的相似之处 38

5.3从例子中学习模式匹配 39

5.3.1提取数字 39

5.3.2探测字符串序列 39

5.3.3字母字符匹配 40

5.3.4通配符匹配 40

5.3.5选择匹配 41

5.3.6分组和范围匹配的正则表达式 41

5.4与网络机器人开发者相关的正则表达式 41

5.4.1提取电话号码 42

5.4.2下一步学习什么 45

5.5何时使用正则表达式 46

5.5.1正则表达式的长处 46

5.5.2模式匹配用于解析网页的劣势 46

5.5.3哪个更快，正则表达式还是PHP的内置函数 48

5.6结论 48

第6章 自动表单提交 49

6.1表单接口的反向工程 50

6.2表单处理器、数据域、表单方法和事件触发器 50

6.2.1表单处理器 50

6.2.2数据域 51

6.2.3表单方法 52

6.2.4多组件编码 54

6.2.5事件触发器 54

6.3无法预测的表单 55

6.3.1 JavaScript能在提交之前修改表单 55

6.3.2表单HTML代码通常无法阅读 55

6.3.3 cookie在表单里不存在，却会影响其操作 55

6.4分析表单 55

6.5结论 59

6.5.1不要暴露身份 59

6.5.2正确模拟浏览器 59

6.5.3避免表单错误 60

第7章 处理大规模数据 61

7.1组织数据 61

7.1.1命名规范 61

7.1.2在结构化文件里存储数据 62

7.1.3在数据库里存储文本数据 64

7.1.4在数据库里存储图片 66

7.1.5用数据库，还是用文件系统 68

7.2减小数据规模 68

7.2.1保存图片文件的地址 68

7.2.2压缩数据 68

7.2.3移除格式信息 71

7.3生成图片的缩略图 72

7.4结论 73

第二部分 网络机器人项目 77

第8章 价格监控网络机器人 77

8.1目标网站 77

8.2设计解析脚本 78

8.3初始化以及下载目标网页 79

8.4进一步探讨 83

第9章 图片抓取网络机器人 84

9.1图片抓取网络机器人例子 84

9.2创建图片抓取网络机器人 85

9.2.1二进制安全下载过程 86

9.2.2目录结构 87

9.2.3主脚本 87

9.3进一步探讨 90

9.4结论 90

第10章 链接校验网络机器人 91

10.1创建链接校验网络机器人 91

10.1.1初始化网络机器人并下载目标网页 92

10.1.2设置页面基准 92

10.1.3提取链接 93

10.1.4运行校验循环 93

10.1.5生成URL完整路径 93

10.1.6下载全链接路径 94

10.1.7展示页面状态 95

10.2运行网络机器人 95

10.2.1 LIB_http_codes 96

10.2.2 LIB_resolve_addresses 96

10.3进一步探讨 97

第11章 搜索排名检测网络机器人 98

11.1搜索结果页介绍 99

11.2搜索排名检测网络机器人做什么工作 100

11.3运行搜索排名检测网络机器人 100

11.4搜索排名检测网络机器人的工作原理 101

11.5搜索排名检测网络机器人脚本 101

11.5.1初始化变量 102

11.5.2开始循环 102

11.5.3获取搜索结果 103

11.5.4解析搜索结果 103

11.6结论 106

11.6.1对数据源要厚道 106

11.6.2搜索网站对待网络机器人可能会不同于浏览器 106

11.6.3爬取搜索引擎不是好主意 106

11.6.4熟悉Google API 107

11.7进一步探讨 107

第12章 信息聚合网络机器人 108

12.1给网络机器人选择数据源 108

12.2信息聚合网络机器人举例 109

12.2.1熟悉RSS源 109

12.2.2编写信息聚合网络机器人 111

12.3给信息聚合网络机器人添加过滤机制 114

12.4进一步探讨 115

第13章 FTP网络机器人 116

13.1 FTP网络机器人举例 116

13.2 PHP和FTP 118

13.3进一步探讨 119

第14章 阅读电子邮件的网络机器人 120

14.1 POP3协议 120

14.1.1登录到POP3邮件服务器 120

14.1.2从POP3邮件服务器上读取邮件 121

14.2用网络机器人执行POP3命令 123

14.3进一步探讨 125

14.3.1电子邮件控制的网络机器人 125

14.3.2电子邮件接口 125

第15章 发送电子邮件的网络机器人 127

15.1电子邮件、网络机器人以及垃圾邮件 128

15.2使用SMTP和PHP发送邮件 128

15.2.1配置PHP发送邮件 128

15.2.2使用mai10函数发送电子邮件 129

15.3编写发送电子邮件通知的网络机器人 130

15.3.1让合法的邮件不被过滤掉 132

15.3.2发送HTML格式的电子邮件 132

15.4进一步探讨 134

15.4.1使用回复邮件剪裁访问列表 134

15.4.2使用电子邮件作为你的网络机器人运行的通知 134

15.4.3利用无线技术 134

15.4.4编写发送短信的网络机器人 135

第16章 将一个网站转变成一个函数 136

16.1编写一个函数接口 136

16.1.1定义函数接口 137

16.1.2分析目标网页 137

16.1.3使用describe_zipcode（）函数 140

16.2结论 141

16.2.1资源分发 142

16.2.2使用标准接口 142

16.2.3设计定制的轻量级“Web服务” 142

第三部分 高级设计技巧 145

第17章 蜘蛛 145

17.1蜘蛛的工作原理 145

17.2蜘蛛脚本示例 146

17.3 LIB_simple_spider 149

17.3.1 harvest_links（） 149

17.3.2 archive_links（） 149

17.3.3 get_domain（） 150

17.3.4 exclude_link（） 150

17.4使用蜘蛛进行实验 152

17.5添加载荷 152

17.6进一步探讨 153

17.6.1在数据库中保存链接 153

17.6.2分离链接和载荷 153

17.6.3在多台计算机上分配任务 153

17.6.4管理页面请求 154

第18章 采购机器人和秒杀器 155

18.1采购机器人的原理 155

18.1.1获取采购标准 155

18.1.2认证买家 155

18.1.3核对商品 156

18.1.4评估购物触发条件 156

18.1.5执行购买 157

18.1.6评估结果 157

18.2秒杀器的原理 157

18.2.1获取采购标准 158

18.2.2认证竞拍者 158

18.2.3核对拍卖商品 158

18.2.4同步时钟 158

18.2.5竞价时间 159

18.2.6提交竞价 160

18.2.7评估结果 160

18.3测试自己的网络机器人和秒杀器 160

18.4进一步探讨 160

18.5结论 161

第19章 网络机器人和密码学 162

19.1设计使用加密的网络机器人 162

19.1.1 SSL和PHP内置函数 163

19.1.2加密和PHP/CURL 163

19.2网页加密的简要概述 163

19.3结论 164

第20章 认证 165

20.1认证的概念 165

20.1.1在线认证的类型 165

20.1.2用多种方式加强认证 166

20.1.3认证和网络机器人 166

20.2示例脚本和实践页面 166

20.3基本认证 167

20.4会话认证 168

20.4.1使用cookie会话的认证 169

20.4.2使用查询会话进行认证 172

20.5结论 174

第21章 高级cookie管理 175

21.1 cookie的工作原理 175

21.2 PHP/CURL和cookie 177

21.3网络机器人设计中面临的cookie难题 178

21.3.1擦除临时性cookie 178

21.3.2管理多用户的cookie 178

21.4进一步探讨 179

第22章 计划运行网络机器人和蜘蛛 180

22.1为网络机器人配置计划任务 180

22.2 Windows XP任务调度程序 181

22.2.1计划网络机器人按日运行 181

22.2.2复杂的计划 182

22.3 Windows 7任务调度程序 184

22.4非日历事件触发器 186

22.5结论 188

22.5.1如何决定网络机器人的最佳运行周期 188

22.5.2避免单点故障 188

22.5.3在计划中加入变化性 188

第23章 使用浏览器宏抓取怪异的网站 189

23.1高效网页抓取的阻碍 190

23.1.1 AJAX 190

23.1.2怪异的JavaScript和cookie行为 190

23.1.3 Flash 190

23.2使用浏览器宏解决网页抓取难题 191

23.2.1浏览器宏的定义 191

23.2.2模拟浏览器的终极网络机器人 191

23.2.3安装和使用iMacros 191

23.2.4创建第一个宏 192

23.3结论 197

23.3.1宏的必要性 197

23.3.2其他用途 197

第24章 修改iMacros 198

24.1增强iMacros的功能 198

24.1.1不使用iMacros脚本引擎的原因 198

24.1.2创建动态宏 199

24.1.3自动装载iMacros 202

24.2进一步探讨 204

第25章 部署和扩展 205

25.1一对多环境 205

25.2一对一环境 206

25.3多对多环境 206

25.4多对一环境 206

25.5扩展和拒绝服务攻击 207

25.5.1简易的网络机器人也会产生大量数据 207

25.5.2目标的低效 207

25.5.3过度扩展的弊端 207

25.6创建多个网络机器人的实例 208

25.6.1创建进程 208

25.6.2利用操作系统 208

25.6.3在多台计算机上分发任务 208

25.7管理僵尸网络 209

25.8进一步探讨 215

第四部分 拓展知识 219

第26章 设计隐蔽的网络机器人和蜘蛛 219

26.1设计隐蔽网络机器人的原因 219

26.1.1 日志文件 219

26.1.2日志监控软件 222

26.2模拟人类行为实现隐蔽 222

26.2.1善待资源 222

26.2.2在繁忙的时刻运行网络机器人 222

26.2.3在每天不同时刻运行网络机器人 223

26.2.4不要在假期和周末运行网络机器人 223

26.2.5使用随机的延迟时间 223

26.3结论 223

第27章 代理 226

27.1代理的概念 226

27.2虚拟世界中的代理 226

27.3网络机器人开发者使用代理的原因 226

27.3.1使用代理实现匿名 227

27.3.2使用代理改变位置 229

27.4使用代理服务器 229

27.4.1在浏览器中使用代理 229

27.4.2通过PHP/CURL使用代理 230

27.5代理服务器的类型 230

27.5.1公共代理 230

27.5.2 Tor 232

27.5.3商业代理 234

27.6结论 234

27.6.1匿名是过程，不是特性 234

27.6.2创建自己的代理服务 235

第28章 编写容错的网络机器人 236

28.1网络机器人容错的类型 236

28.1.1适应URL变化 236

28.1.2适应页面内容的变化 240

28.1.3适应表单的变化 242

28.1.4适应cookie管理的变化 243

28.1.5适应网络中断和网络拥堵 243

28.2错误处理器 244

28.3进一步探讨 245

第29章 设计受网络机器人青睐的网站 246

29.1针对搜索引擎蜘蛛优化网页 246

29.1.1定义明确的链接 246

29.1.2谷歌轰炸和垃圾索引 247

29.1.3标题标签 247

29.1.4元标签 247

29.1.5标头标签 248

29.1.6图片的alt属性 248

29.2阻碍搜索引擎蜘蛛的网页设计技巧 248

29.2.1 JavaScript 249

29.2.2非ASCⅡ内容 249

29.3设计纯数据接口 249

29.3.1 XML 249

29.3.2轻量级数据交换 251

29.3.3简单对象访问协议 253

29.3.4表征状态转移 254

29.4结论 255

第30章 消灭蜘蛛 256

30.1合理地请求 256

30.1.1创建服务协议条款 257

30.1.2使用robots.txt文件 257

30.1.3使用robots元标签 258

30.2创造障碍 258

30.2.1选择性地允许特定的网页代理 259

30.2.2使用混淆 259

30.2.3使用cookie、加密、JavaScript和重定向 259

30.2.4认证用户 260

30.2.5频繁升级网站 260

30.2.6在其他媒体中嵌入文本 260

30.3设置陷阱 261

30.3.1创建蜘蛛陷阱 261

30.3.2处理不速之客的方法 261

30.4结论 262

第31章 远离麻烦 263

31.1尊重 264

31.2版权 264

31.2.1请善用资源 264

31.2.2不要纸上谈兵 265

31.3侵犯动产 267

31.4互联网法律 268

31.5结论 269

附录A PHP/CURL参考 270

附录B 状态码 277

附录C 短信网关 280