第一部分 建立搜索引擎的方案 2
第1章 建立搜索引擎的方案 2
1.1 建立搜索引擎的基本方案 2
1.1.1 常规的数据库搜索 2
1.1.2 常规的文件搜索 4
1.1.3 基于数据库全文搜索功能的搜索 9
1.1.4 基于Windows索引服务的全文搜索 15
1.1.5 四种基本方案的总结 21
1.2 利用商业搜索引擎接口实现的全文搜索 25
1.2.1 第一种基于Google Search API的搜索 25
1.2.2 第二种基于Google Search API的搜索 34
1.3 利用开源搜索引擎框架实现的全文搜索 40
小结 41
思考与练习 42
第二部分 架设网络搜索引擎 44
第2章 数据抓取 44
2.1 WebLech 44
2.1.1 关于WebLech 44
2.1.2 下载WebLech 45
2.1.3 WebLech的使用方法 47
2.1.4 使用WebLech 50
2.2 WebSPHINX 53
2.2.1 关于WebSPHINX 53
2.2.2 下载WebSPHINX 54
2.2.3 使用WebSPHINX 54
2.3 J-Spider 56
2.3.1 关于J-Spider 56
2.3.2 下载J-Spider 57
2.3.3 使用J-Spider 59
小结 62
思考与练习 62
第3章 数据解析 63
3.1 解析PDF文档 63
3.1.1 使用PDFBox解析PDF文档 63
3.1.2 使用Xpdf解析PDF文档 72
3.2 JACOB组件的使用 78
3.2.1 下载JACOB组件 79
3.2.2 JACOB的基本用法 81
3.3 解析Word文档 84
3.3.1 使用textmining组件解析Word文档 84
3.3.2 使用Java2Word组件解析Word文档 88
3.3.3 使用JACOB组件解析Word文档 88
3.4 解析Excel文档 93
3.4.1 使用JDBC访问Excel文档 94
3.4.2 使用POI组件解析Excel文档 96
3.4.3 使用Java Excel API解析Excel文档 109
3.5 解析Powerpoint,Outlook和Access等文档 118
3.6 解析XML文档 118
3.6.1 使用DOM解析XML文档 119
3.6.2 使用SAX解析XML文档 122
3.6.3 使用JDOM解析XML文档 128
3.6.4 使用DOM4J解析XML文档 130
3.6.5 把XML文档解析成纯文本 135
3.7 解析HTML文档 136
3.7.1 下载HTMLParser组件 137
3.7.2 HTMLParser组件的使用 139
3.7.3 中文问题的提出 148
3.7.4 网页解析的一般方法 152
小结 163
思考与练习 163
第4章 建立索引和执行搜索 164
4.1 Hyper Estraier简述 164
4.1.1 下载Hyper Estraier 164
4.1.2 安装Hyper Estraier 166
4.1.3 初试Hyper Estraier 167
4.2 使用Java API 170
4.2.1 初试Java API 170
4.2.2 再试Java API 177
4.3 基于Hyper Estraier的应用 183
4.3.1 基于Hyper Estraier的桌面搜索应用 183
4.3.2 基于Hyper Estraier的Web搜索应用 199
4.4 Hyper Estraier的中文搜索 203
4.4.1 Hyper Estraier对中文的支持 203
4.4.2 UNICODE的应用 207
4.4.3 一个避开语言问题的方案 211
4.4.4 对编码解码器的思考 240
小结 240
思考与练习 240
第5章 创建搜索引擎 241
5.1 流程概述 241
5.1.1 实现步骤 241
5.1.2 目录结构 241
5.2 数据抓取 242
5.2.1 实现抓取 242
5.2.2 不足之处 245
5.3 数据解析 245
5.3.1 Word解析器 245
5.3.2 Excel解析器 248
5.3.3 PDF解析器 251
5.3.4 HTML解析器 254
5.3.5 XML解析器 257
5.3.6 纯文本解析器 260
5.3.7 集合解析器 262
5.3.8 不足之处 264
5.4 建立索引 265
5.4.1 索引器 265
5.4.2 搜索器 273
5.4.3 不足之处 280
5.5 Web搜索引擎 280
5.5.1 创建搜索引擎 281
5.5.2 测试搜索引擎 285
5.5.3 不足之处 287
小结 287
思考与练习 287