搜索引擎原理、实践与应用PDF电子书下载

第1章 搜索引擎的历史和现状 1

1.1 搜索引擎的历史 1

1.2 搜索引擎的分类 4

1.3 搜索引擎的现状 6

1.4 世界主要搜索引擎介绍 7

1.4.1 Google 7

1.4.2 百度 10

1.4.3 Technorati 11

1.4.4 Alltheweb 12

1.4.5 Ask.com 13

1.4.6 MSN Search 14

小结 15

参考文献 15

第2章 数据挖掘 17

2.1 数据挖掘概览 17

2.1.1 为什么要做数据挖掘 19

2.1.2 数据挖掘的任务 20

2.1.3 关联挖掘和分析 21

2.1.4 分类 21

2.1.5 聚类分析 23

2.1.6 序列模式分析 24

2.1.7 偏差分析 24

2.2 数据挖掘的常用技术 25

2.2.1 人工神经网络 25

2.2.2 统计分析 26

小结 27

参考文献 27

第3章 搜索引擎的数据结构 29

3.1 存储结构 29

3.1.1 四种基本存储方法 30

3.2 索引 33

3.2.1 倒排索引 33

3.3 结构化查询语言 36

3.4 海量数据系统 38

小结 39

参考文献 39

第4章 搜索引擎的基本结构 40

4.1 网络爬虫 41

4.2 排序 43

4.2.1 网页的权重 43

4.2.2 向量空间模型VSM 44

4.2.3 扩展相关信息 46

4.3 索引系统 49

4.4 缓存机制 55

小结 55

参考文献 56

第5章 搜索引擎爬虫 57

5.1 深度优先与广度优先 58

5.1.1 网页链接情况概览 58

5.1.2 取得有效的网页文字 59

5.1.3 深度优先 61

5.1.4 广度优先 63

5.2 实例——Larbin 65

5.2.1 Larbin简介 65

5.2.2 Larbin的作用 66

5.2.3 Larbin的使用 66

5.2.4 Larbin的性能特征 68

小结 68

参考文献 69

第6章 搜索引擎索引系统 70

6.1 索引结构 70

6.2 使用直接I/O提高文件扫描性能 75

6.3 倒排表合并策略 78

6.4 利用内存临时索引技术实现即时搜索 81

6.5 对正排文件进行压缩减少磁盘占用 82

6.6 实例——Lucene 83

6.6.1 Lucene的原理 84

6.6.2 对多个字段进行联合检索 92

6.6.3 对索引进行优化 93

6.6.4 利用RangeQuery进行范围查询 94

6.6.5 组合查询 95

6.6.6 多个索引进行联合搜索 96

6.7 实例——Booso.com 98

小结 111

参考文献 111

第7章 分布式搜索引擎设计 112

7.1 分布式搜索引擎的核心问题 112

7.2 分布式元搜索引擎 113

7.3 散列式分布搜索引擎 120

7.3.1 散列式分布搜索引擎原理 121

7.3.2 对散列式分布搜索引擎的改进 129

7.3.3 散列式分布搜索引擎的缺陷 131

7.4 索引与文档的分开存放 132

7.4.1 文档服务器的设计 134

7.4.2 文档服务器的分布式处理 135

7.5 对分布式结构建立缓存机制 137

7.6 混合分布式搜索引擎 139

7.7 分布式搜索引擎的扩展性 142

7.7.1 一种实用的节点动态调整方案 143

7.8 P2P分布搜索引擎 146

7.9 局部遍历型搜索引擎 150

小结 152

参考文献 153

第8章 Google搜索引擎的结构 155

8.1 Google要解决的问题 155

8.2 Google的分布式设计 157

8.3 Google文件系统 161

8.4 MapReduce 166

8.5 BigTable 171

8.6 相关搜索的实现 176

小结 176

参考文献 177

第9章 中文分词 178

9.1 中文信息的特征 178

9.2 搜索引擎的分词 179

9.3 分词的方法 180

9.3.1 正向最大匹配分词 181

9.3.2 逆向最大匹配分词 185

9.4 基于统计的分词方法 187

9.5 其他分词系统 188

9.6 混合分词 191

9.7 对分不出来的词的处理 192

9.8 停止词训练方法 194

9.9 实例——分词程序 195

小结 207

参考文献 208

第10章 分类与聚类 209

10.1 分类与聚类介绍 209

10.1.1 自动分类 209

10.1.2 自动聚类 211

10.2 自动分类的原理 211

10.2.1 自动分类技术概览 211

10.2.2 矢量模型 214

10.2.3 在多文档情况下的矢量模型的修正 214

10.2.4 TF＊IDF的修正 215

10.2.5 基于位置的修正 215

10.3 文本信息的噪声模型 216

10.3.1 文本信息模型概览 216

10.3.2 噪声模型 216

10.3.3 噪声的提取 217

10.4 分类的实验 218

10.4.1 实施步骤 218

10.4.2 样本与类向量 219

10.4.3 分类实验的流程 220

10.4.4 分类结果的输出 221

10.5 利用层次聚类法实现文本自动聚类 222

10.5.1 层次聚类技术 222

10.5.2 实现步骤 223

10.5.3 自动聚类实例 224

小结 226

参考文献 226

第11章 内容消重和SPAM消除 228

11.1 信息指纹 229

11.2 内容消重 230

11.3 Spam的识别和剔除 232

11.3.1 一种简单实用的识别SPAM方法 234

11.3.2 一个最大的spam案例 237

小结 238

参考文献 239

第12章 图像搜索引擎 241

12.1 简介 241

12.2 图像的收集过程 242

12.2.1 图像的发现 243

12.2.2 图像的文件形式 244

12.3 主题分类和索引 245

12.3.1 文本处理 245

12.3.2 图像的主题分类（Taxonomy） 246

12.3.3 关键词表和目录名与主题的匹配 247

12.4 搜索、浏览、挖掘 248

12.5 基于图像内容的搜索技术 249

12.5.1 色阶图的相似性 250

12.5.2 自动图像归类 251

12.5.3 相关反馈 251

12.5.4 色阶图的调节 252

12.6 基于图像内容的搜索实例 252

12.6.1 Retrievr系统 253

12.6.2 图像聚类的Booso算法 255

12.6.3 一个图像处理的实例 256

12.6.4 基于图像内容聚类的实现 259

小结 260

参考资料 260

附录 262