现代信息检索 原书第2版PDF电子书下载

第1章 引言 1

1.1 信息检索 1

1.1.1 信息检索的早期发展 1

1.1.2 图书馆和数字图书馆中的信息检索 2

1.1.3 舞台中央的信息检索 2

1.2 信息检索问题 3

1.2.1 用户的任务 3

1.2.2 信息检索与数据检索 4

1.3 信息检索系统 4

1.3.1 信息检索系统的软件架构 4

1.3.2 检索和排序过程 5

1.4 Web 6

1.4.1 Web简史 7

1.4.2 电子出版时代 7

1.4.3 Web如何改变搜索 8

1.4.4 Web上的实际问题 9

1.5 本书的组织结构 9

1.5.1 本书的重点 9

1.5.2 本书的内容 10

1.6 本书的教学资源网站 12

1.7 文献讨论 12

第2章 用户搜索界面 16

2.1 介绍 16

2.2 人们如何搜索 16

2.2.1 信息查找与探索式搜索 16

2.2.2 信息搜寻的经典模型与动态模型 17

2.2.3 导航与搜索 18

2.2.4 对搜索过程的观察 18

2.3 现今的搜索界面 19

2.3.1 启动搜寻 19

2.3.2 查询描述 19

2.3.3 查询描述界面 20

2.3.4 检索结果显示 22

2.3.5 查询重构 24

2.3.6 组织搜索结果 26

2.4 搜索界面的可视化 32

2.4.1 可视化布尔语法 32

2.4.2 可视化查询结果中的查询项 33

2.4.3 可视化词语和文档间的关系 36

2.4.4 文本挖掘的可视化 38

2.5 搜索界面的设计和评价 40

2.6 趋势和研究问题 42

2.7 文献讨论 42

第3章 信息检索建模 44

3.1 信息检索模型 44

3.1.1 建模和排序 44

3.1.2 信息检索模型描述 44

3.1.3 信息检索模型的分类体系 45

3.2 经典信息检索 47

3.2.1 基本概念 47

3.2.2 布尔模型 49

3.2.3 项权重 50

3.2.4 TF-IDF权重 52

3.2.5 文档长度归一化 56

3.2.6 向量模型 57

3.2.7 概率模型 59

3.2.8 经典模型之间的简单比较 64

3.3 其他集合论模型 64

3.3.1 基于集合的模型 64

3.3.2 扩展布尔模型 68

3.3.3 模糊集模型 70

3.4 其他代数模型 72

3.4.1 广义向量空间模型 72

3.4.2 潜在语义索引模型 74

3.4.3 神经网络模型 75

3.5 其他概率模型 76

3.5.1 BM25模型 77

3.5.2 语言模型 78

3.5.3 随机差异模型 83

3.5.4 贝叶斯网模型 85

3.6 其他模型 90

3.6.1 超文本模型 90

3.6.2 基于Web的模型 91

3.6.3 结构化文本检索 91

3.6.4 多媒体检索 92

3.6.5 企业和垂直搜索 92

3.7 趋势和研究问题 92

3.8 文献讨论 93

第4章 检索评价 96

4.1 介绍 96

4.2 Cranfield范式 97

4.2.1 历史简述 97

4.2.2 参考集 98

4.3 检索指标 98

4.3.1 精度和召回率 98

4.3.2 单值总结：P @n,MAP,MRR,F 102

4.3.3 面向用户的指标 105

4.3.4 折扣累积增益 106

4.3.5 二元偏好 109

4.3.6 排序相关性测度 111

4.4 参考文档集 115

4.4.1 TREC参考集 115

4.4.2 其他参考集 121

4.4.3 其他小规模测试文档集 121

4.5 基于用户的评价 122

4.5.1 实验室中的人工实验 122

4.5.2 并排面板 122

4.5.3 A/B测试 123

4.5.4 众包 124

4.5.5 使用点击数据的评价 125

4.6 实践说明 126

4.7 趋势和研究问题 127

4.8 文献讨论 127

第5章 相关反馈与查询扩展 129

5.1 介绍 129

5.2 反馈方法的框架 129

5.3 显式相关反馈 131

5.3.1 向量模型的相关反馈：Rocchio方法 131

5.3.2 概率模型的相关反馈 133

5.3.3 相关反馈的评价 134

5.4 基于点击的显式反馈 134

5.4.1 眼动追踪和相关性评价 134

5.4.2 用户行为 135

5.4.3 点击作为用户偏好的指标 136

5.5 通过局部分析的隐式反馈 138

5.5.1 通过局部聚类的隐式反馈 138

5.5.2 通过局部上下文分析的隐式反馈 140

5.6 通过全局分析的隐式反馈 141

5.6.1 基于相似度同义词典的查询扩展 141

5.6.2 基于统计同义词典的查询扩展 143

5.7 趋势和研究问题 145

5.8 文献讨论 145

第6章 文档：语言及属性 147

6.1 介绍 147

6.2 元数据 148

6.3 文档格式 149

6.3.1 文本 149

6.3.2 多媒体 149

6.3.3 图形和虚拟现实 150

6.4 标记语言 151

6.4.1 SGML 151

6.4.2 HTML 153

6.4.3 XML 155

6.4.4 RDF 157

6.4.5 HyTime 158

6.5 文本属性 159

6.5.1 信息论 159

6.5.2 自然语言建模 159

6.5.3 文本相似度 162

6.6 文档预处理 163

6.6.1 文本的词汇分析 163

6.6.2 去除禁用词 164

6.6.3 词干提取 165

6.6.4 关键词选择 166

6.6.5 同义词典 166

6.7 组织文档 168

6.7.1 分类体系法 168

6.7.2 分众分类法 169

6.8 文本压缩 170

6.8.1 基本概念 170

6.8.2 统计方法 171

6.8.3 统计方法：建模 171

6.8.4 统计方法：编码 173

6.8.5 字典方法 179

6.8.6 压缩预处理 180

6.8.7 文本压缩技术的比较 181

6.8.8 结构化文本压缩 182

6.9 趋势和研究问题 183

6.10 文献讨论 185

第7章 查询：语言及属性 187

7.1 查询语言 187

7.1.1 基于关键词的查询 188

7.1.2 非关键词查询 190

7.1.3 结构化查询 192

7.1.4 查询协议 194

7.2 查询属性 195

7.2.1 Web查询的特征 195

7.2.2 用户搜索行为 197

7.2.3 查询意图 197

7.2.4 查询主题 199

7.2.5 查询会话与任务 200

7.2.6 查询难度 200

7.3 趋势和研究问题 203

7.4 文献讨论 204

第8章 文本分类 205

8.1 介绍 205

8.2 文本分类的特性描述 206

8.2.1 机器学习 206

8.2.2 文本分类问题 206

8.2.3 文本分类算法 207

8.3 无监督算法 208

8.3.1 聚类 208

8.3.2 朴素文本分类 212

8.4 监督算法 212

8.4.1 决策树 214

8.4.2 k近邻分类器 218

8.4.3 Rocchio分类器 219

8.4.4 概率朴素贝叶斯文档分类 221

8.4.5 支持向量机分类器 224

8.4.6 集成分类器 231

8.4.7 关于监督算法的结束语 234

8.5 特征选择或降维 234

8.5.1 项-类别出现列联表 235

8.5.2 索引项文档频率 236

8.5.3 TF-IDF权重 236

8.5.4 互信息 236

8.5.5 信息增益 237

8.5.6 卡方检验 237

8.5.7 特征选择的作用 238

8.6 评价指标 238

8.6.1 列联表 238

8.6.2 准确率和错误率 239

8.6.3 精度和召回率 239

8.6.4 F测度和F1 240

8.6.5 交叉检验 241

8.6.6 标准文档集 241

8.7 类别组织——构建分类体系 242

8.8 趋势和研究问题 244

8.9 文献讨论 244

第9章 索引和搜索 247

9.1 介绍 247

9.2 倒排索引 249

9.2.1 基本概念 249

9.2.2 完全倒排索引 250

9.2.3 搜索 252

9.2.4 排序 256

9.2.5 构建 257

9.2.6 压缩的倒排索引 260

9.2.7 结构化查询 261

9.3 签名文件 262

9.4 后缀树和后缀数组 264

9.4.1 结构：trie树和后缀树 265

9.4.2 简单字符串搜索 266

9.4.3 复杂模式的搜索 267

9.4.4 构建 268

9.4.5 压缩的后缀数组 270

9.5 序列搜索 273

9.5.1 简单字符串：Horspool 274

9.5.2 复杂模式：自动机和位并行 276

9.5.3 更快的位并行算法 279

9.5.4 正则表达式 281

9.5.5 多重模式 282

9.5.6 近似搜索 283

9.5.7 搜索压缩文本 285

9.6 多维索引 287

9.7 趋势和研究问题 288

9.8 文献讨论 289

第10章 并行与分布式信息检索 293

10.1 介绍 293

10.2 分布式信息检索系统的分类 294

10.3 数据划分 296

10.3.1 文档集划分 297

10.3.2 文档集选择 298

10.3.3 倒排索引划分 299

10.3.4 划分其他索引 302

10.4 并行信息检索 303

10.4.1 介绍 303

10.4.2 在MIMD架构上的并行信息检索 305

10.4.3 在SIMD架构上的并行信息检索 306

10.5 基于集群的信息检索 310

10.6 分布式信息检索 310

10.6.1 介绍 310

10.6.2 索引 313

10.6.3 查询处理 315

10.6.4 Web问题 320

10.7 联合搜索 320

10.8 在对等网络中的检索 322

10.9 趋势和研究问题 325

10.10 文献讨论 326

第11章 Web检索 327

11.1 介绍 327

11.2 一个有挑战性的问题 328

11.3 Web 329

11.3.1 特性 329

11.3.2 Web图的结构 331

11.3.3 对Web建模 332

11.3.4 链接分析 334

11.4 搜索引擎架构 335

11.4.1 基本架构 335

11.4.2 基于集群的架构 336

11.4.3 缓存 337

11.4.4 多级索引 339

11.4.5 分布式架构 340

11.5 搜索引擎排序 342

11.5.1 排序信号 342

11.5.2 基于链接的排序 343

11.5.3 简单的排序函数 345

11.5.4 排序学习 345

11.5.5 学习排序函数 346

11.5.6 质量评价 347

11.5.7 Web垃圾 348

11.6 管理Web数据 348

11.6.1 为文档分配标识符 348

11.6.2 元数据 349

11.6.3 压缩Web图 349

11.6.4 处理重复数据 349

11.7 搜索引擎用户交互 350

11.7.1 搜索矩形范式 351

11.7.2 搜索引擎结果页面 356

11.7.3 培养用户 363

11.8 浏览 364

11.8.1 扁平浏览 364

11.8.2 结构导向的浏览和Web目录 364

11.9 浏览之外 366

11.9.1 超文本和Web 366

11.9.2 搜索与浏览相结合 366

11.9.3 Web查询语言 367

11.9.4 动态搜索 367

11.10 相关问题 368

11.10.1 计算广告学 368

11.10.2 Web挖掘 370

11.10.3 元搜索 371

11.11 趋势和研究问题 372

11.11.1 静态文本数据之外 372

11.11.2 目前的挑战 373

11.12 文献讨论 374

第12章 Web爬取 376

12.1 介绍 376

12.2 网络爬虫的应用 377

12.2.1 通用Web搜索 377

12.2.2 聚焦爬取 378

12.2.3 Web刻画 378

12.2.4 镜像 378

12.2.5 网站分析 379

12.3 爬虫的分类体系 379

12.4 架构和实现 380

12.4.1 爬虫架构 380

12.4.2 实际问题 382

12.4.3 并行爬取 384

12.5 调度算法 384

12.5.1 选择策略 385

12.5.2 重访问策略 387

12.5.3 友好策略 391

12.5.4 组合策略 393

12.6 评价 393

12.6.1 评价网络使用 393

12.6.2 评价长期调度 394

12.7 趋势和研究问题 395

12.7.1 爬取“暗网” 395

12.7.2 在网站帮助下的爬取 396

12.7.3 分布式爬取 396

12.8 文献讨论 396

第13章 结构化文本检索 398

13.1 介绍 398

13.2 结构化能力 399

13.2.1 显式和隐式结构对比 399

13.2.2 静态与动态结构对比 399

13.2.3 单一层次结构与多层次结构对比 400

13.3 早期文本检索模型 400

13.3.1 基于非覆盖列表的模型 401

13.3.2 基于相邻结点的模型 401

13.3.3 结构化文本结果排序 402

13.4 XML检索 403

13.4.1 XML检索中的挑战 403

13.4.2 索引策略 404

13.4.3 排序策略 405

13.4.4 去除重叠 412

13.5 XML检索评价 413

13.5.1 文档集 414

13.5.2 主题 414

13.5.3 检索任务 415

13.5.4 相关性 416

13.5.5 测度 417

13.6 查询语言 419

13.6.1 特性 419

13.6.2 XML查询语言分类 420

13.6.3 XML查询语言样例 421

13.7 趋势和研究问题 425

13.8 文献讨论 427

第14章 多媒体信息检索 429

14.1 介绍 429

14.1.1 什么是多媒体 429

14.1.2 多媒体检索 429

14.1.3 文本检索与多媒体检索的对比 430

14.2 挑战 431

14.2.1 语义鸿沟 431

14.2.2 特征歧义性 432

14.2.3 机器生成的数据 432

14.3 基于内容的图像检索 433

14.3.1 基于颜色的检索 433

14.3.2 纹理 434

14.3.3 显著点 436

14.4 声音和音乐检索 437

14.4.1 指纹识别 437

14.4.2 语音识别 438

14.4.3 说话人识别 440

14.4.4 语音文档检索 440

14.4.5 音频基础知识 440

14.5 检索和浏览视频 443

14.5.1 视频摘要 443

14.5.2 静态摘要 444

14.5.3 图像拼接与跳跃剧照 445

14.5.4 动态摘要 446

14.5.5 交互式摘要 447

14.5.6 视觉与听觉浏览对比 448

14.5.7 摘要评价 448

14.6 融合模型：合并所有信息 449

14.6.1 人脸命名 449

14.6.2 图像命名 450

14.6.3 音频命名 451

14.6.4 结合音频与视频的音-视频语音识别 451

14.6.5 结合音频和视频的多媒体处理 453

14.7 分割 453

14.7.1 视频分割样例 454

14.7.2 视频分割方案 455

14.7.3 利用边缘的视频分割 455

14.7.4 语音分割 456

14.7.5 分割评价 457

14.8 压缩和MPEG标准 457

14.8.1 强度和采样 458

14.8.2 颜色 458

14.8.3 有损压缩 459

14.8.4 无损压缩 461

14.8.5 时间冗余 461

14.8.6 运动预测 461

14.8.7 MPEG标准 462

14.9 趋势和研究问题 465

14.10 文献讨论 466

第15章 企业搜索 469

15.1 介绍 469

15.1.1 企业搜索的特点和应用 469

15.1.2 企业搜索软件 470

15.1.3 工作场所搜索 471

15.2 企业搜索任务 471

15.2.1 搜索支持任务的例子 471

15.2.2 搜索类型 473

15.2.3 研究企业搜索 473

15.3 企业搜索系统的结构 474

15.3.1 收集 474

15.3.2 提取 476

15.3.3 索引 477

15.3.4 文本注释的索引 477

15.3.5 查询处理 478

15.3.6 搜索结果的展示 479

15.3.7 安全模型 480

15.3.8 联合／元搜索 482

15.4 企业搜索评价 484

15.4.1 企业搜索的公开测试集 484

15.4.2 企业搜索内部评价 485

15.4.3 企业搜索调试 486

15.4.4 所能期待的是什么 487

15.5 不满意的可能原因 488

15.6 情境化和个性化 490

15.6.1 情境化的控制和工具 491

15.6.2 情境化：本地、企业或全球 493

15.6.3 轮廓的隐私 494

15.6.4 定义、建立和维护轮廓 494

15.6.5 用户建模 495

15.6.6 隐式评价 496

15.6.7 信息过滤 496

15.6.8 社会化推荐系统 497

15.7 趋势和研究问题 497

15.8 文献讨论 497

第16章 图书馆系统 499

16.1 图书馆的信息环境 499

16.2 联机公共检索目录 500

16.2.1 OPAC和书目记录 501

16.2.2 来自ILS的信息检索 503

16.2.3 混合图书馆的整合 504

16.2.4 OPAC和最终用户 505

16.2.5 ILS：供应商和产品 506

16.3 信息检索系统与文档数据库 507

16.3.1 书目和全文数据库 508

16.3.2 数据库记录的内容 508

16.3.3 联机产业：数据库供应商 510

16.3.4 来自文档数据库的信息检索 511

16.4 组织机构内部的信息检索 514

16.5 趋势和研究问题 515

16.6 文献讨论 516

第17章 数字图书馆 517

17.1 介绍 517

17.2 定义数字图书馆 517

17.3 通用架构 518

17.4 基本概念 519

17.4.1 数字对象和馆藏 519

17.4.2 元数据和目录 520

17.4.3 资源库／档案库 522

17.4.4 服务 525

17.5 社会经济问题 527

17.5.1 社会问题 527

17.5.2 经济问题 527

17.6 软件系统 528

17.6.1 Greenstone 529

17.6.2 Eprints 529

17.6.3 DSpace 529

17.6.4 Fedora 529

17.6.5 ODL 530

17.6.6 5S套件 530

17.7 数字图书馆案例研究 531

17.7.1 联网学位论文数字图书馆 531

17.7.2 国家科学数字图书馆 532

17.7.3 ETANA-DL考古数字图书馆 532

17.8 趋势和研究问题 532

17.8.1 评价 532

17.8.2 集成 533

17.8.3 其他研究挑战 533

17.9 文献讨论 534

附录A 开源搜索引擎 535

附录B 作者简介 549

参考文献 554

索引 654