第1章 搜索引擎评价技术 1
1.1目标、角度和方法 1
1.2符号定义 3
1.3Cranfield范式评价方法 3
1.4评测指标 5
1.4.1二值相关性指标 5
1.4.2多值相关性指标 9
1.4.3偏好性指标 10
1.4.4分数综合方法 11
1.4.5系统比较 12
1.4.6指标分析 13
1.5评测集 14
1.6不完整的评测集 15
1.6.1文档池方法 16
1.6.2抽样方法 17
1.6.3最小标注集方法 18
1.7相关性之外的考虑 19
1.7.1多样性和新颖性 20
1.7.2评测方法 21
1.7.3多样性指标 22
1.7.4新颖性指标 25
1.7.5归一化因子：一个NP难问题 28
1.8Cranfield评测方法遇到的困难 29
1.9用户研究 29
1.9.1用户研究的指标 30
1.9.2用户研究的顺序性 31
1.9.3用户研究和Cranfield范式：比较和关联 33
1.10搜索引擎的效率 34
1.10.1在线指标和离线指标 35
1.10.2吞吐率和响应时间 35
1.11搜索引擎的界面评价 37
1.12可检索性评价 37
1.13小结 39
第2章 搜索引擎用户隐反馈建模 41
2.1用户隐反馈的分类 41
2.2用户点击行为 42
2.2.1位置偏差 43
2.2.2环境质量偏差 44
2.2.3展示信息偏差 44
2.3从点击行为中提取偏好关系 46
2.3.1单用户点击行为中蕴涵的偏好关系 46
2.3.2多次查询点击的融合 47
2.4相关性标注 48
2.4.1从偏好关系到相关性标注 48
2.4.2监督学习获得相关性标注 49
2.5用户行为建模：统计点击模型 50
2.5.1用户搜索行为流程 51
2.5.2用户点击行为 52
2.5.3用户查看行为 56
2.5.4用户点击模型 58
2.6浏览时间 59
2.6.1浏览时间和文档相关性 59
2.6.2浏览时间模型 60
2.7用户会话识别 66
2.7.1超时会话切分 67
2.7.2会话切换分类 67
2.7.3全局的会话识别方法 69
2.8其他用户隐反馈：眼动和鼠标移动 70
2.9小结 71
第3章 搜索引擎结果归并-比较方法 73
3.1问题的提出 73
3.2现有的归并-比较方法 75
3.2.1平衡归并法 75
3.2.2参赛队归并法 76
3.2.3上述两种归并-比较方法的缺陷 78
3.3归并-比较方法评测体系 78
3.3.1评测归并-比较方法的指标 79
3.3.2测试用例的产生 81
3.4实验设置和评测结果 83
3.4.1实验设计 83
3.4.2结果 84
3.4.3两种方法的缺点分析 87
3.5基于位置信息的归并-比较方法 90
3.6小结 92
第4章 基于用户点击模型的搜索引擎评价方法 93
4.1文档重排序框架 94
4.2重排序函数 95
4.2.1两种评价方式 95
4.2.2影响重排序的因素 96
4.3用户研究实验 102
4.3.1实验设计 102
4.3.2评测标准和指标 103
4.3.3结果 104
4.4TREC数据模拟实验和结果 105
4.4.1基本的模拟评测 105
4.4.2多情境分析 108
4.4.3指标的影响 109
4.4.4点击模型的影响 111
4.5小结 112
第5章 有效时间比：一种新的搜索引擎评价指标 113
5.1有效时间比的定义 114
5.1.1精度：有效时间比的一种实现形式 114
5.1.2包含文档展示信息的搜索引擎评价指标：有效时间比 115
5.2有效时间比的性质 116
5.3实验设置 119
5.4实验结果和讨论 121
5.4.1测试指标 121
5.4.2基本结果 122
5.4.3开放类问题和封闭类问题 123
5.5小结 124
附录 一个基于归并比较的元搜索系统 125
参考文献 127
后记 141