第1章 机器翻译方法综述 1
1.1机器翻译的范式 2
1.2基于平行语法的机器翻译方法 2
Alshawi的基于加权中心词转录机的统计机器翻译方法 2
吴德凯的反向转录语法 3
Takeda的基于模式的机器翻译上下文无关语法 4
1.3基于实例的机器翻译方法 5
起源与发展 5
Sato和Nagao的方法 6
Kaji的方法 7
CMU的泛化的基于实例的机器翻译方法 7
基于实例的机器翻译方法的优缺点 8
1.4基于信源信道模型的统计机器翻译方法 8
IBM的统计机器翻译方法 9
王野翊在卡内基·梅隆大学(CMU)的工作 12
约翰·霍普金斯大学(JHU)的统计机器翻译夏季研讨班 13
Yamada和Knight的工作——基于句法的统计翻译模型 14
Och等的工作 14
1.5基于对数线性模型的统计机器翻译方法 15
对数线性模型 15
基于短语的统计翻译模型 16
基于句法的统计翻译模型 17
1.6多引擎机器翻译方法 18
Pangloss系统 18
Verbmobil系统 19
1.7机器翻译方法的分类 21
按翻译转换的层面进行分类 21
按语言知识的表示形式进行分类 22
1.8小结 23
第2章 基于层叠隐马尔可夫模型的汉语词法分析 25
2.1汉语分析技术概述 25
汉语词法分析的难点 25
汉语词法分析的任务和前人的工作 26
2.2汉语词法分析的层叠隐马尔可夫模型 28
隐马尔可夫模型简介 28
层叠隐马尔可夫模型的结构 29
层叠隐马尔可夫模型的核心数据结构——词图 30
层叠隐马尔可夫模型的参数训练 30
2.3粗切分:基于一元语法的N最短路径方法 31
2.4未定义词识别:基于角色的隐马尔可夫模型 32
模型的定义 32
角色的选取 32
角色的标注 34
未定义词的提取 34
参数训练 35
2.5未定义词的概率估计:基于角色的词语生成模型 35
问题的由来 35
模型的定义 36
2.6细切分:词汇化的隐马尔可夫模型 36
模型的定义 36
最短路径的求解 37
参数估计 37
2.7词性标注:基于词性的隐马尔可夫模型 38
基于隐马尔可夫模型的词性标注 38
词性标记集的选择与转换 38
2.8实验结果 42
各层隐马尔可夫模型的对比实验 42
在国家“973”计划评测中的测试结果 43
第一届国际分词大赛的评测结果 43
2.9小结 45
第3章 融合语义知识和词汇化上下文概率语法的汉语句法分析 46
3.1前言 46
3.2 Baseline句法分析器 46
3.3语义知识集成 48
语义类抽取 48
构建基于类的选择偏向模型 49
实验结果 50
性能改进分析 51
3.4基于汉语宾州树库的句法分析相关工作 52
3.5小结 53
第4章 汉语词法分析与句法分析融合策略研究 54
4.1引言 54
4.2句法分析系统 55
融合语义知识的词汇化概率上下文无关语法模型 55
结构上下文模型 56
多子模型句法分析器 56
4.3词法分析系统(ICTCLAS) 57
4.4融合策略 57
切分转换:基于转换的错误驱动学习 57
标记转换:条件随机场 58
转换实验 59
4.5实验与分析 60
4.6比较 62
4.7小结 63
第5章 基于“知网”的词汇语义相似度计算 64
5.1引言 64
5.2词语相似度及其计算的方法 64
什么是词语相似度 64
词语相似度与词语距离 65
词语相似度与词语相关性 65
词语相似度的计算方法 66
5.3“知网”简介 67
“知网”的结构 67
“知网”的知识描述语言 69
5.4基于“知网”的语义相似度计算方法 71
词语相似度计算 71
义原相似度计算 71
虚词概念的相似度的计算 72
实词概念的相似度的计算 72
5.5实验及结果 75
5.6小结 76
第6章 词语对齐的对数线性模型 78
6.1引言 78
6.2对数线性模型 79
6.3特征函数 80
IBM翻译模型 80
词性标记转换模型 80
双语词典 81
6.4训练 81
6.5搜索 82
6.6实验结果 83
6.7小结 87
第7章 一种双语短语结构对齐搜索算法 88
7.1双语对齐技术概述 88
各种层次的语言单位上的对齐技术 88
短语结构对齐的定义 89
短语结构对齐的过程 91
短语结构对齐的问题和难点 92
现有的短语结构对齐技术 93
7.2一种双语短语结构对齐的搜索算法 96
算法简介 96
局部对齐 97
短语结构对齐的柱形搜索(beam search)算法 99
局部对齐的归并 99
局部对齐的评分 100
搜索算法的时间复杂度分析 100
7.3实验及结果分析 100
实验方案 100
实验语料来源及规模 102
短语结构对齐的实例分析 102
实验结果及分析 106
实验结果的进一步分析 108
7.4小结 109
第8章 短语结构转换模板的提取与应用 110
8.1基于模板的机器翻译概述 110
8.2短语结构转换模板定义 111
8.3短语结构转换模板举例 112
8.4短语结构转换模板的提取 112
8.5短语结构转换模板的应用——基于模板的转换 115
8.6实验结果 117
实验语料的来源及规模 117
实验结果分析 117
8.7小结 124
第9章 微引擎流水线机器翻译系统结构 125
9.1微引擎流水线的基本思想 125
9.2微引擎流水线的系统结构 126
9.3微引擎流水线的公共数据结构 127
9.4各种微引擎的程序接口和功能说明 129
9.5微引擎调度算法 130
9.6面向新闻领域的汉英机器翻译系统 131
研究背景 131
系统实现方案 132
9.7实验结果及分析 134
9.8小结 135
第10章 总结及今后的工作 136
附录 汉语词性标记集ICTPOS 138
参考文献 143
后记 152