汉英机器翻译若干关键技术研究PDF电子书下载

第1章 机器翻译方法综述 1

1.1机器翻译的范式 2

1.2基于平行语法的机器翻译方法 2

Alshawi的基于加权中心词转录机的统计机器翻译方法 2

吴德凯的反向转录语法 3

Takeda的基于模式的机器翻译上下文无关语法 4

1.3基于实例的机器翻译方法 5

起源与发展 5

Sato和Nagao的方法 6

Kaji的方法 7

CMU的泛化的基于实例的机器翻译方法 7

基于实例的机器翻译方法的优缺点 8

1.4基于信源信道模型的统计机器翻译方法 8

IBM的统计机器翻译方法 9

王野翊在卡内基·梅隆大学（CMU）的工作 12

约翰·霍普金斯大学（JHU）的统计机器翻译夏季研讨班 13

Yamada和Knight的工作——基于句法的统计翻译模型 14

Och等的工作 14

1.5基于对数线性模型的统计机器翻译方法 15

对数线性模型 15

基于短语的统计翻译模型 16

基于句法的统计翻译模型 17

1.6多引擎机器翻译方法 18

Pangloss系统 18

Verbmobil系统 19

1.7机器翻译方法的分类 21

按翻译转换的层面进行分类 21

按语言知识的表示形式进行分类 22

1.8小结 23

第2章 基于层叠隐马尔可夫模型的汉语词法分析 25

2.1汉语分析技术概述 25

汉语词法分析的难点 25

汉语词法分析的任务和前人的工作 26

2.2汉语词法分析的层叠隐马尔可夫模型 28

隐马尔可夫模型简介 28

层叠隐马尔可夫模型的结构 29

层叠隐马尔可夫模型的核心数据结构——词图 30

层叠隐马尔可夫模型的参数训练 30

2.3粗切分：基于一元语法的N最短路径方法 31

2.4未定义词识别：基于角色的隐马尔可夫模型 32

模型的定义 32

角色的选取 32

角色的标注 34

未定义词的提取 34

参数训练 35

2.5未定义词的概率估计：基于角色的词语生成模型 35

问题的由来 35

模型的定义 36

2.6细切分：词汇化的隐马尔可夫模型 36

模型的定义 36

最短路径的求解 37

参数估计 37

2.7词性标注：基于词性的隐马尔可夫模型 38

基于隐马尔可夫模型的词性标注 38

词性标记集的选择与转换 38

2.8实验结果 42

各层隐马尔可夫模型的对比实验 42

在国家“973”计划评测中的测试结果 43

第一届国际分词大赛的评测结果 43

2.9小结 45

第3章 融合语义知识和词汇化上下文概率语法的汉语句法分析 46

3.1前言 46

3.2 Baseline句法分析器 46

3.3语义知识集成 48

语义类抽取 48

构建基于类的选择偏向模型 49

实验结果 50

性能改进分析 51

3.4基于汉语宾州树库的句法分析相关工作 52

3.5小结 53

第4章 汉语词法分析与句法分析融合策略研究 54

4.1引言 54

4.2句法分析系统 55

融合语义知识的词汇化概率上下文无关语法模型 55

结构上下文模型 56

多子模型句法分析器 56

4.3词法分析系统（ICTCLAS） 57

4.4融合策略 57

切分转换：基于转换的错误驱动学习 57

标记转换：条件随机场 58

转换实验 59

4.5实验与分析 60

4.6比较 62

4.7小结 63

第5章 基于“知网”的词汇语义相似度计算 64

5.1引言 64

5.2词语相似度及其计算的方法 64

什么是词语相似度 64

词语相似度与词语距离 65

词语相似度与词语相关性 65

词语相似度的计算方法 66

5.3“知网”简介 67

“知网”的结构 67

“知网”的知识描述语言 69

5.4基于“知网”的语义相似度计算方法 71

词语相似度计算 71

义原相似度计算 71

虚词概念的相似度的计算 72

实词概念的相似度的计算 72

5.5实验及结果 75

5.6小结 76

第6章 词语对齐的对数线性模型 78

6.1引言 78

6.2对数线性模型 79

6.3特征函数 80

IBM翻译模型 80

词性标记转换模型 80

双语词典 81

6.4训练 81

6.5搜索 82

6.6实验结果 83

6.7小结 87

第7章 一种双语短语结构对齐搜索算法 88

7.1双语对齐技术概述 88

各种层次的语言单位上的对齐技术 88

短语结构对齐的定义 89

短语结构对齐的过程 91

短语结构对齐的问题和难点 92

现有的短语结构对齐技术 93

7.2一种双语短语结构对齐的搜索算法 96

算法简介 96

局部对齐 97

短语结构对齐的柱形搜索（beam search）算法 99

局部对齐的归并 99

局部对齐的评分 100

搜索算法的时间复杂度分析 100

7.3实验及结果分析 100

实验方案 100

实验语料来源及规模 102

短语结构对齐的实例分析 102

实验结果及分析 106

实验结果的进一步分析 108

7.4小结 109

第8章 短语结构转换模板的提取与应用 110

8.1基于模板的机器翻译概述 110

8.2短语结构转换模板定义 111

8.3短语结构转换模板举例 112

8.4短语结构转换模板的提取 112

8.5短语结构转换模板的应用——基于模板的转换 115

8.6实验结果 117

实验语料的来源及规模 117

实验结果分析 117

8.7小结 124

第9章 微引擎流水线机器翻译系统结构 125

9.1微引擎流水线的基本思想 125

9.2微引擎流水线的系统结构 126

9.3微引擎流水线的公共数据结构 127

9.4各种微引擎的程序接口和功能说明 129

9.5微引擎调度算法 130

9.6面向新闻领域的汉英机器翻译系统 131

研究背景 131

系统实现方案 132

9.7实验结果及分析 134

9.8小结 135

第10章 总结及今后的工作 136

附录 汉语词性标记集ICTPOS 138

参考文献 143

后记 152