第一部分 基础知识 2
第1章 绪论 2
1.1 概述 3
1.1.1 第1章：绪论 3
1.1.2 第2章：词、句子和语料 3
1.1.3 第3章：概率论 4
1.1.4 第4章：基于词的翻译模型 4
1.1.5 第5章：基于短语的翻译模型 5
1.1.6 第6章：解码 5
1.1.7 第7章：语言模型 6
1.1.8 第8章：评测 6
1.1.9 第9章：判别式训练 7
1.1.10 第10章：整合语言学信息 8
1.1.11 第11章：基于树的翻译模型 8
1.2 机器翻译简史 9
1.2.1 肇始 9
1.2.2 ALPAC报告及其后果 9
1.2.3 首批商用系统 10
1.2.4 基于中间语系统的研究 10
1.2.5 数据驱动方法 11
1.2.6 目前的开发商 11
1.2.7 技术现状 12
1.3 应用 13
1.3.1 全自动高质量机器翻译 13
1.3.2 要旨翻译 13
1.3.3 集成语音技术 14
1.3.4 手持设备中的翻译 14
1.3.5 后编辑 15
1.3.6 译者的工具 15
1.4 可用资源 15
1.4.1 工具 15
1.4.2 语料 16
1.4.3 评测竞赛 16
1.5 小结 17
1.5.1 核心概念 17
1.5.2 延伸阅读 17
1.6 习题 20
第2章 词、句子和语料 21
2.1 词 21
2.1.1 词例化 21
2.1.2 词的分布 22
2.1.3 词性 25
2.1.4 形态学 26
2.1.5 词汇语义学 28
2.2 句子 29
2.2.1 句子结构 30
2.2.2 语法理论 31
2.2.3 句子结构的翻译 34
2.2.4 语篇 35
2.3 语料 35
2.3.1 文本的类型 35
2.3.2 获取平行语料 36
2.3.3 句子对齐 37
2.4 小结 38
2.4.1 核心概念 38
2.4.2 延伸阅读 39
2.4.3 习题 41
第3章 概率论 42
3.1 概率分布估计 42
3.1.1 估计分析 42
3.1.2 常见概率分布 42
3.1.3 基于统计的概率估计 44
3.2 概率分布计算 45
3.2.1 形式定义 45
3.2.2 联合概率分布 45
3.2.3 条件概率分布 46
3.2.4 贝叶斯法则 46
3.2.5 插值 47
3.3 概率分布的特性 47
3.3.1 均值和方差 47
3.3.2 期望和方差 48
3.3.3 熵 48
3.3.4 互信息 49
3.4 小结 51
3.4.1 核心概念 51
3.4.2 延伸阅读 51
3.4.3 习题 51
第二部分 核心方法 54
第4章 基于词的翻译模型 54
4.1 基于词的机器翻译 54
4.1.1 词汇翻译 54
4.1.2 数据统计 54
4.1.3 估计概率分布 55
4.1.4 对齐 55
4.1.5 IBM模型1 57
4.2 学习词汇翻译模型 58
4.2.1 语料不完备问题 58
4.2.2 期望最大化算法 59
4.2.3 IBM模型1中的期望最大化算法 59
4.2.4 困惑度 62
4.3 确保流畅的输出 63
4.3.1 流利译文的经验证据 63
4.3.2 语言模型 64
4.3.3 噪声信道模型 64
4.4 更高级的IBM模型 65
4.4.1 IBM模型2 65
4.4.2 IBM模型3 67
4.4.3 训练模型3：采样对齐空间 70
4.4.4 IBM模型4 71
4.4.5 IBM模型5 75
4.5 词对齐 77
4.5.1 词对齐任务 77
4.5.2 词对齐质量评估 78
4.5.3 基于IBM模型的词对齐 78
4.6 小结 80
4.6.1 核心概念 80
4.6.2 延伸阅读 81
4.6.3 习题 84
第5章 基于短语的翻译模型 85
5.1 标准模型 85
5.1.1 基于短语的翻译模型提出的动因 85
5.1.2 数学定义 86
5.2 学习短语翻译表 87
5.2.1 从词对齐中抽取短语 87
5.2.2 一致性定义 87
5.2.3 短语抽取算法 88
5.2.4 应用实例 90
5.2.5 短语翻译概率估计 91
5.3 翻译模型的扩展 92
5.3.1 对数线性模型 92
5.3.2 双向翻译概率 93
5.3.3 词汇化加权 94
5.3.4 词语惩罚 95
5.3.5 短语惩罚 95
5.3.6 作为分类问题的短语翻译 95
5.4 调序模型的扩展 96
5.4.1 调序限制 96
5.4.2 词汇化调序 97
5.5 基于短语模型的期望最大化训练 98
5.5.1 短语对齐的联合模型 98
5.5.2 对齐空间的复杂度 99
5.5.3 模型训练 99
5.6 小结 100
5.6.1 核心概念 100
5.6.2 延伸阅读 100
5.6.3 习题 103
第6章 解码 104
6.1 翻译过程 104
6.1.1 翻译一个句子 104
6.1.2 计算句子的翻译概率 105
6.2 柱搜索 106
6.2.1 翻译选项 106
6.2.2 通过假设扩展的解码过程 107
6.2.3 计算复杂度 107
6.2.4 翻译假设重组 108
6.2.5 栈解码 109
6.2.6 直方图剪枝和阈值剪枝 110
6.2.7 调序限制 112
6.3 未来代价估计 112
6.3.1 不同的翻译困难 112
6.3.2 翻译选项的未来代价估计 113
6.3.3 任意输入跨度的未来代价估计 114
6.3.4 在搜索中使用未来代价 115
6.4 其他解码算法 116
6.4.1 基于覆盖栈的柱搜索算法 116
6.4.2 A＊搜索算法 116
6.4.3 贪婪爬山解码 117
6.4.4 有限状态转换机解码 118
6.5 小结 118
6.5.1 核心概念 118
6.5.2 延伸阅读 119
6.5.3 习题 120
第7章 语言模型 121
7.1 n元文法语言模型 121
7.1.1 马尔可夫链 122
7.1.2 估计 122
7.1.3 困惑度 123
7.2 计数平滑 126
7.2.1 加1平滑法 127
7.2.2 删除估计平滑法 128
7.2.3 古德－图灵平滑法 129
7.2.4 评估 132
7.3 插值和后备 132
7.3.1 插值 133
7.3.2 递归插值 133
7.3.3 后备 134
7.3.4 预测词的差异性 134
7.3.5 历史的差异性 135
7.3.6 修正的Kneser-Ney平滑算法 136
7.3.7 评估 137
7.4 控制语言模型的大小 138
7.4.1 不同的n元文法的数目 138
7.4.2 在磁盘上进行估计 139
7.4.3 高效的数据结构 139
7.4.4 减小词汇表规模 141
7.4.5 抽取相关的n元文法 142
7.4.6 根据需要加载n元文法 143
7.5 小结 144
7.5.1 核心概念 144
7.5.2 延伸阅读 145
7.5.3 习题 145
第8章 评测 147
8.1 人工评测 147
8.1.1 流利度和忠实度 147
8.1.2 评测目的 149
8.1.3 其他评测标准 150
8.2 自动评测 150
8.2.1 准确率和召回率 150
8.2.2 词错误率 152
8.2.3 BLEU：一个双语评测的替代指标 153
8.2.4 METEOR 154
8.2.5 关于评测的争论 155
8.2.6 评测指标的评测 156
8.2.7 自动评测不足的证据 157
8.3 假设检验 158
8.3.1 计算置信区间 158
8.3.2 成对比较 159
8.3.3 自举重采样 160
8.4 面向任务的评测 161
8.4.1 后编辑的代价 161
8.4.2 内容理解测试 162
8.5 小结 163
8.5.1 核心概念 163
8.5.2 延伸阅读 164
8.5.3 习题 166
第三部分 前沿研究 168
第9章 判别式训练 168
9.1 寻找候选译文 168
9.1.1 搜索图 169
9.1.2 词格 169
9.1.3 n-best列表 170
9.2 判别式方法的原理 172
9.2.1 译文的特征表示 173
9.2.2 标注译文的正确性 174
9.2.3 监督学习 175
9.2.4 最大熵 176
9.3 参数调节 178
9.3.1 实验设置 178
9.3.2 Powell搜索方法 179
9.3.3 单纯型算法 183
9.4 大规模判别式训练 184
9.4.1 训练问题 185
9.4.2 目标函数 185
9.4.3 梯度下降 186
9.4.4 感知机 187
9.4.5 正则化 188
9.5 后验方法与系统融合 188
9.5.1 最小贝叶斯风险 189
9.5.2 置信度估计 190
9.5.3 系统融合 190
9.6 小结 192
9.6.1 核心概念 192
9.6.2 延伸阅读 193
9.6.3 习题 194
第10章 整合语言学信息 196
10.1 直译 197
10.1.1 数字和名字 197
10.1.2 名字翻译 198
10.1.3 直译的有限状态方法 198
10.1.4 资源 200
10.1.5 反向直译与翻译 200
10.2 形态学 201
10.2.1 词素 201
10.2.2 简化丰富的形态变化 202
10.2.3 翻译形态丰富的语言 204
10.2.4 单词拆分 204
10.3 句法重构 205
10.3.1 基于输入语言句法的调序 205
10.3.2 学习调序规则 206
10.3.3 基于词性标记的调序 207
10.3.4 基于句法树的调序 208
10.3.5 预留选择 210
10.4 句法特征 211
10.4.1 方法论 211
10.4.2 数的一致性 211
10.4.3 一致性 212
10.4.4 句法分析概率 213
10.5 因子化翻译模型 214
10.5.1 因子化翻译的分解 214
10.5.2 因子化模型训练 216
10.5.3 模块的融合 216
10.5.4 高效解码 217
10.6 小结 217
10.6.1 核心概念 217
10.6.2 延伸阅读 218
10.6.3 习题 222
第11章 基于树的翻译模型 223
11.1 同步文法 223
11.1.1 短语结构语法 223
11.1.2 同步短语结构语法 224
11.1.3 同步树替换文法 225
11.2 同步文法的学习 227
11.2.1 层次短语模型的学习 227
11.2.2 句法翻译规则的学习 229
11.2.3 规则的简化 232
11.2.4 文法规则的打分 233
11.3 基于句法分析算法的解码 233
11.3.1 线图分析 233
11.3.2 核心算法 235
11.3.3 线图的组织 236
11.3.4 假设重组 236
11.3.5 栈剪枝 237
11.3.6 文法规则的使用 238
11.3.7 立方剪枝 241
11.3.8 文法二叉化 243
11.3.9 外向代价估计 245
11.4 小结 246
11.4.1 核心概念 246
11.4.2 延伸阅读 246
11.4.3 习题 250
参考文献 251
索引 296