藏文分词与标注研究PDF电子书下载

第一章 绪论 1

一、藏文信息处理概述 1

（一）藏文文字处理 1

（二）藏文编码标准 3

（三）藏文操作系统 9

（四）藏语自然语言处理 10

二、藏文自动分词与词性标注的概念 11

（一）基本概念 11

（二）藏文自动分词与标注的重要性 13

（三）藏文自动分词与标注的目标 15

三、藏文自动分词的应用领域 16

（一）藏外电子翻译 16

（二）藏文智能信息检索 17

（三）语音处理技术 17

（四）自动文摘 18

第二章 分词与标注的原理 19

一、语言与词法分析 19

二、英语的词法分析 20

（一）形态学的基本概念 20

（二）英语形态分析 23

（三）英语的词类划分与标注集 27

（四）英语词性标注方法 28

三、汉语的词法分析 32

（一）汉文分词的概念 32

（二）汉文分词规范 33

（三）汉文词类与标注规范 34

（四）汉文分词方案 35

（五）汉文标注方案 52

（六）汉文分词与标注系统介绍 53

第三章 藏文与藏文文法 55

一、藏文概述 55

（一）藏文字的产生 55

（二）藏文字的厘定和改革 57

二、藏文文法概述 62

（一）古印度声明学体系 62

（二）文法理论的藏译 63

（三）藏文文法史 64

（四）藏文文法的主要内容 74

第四章 藏文自动分词及标注规范 81

一、藏文分词与标注规范说明 81

二、使用范围与参考规范 81

（一）使用范围 81

（二）参考规范 82

三、基本术语 82

四、分词与标注原则 84

五、词类划分与标注集 84

六、切分与标注细则 87

第五章 匹配与统计相结合的分词与标注 108

一、藏文分词标注现状 109

（一）分词与标注规范 109

（二）分词与标注系统 109

二、藏文分词标注语料库 110

（一）语料库的属性 110

（二）语料分类 112

（三）语料分布表 118

（四）标注语料实例 119

三、字符串匹配与统计相结合的藏文分词算法 120

（一）正向最大匹配方法 121

（二）逆向最大匹配方法 122

（三）双向最大匹配方法 123

（四）切分错误与切分歧义 123

四、分词词典机制 129

（一）分词词典数据 130

（二）词典的数据结构与搜索算法 132

五、基于隐马尔科夫模型的藏文词性标注 136

（一）统计与概率的基础概念 136

（二）统计语言模型 138

（三）隐马尔科夫模型（HMM） 140

（四）藏文兼类词 147

（五）藏文标注模型 149

（六）HMM模型参数训练 151

（七）韦特比算法 153

六、藏文分词与标注测评 158

（一）黄金标准 159

（二）评价指标 159

（三）中文测评 160

（四）藏文分词与标注测试 162

七、本方案存在的问题与改进的思路 167

（一）存在的问题 168

（二）今后的改进思路 168

八、本软件的使用 171

附录 172

1.藏文国际标准编码 172

2.英语词性标注集 180

3.信息处理用现代汉语分词规范 185

4.信息处理用现代汉语词类标记规范 194

参考文献 199