中文信息处理技术教程PDF电子书下载

目录 1

第1章　概论 1

1.1　信息处理 1

1.2　中文信息处理 2

1.3　计算机中文信息处理主要研究对象 3

1.4　现代汉语的特点 12

1.5 中文信息处理的国际化和本地化 18

思考题 20

第2章　汉字信息在计算机内部的表示 21

2.1　英文字符在计算机内部的表示 21

2.2 中文信息在计算机中的表示 24

2.3　汉字代码体系 25

2.4　汉字的排序 27

2.5　汉字编码字符集 28

思考题 37

第3章　汉字字符编码集的应用 39

3.1　汉字的简繁转换 39

3.1.1　汉字简化字标准介绍 39

3.1.2　简繁—繁简转换中遇到的问题 40

3.1.3　汉字简繁—繁简转换的实现 41

3.2　Intemet上常用的字符编码集 42

3.2.1　UUENCODE编码 43

3.2.2　QUOTED-PRINTABLE编码 44

3.2.3　BASE64编码 45

3.2.4　HZ编码 46

3.2.5　UTF编码 46

思考题 50

附录 51

第4章　汉字编码技术 55

4.1　汉字编码的发展 55

4.2　汉字编码中的几个概念 56

4.2.1　字符集／字汇和词汇 56

4.2.2　码元 56

4.3.1　汉字的熵 57

4.3　汉字编码理论 57

4.2.5　编码空间和编码效率 57

4.2.4　单码和重码 57

4.2.3　码长 57

4.3.2　汉字键盘编码的依据 59

4.3.3　汉字编码分类 62

4.3.4　键盘编码和键盘 63

4.4　数码键盘方案 67

4.4.1　纵横码 68

4.4.2　五笔数码 68

4.4.3　统一码 69

4.5　汉字编码的标准和规范 70

4.5.1　汉字编码国家标准和规范 70

4.5.3　汉字键盘编码和输入系统的性能指标 71

8.3　汉字显示技术实例 1 71

4.5.2　与汉字编码有关的标准与规范说明 71

思考题 73

第5章　中文平台与中文操作系统 74

5.1 中文平台与中文操作系统历史 74

5.2　中文操作系统设计方法 75

5.3　汉字处理模块与汉字代码体系 77

5.4　常用中文操作系统简介 78

5.4.1　CC-DOS 78

5.4.2　中文Windows 79

5.4.3　中文Linux操作系统 81

5.4.4　中文嵌入式操作系统 83

思考题 86

6.1.1　汉字输入发展史 87

第6章　汉字输入技术 87

6.1　汉字输入技术概述 87

6.1.2　汉字输入分类 88

6.1.3　汉字输入技术的发展和应用 91

6.2　汉字键盘输入技术 93

6.2.1　键盘 93

6.2.2　汉字键盘输入原理 95

6.2.3　键盘汉字输入的总体流程 97

6.2.4　输入码对照表的设计 98

6.3　汉字键盘输入系统 108

6.3.1　汉字输入系统的分类 108

6.3.2　汉字输入系统的功能 109

6.3.3　汉字键盘输入系统的工作流程 111

6.4　Windows汉字输入技术 112

6.4.1　概述 112

6.4.2　Windows 中的汉字输入原理 114

6.4.3　输入法生成器 116

6.4.4　在SDK和DDK环境下开发输入系统 117

6.5　Linux下的汉字输入系统 117

6.5.1　概述 117

6.5.2　XIM协议 118

6.5.3　输入法服务器和输入法 121

6.5.4　输入法设计 123

思考题 124

7.1.1　汉字字形及其特点 126

7.1　汉字字形概述 126

第7章　汉字字形和字形库管理技术 126

7.1.2　字形、字型和字形库 128

7.1.3　字形描述技术及其种类 129

7.2　字形描述技术 129

7.2.1　点阵字形描述技术 129

7.2.2　轮廓矢量字形描述技术 132

7.2.3 曲线轮廓字形描述技术 132

7.2.4　其他字形描述技术 134

7.3　字形的压缩和还原 135

7.3.1　字形点阵的压缩和还原 136

7.3.2　轮廓矢量字形的压缩方法 137

7.3.3　其他字形压缩技术 139

7.4　字形的放大和缩小 141

7.4.1　汉字的字号 141

7.4.3　防止字形放大和缩小失真的措施 142

7.4.2　字形放大和缩小的基本原理 142

7.4.4　字形放大缩小的应用 144

7.5　TTF字形技术 145

7.5.1　什么是TrueType 145

7.5.2 TrueType的基本原理 145

7.5.3 TrueType字体文件结构 147

7.5.4 TrueType的特点和优势 148

7.5.5 TrueType的应用 149

7.5.6 OpenType的出现 151

7.6 字库的设计和管理技术 152

7.6.1　汉字字库的基本要求 152

7.6.2　汉字库性能的评测 153

7.6.3　汉字库结构的设计 154

7.6.4　点阵字库的制作 155

7.7.1　造字程序的使用 157

7.7　汉字字库的应用 157

7.7.2　安装新字体 159

思考题 160

第8章　汉字输出技术 161

8.1　汉字的输出技术综述 161

8.2　汉字显示输出原理和基本结构 162

8.2.1　显示设备 162

8.2.2　汉字显示的原理 168

8.2.3　内码缓冲区和字形缓冲区 169

8.2.4　汉字显示输出过程 170

8.2.5　汉字终端 171

8.3.1　DOS下的汉字显示技术 171

8.3.2　Windows的汉字显示技术 173

8.4　打印输出原理和基本结构 178

8.4.1　打印设备 178

8.4.2　汉字打印概述 179

8.4.3　汉字打印原理 180

8.4.4　汉字打印过程 181

8.4.5　汉字打印机 181

思考题 182

第9章　汉语分词 183

9.1　汉语分词的概念 183

9.2　分词词典 185

9.2.1　分词词典简介 185

9.2.2　基于词属性的分词词典 186

9.2.3　基于二次索引的分词词典 188

9.3　常用的汉语分词算法 189

9.3.1　正向最大匹配算法 190

9.3.3　邻近匹配算法 191

9.3.2　逆向最大匹配算法 191

9.3.4　最短路径匹配算法 193

9.3.5　基于统计的最短路径分词算法 195

9.4　无词典分词方法 196

9.4.1　分词模型 196

9.4.2　无词典分词算法 197

9.5　交集型歧义的切分 199

9.5.1　基本概念 200

9.5.2　利用互信息和t-测试差处理交集型歧义切分 201

思考题 202

10.1　信息检索概述 203

10.1.1　信息检索的定义 203

第10章　中文信息检索 203

10.1.2　结构、半结构和非结构化文档 204

10.1.3　信息检索的任务 205

10.1.4　信息检索的评测 206

10.1.5　中文信息检索的特点 207

10.1.6　信息检索的模型 207

10.1.7　信息检索系统的结构 208

10.2　基于统计的信息检索模型 209

10.2.1　传统的布尔模型 210

10.2.2　扩展的布尔模型 210

10.2.3　向量空间模型 212

10.2.4　概率模型 218

10.3　基于语义的信息检索 225

10.3.1 自然语言处理 225

10.3.2　潜在语义索引 228

10.3.3　神经网络 234

10.4　信息检索系统介绍 235

10.5　Web信息检索 236

10.5.1　Web信息检索系统 237

10.5.2　Web信息检索的特点 238

10.5.3　搜索引擎 240

10.5.4　搜索引擎的网页分级算法 244

10.5.5　常用Web搜索引擎 248

10.5.6　搜索引擎技术的发展趋势 249

思考题 250

第11章　中文信息抽取 251

11.1　信息抽取概述 251

11.1.1　信息抽取的含义 251

11.1.3　信息抽取和信息检索 252

11.1.2　信息抽取实例 252

11.1.4　中文信息抽取的特殊性 253

11.1.5　信息抽取的历史和现状 253

11.1.6　信息抽取系统的评测 256

11.1.7　信息抽取任务 256

11.2　信息抽取系统的结构 258

11.2.1　信息抽取系统的构建方法 258

11.2.2　通用信息抽取结构 259

11.2.3　Bare Bones结构 260

11.3　信息抽取中的自然语言处理技术 261

11.3.1　命名实体识别 261

11.3.2　句法分析 261

11.3.3　文章分析和推理 262

11.3.4　知识理解 262

11.4.1　基于规则的信息抽取技术 263

11.4　信息抽取技术 263

11.4.2　隐马尔可夫模型 267

11.5　Web信息抽取 271

11.5.1基于自然语言处理方式的信息抽取 272

11.5.2　包装器方式的信息抽取 272

1 1.5.3　基于本体方式的信息抽取 273

11.5.4　基于HTML结构的信息抽取 273

11.5.5　基于Web查询的信息抽取 274

思考题 274

第12章　中文文本分类技术 . 275

12.1　文本分类的概念 275

12.1.1　什么是文本分类 275

12.1.2　文本分类的两种类型 275

12.1.4　中文文本分类 276

12.1.3　文本分类的两种方式 276

12.1.5　文本分类的国内外研究情况 277

12.2　文本特征的选择 278

12.2.1　预处理 278

12.2.2　文本特征的选择 278

12.3　文本分类方法 281

12.3.1　Rocchio方法——相似度计算方法 281

12.3.2　Na？ve Bayes——贝叶斯方法 281

12.3.3　KNN方法——K近邻方法 282

12.3.4　SVM——支持向量机 282

12.3.5　Decision Tree——决策树方法 283

12.4　选择阈值的策略 284

12.5　评估方法 285

思考题 286

参考文献 287