统计语言学PDF电子书下载

第1章 概论 1

1.1 统计语言学 1

1.2 统计语言学与其他学科 1

1.2.1 计量语言学 1

1.2.2 计算语言学 2

1.2.3 语料库语言学 2

1.2.4 与三个学科的联系与区别 3

1.3 使用统计方法研究的语言特征 3

1.4 统计语言学基本研究方法 4

1.5 统计语言学研究的步骤 5

1.6 统计的语言学应用 6

第2章 语料库 7

2.1 语料库的定义 7

2.2 语料库的类型 7

2.2.1 口语语料库与书面语语料库 8

2.2.2 单语语料库、双语语料库与多语语料库 8

2.2.3 通用语料库与专用语料库 8

2.2.4 共时语料库与历时语料库 9

2.2.5 动态语料库与静态语料库 9

2.2.6 同质语料库与异质语料库 10

2.2.7 生语料库与标注语料库 10

2.3 国内外主要语料库 10

2.3.1 国外的语料库 10

2.3.2 国内的语料库 26

2.4 本章小结 37

第3章 统计在语言研究中的基本应用 38

3.1 统计学的基本概念 38

3.1.1 总体、个体、样本 38

3.1.2 参数与统计量 39

3.1.3 常量、变量 39

3.1.4 实际值与观测值 39

3.2 平均数 39

3.2.1 简单算术平均数 40

3.2.2 加权算术平均数 41

3.3 方差与标准差 41

3.3.1 未分组数据的方差与标准差 41

3.3.2 分组数据的方差与标准差 42

3.4 频度、频率、概率、条件概率、贝叶斯定理 43

3.4.1 概率论中的常用概念 43

3.4.2 概率 44

3.4.3 独立性 45

3.4.4 贝叶斯定理 46

3.4.5 频度与频率 47

3.5 互信息 47

3.6 Z评分 49

3.7 Dice系数 50

3.8 Phi平方系数（Ф2） 50

3.9 对数似然比 51

3.10 N元模型 51

3.10.1 N元语法 51

3.10.2 N元语法模型 52

3.11 语言学三大统计规律 53

3.11.1 Zipf法则 53

3.11.2 Menzerath-Altmann定律 56

3.11.3 Piotrowski-Altmann定律 57

3.12 熵 57

3.12.1 静态平均信息熵 57

3.12.2 极限熵 58

3.13 Yule图 59

3.14 Fuchs公式 60

3.15 使用度与通用度 61

3.15.1 使用度 61

3.15.2 通用度 62

3.16 本章小结 62

第4章 假设检验 64

4.1 假设检验的相关概念 64

4.1.1 假设检验的基本原理 64

4.1.2 假设的分类 64

4.1.3 检验统计量与临界值 65

4.1.4 双尾检验与单尾检验 65

4.1.5 假设检验的一般步骤 66

4.1.6 假设检验中的两类错误 66

4.2 参数假设检验 66

4.2.1 正态分布 67

4.2.2 U检验 73

4.2.3 t检验 75

4.2.4 x2检验 79

4.2.5 F检验 80

4.2.6 参数假设检验比较 81

4.3 非参数假设检验 83

4.3.1 x2检验 83

4.3.2 秩和检验 88

4.3.3 非参数假设检验比较 92

4.4 本章小结 92

第5章 方差分析 94

5.1 方差分析的定义及基本思想 94

5.1.1 方差分析的定义 94

5.1.2 方差分析的基本思想 95

5.2 方差分析的基本概念和使用条件 95

5.2.1 方差分析中的基本概念 95

5.2.2 使用方差分析的条件 97

5.3 方差分析的类型和一般步骤 102

5.3.1 方差分析的类型 102

5.3.2 方差分析的一般步骤 102

5.4 单因素方差分析 102

5.4.1 各个因素水平间的样本容量相同 103

5.4.2 各个因素水平间的样本容量不完全相同 107

5.4.3 方差分析中的多重比较 108

5.5 双因素方差分析 110

5.5.1 无重复双因素方差分析 111

5.5.2 可重复双因素方差分析 116

5.6 本章小结 122

第6章 文本聚类 123

6.1 文本聚类概述 123

6.1.1 文本聚类定义 123

6.1.2 文本聚类的流程 124

6.2 文本聚类中的数据 125

6.2.1 聚类分析中使用的数据结构 125

6.2.2 数据归一化处理 127

6.3 相似度计算 130

6.3.1 文本相似度的计算 130

6.3.2 特征相似度的计算 132

6.4 聚类算法 134

6.4.1 层次聚类 134

6.4.2 划分聚类 142

6.4.3 划分聚类与层次聚类的联系和区别 146

6.5 文本聚类性能评价 147

6.5.1 纯度 147

6.5.2 归一化互信息 148

6.5.3 精确度 149

6.5.4 F值 151

6.6 本章小结 152

第7章 文本分类 153

7.1 文本分类的定义 153

7.2 分类方法 154

7.2.1 基于知识工程的方法 154

7.2.2 基于机器学习的方法 154

7.3 分类步骤与流程 155

7.4 文本表示与特征选择 156

7.4.1 特征项选择 156

7.4.2 词袋模型 156

7.4.3 向量空间模型 158

7.4.4 特征筛选与权重 159

7.5 向量相似度测量 162

7.6 分类模型 163

7.6.1 朴素贝叶斯（Na？ve Bayes） 163

7.6.2 k-最近邻（k-Nearest Neighbor） 166

7.6.3 支持向量机（Support Vector Machines） 167

7.7 文本分类的评价 169

7.7.1 准确率、召回率 169

7.7.2 正确率、错误率 170

7.7.3 F值 170

7.7.4 微平均和宏平均 171

7.8 本章小结 171

第8章 R语言简介 172

8.1 R语言的帮助文件 172

8.1.1 R的基本知识在线帮助 173

8.1.2 R程序中的关键字符及函数的在线帮助 173

8.2 R程序包 175

8.2.1 程序包的安装 175

8.2.2 程序包的载入 176

8.3 R语言的数据结构及基本函数 176

8.3.1 R语言的对象类型 176

8.3.2 R语言的对象的建立 177

8.3.3 数值型向量的常用统计函数 184

8.4 数据的读取和存储 185

8.4.1 数据的读取 185

8.4.2 数据的存储 188

8.5 R的基本绘图 189

8.5.1 饼图（Pie Plot） 190

8.5.2 条形图（Barplot） 191

8.5.3 直方图（Hist） 193

8.5.4 折线图（Matplot） 194

8.5.5 箱线图（Boxplot） 196

8.5.6 散点图（Scatter Diagram） 198

8.5.7 散点图矩阵（Scatterplot Matrices） 199

8.6 假设检验 200

8.6.1 参数假设检验 200

8.6.2 非参数假设检验 204

8.7 方差分析 209

8.7.1 方差齐性检验 209

8.7.2 单因素方差分析 210

8.7.3 双因素方差分析 214

8.8 本章小结 216

第9章 计算风格学研究 218

9.1 计算风格学研究使用的语言特征 218

9.1.1 字符方面 219

9.1.2 词汇方面 219

9.1.3 句子方面 220

9.1.4 词类方面 222

9.1.5 短语和语法结构方面 222

9.1.6 段落方面 222

9.2 计算风格学研究中常使用的方法 223

9.3 莫言与余华小说计算风格学研究 223

9.3.1 基于频率的风格分析 223

9.3.2 假设检验的文本风格分析 227

9.3.3 基于文本聚类的风格分析 231

9.3.4 基于文本分类的风格分析 233

9.3.5 小结 234

9.4 本章小结 235

附录 常用的统计数表 236

附表1 标准正态分布函数数值表 237

附表2 正态性检验统计量W的系数ai（n）的值 238

附表3 正态性检验统计量W的α分位数Wα表 240

附表4 正态性检验统计量Y的α分位数Yα表 241

附表5 t检验临界值表 242

附表6 x2检验临界值表 243

附表7 F检验临界值表 244

附表8 Wilcoxon秩和检验临界值表 249

附表9 统计量H的分位数H1-α（r,f）表 252

附表10 多重比较q1-α（r,f）表 253

参考文献 256