基于深度学习的自然语言处理PDF电子书下载

第1章 引言 1

1.1 自然语言处理的挑战 1

1.2 神经网络和深度学习 2

1.3 自然语言处理中的深度学习 3

1.4 本书的覆盖面和组织结构 5

1.5 本书未覆盖的内容 7

1.6 术语 7

1.7 数学符号 7

注释 8

第一部分 有监督分类与前馈神经网络 13

第2章 学习基础与线性模型 13

2.1 有监督学习和参数化函数 13

2.2 训练集、测试集和验证集 14

2.3 线性模型 16

2.3.1 二分类 16

2.3.2 对数线性二分类 20

2.3.3 多分类 20

2.4 表示 21

2.5 独热和稠密向量表示 22

2.6 对数线性多分类 23

2.7 训练和最优化 24

2.7.1 损失函数 25

2.7.2 正则化 27

2.8 基于梯度的最优化 29

2.8.1 随机梯度下降 29

2.8.2 实例 31

2.8.3 其他训练方法 32

第3章 从线性模型到多层感知器 34

3.1 线性模型的局限性：异或问题 34

3.2 非线性输入转换 34

3.3 核方法 35

3.4 可训练的映射函数 35

第4章 前馈神经网络 37

4.1 一个关于大脑的比喻 37

4.2 数学表示 38

4.3 表达能力 40

4.4 常见的非线性函数 41

4.5 损失函数 42

4.6 正则化与丢弃法 42

4.7 相似和距离层 43

4.8 嵌入层 44

第5章 神经网络训练 45

5.1 计算图的抽象概念 45

5.1.1 前向计算 47

5.1.2 反向计算（导数、反向传播） 47

5.1.3 软件 48

5.1.4 实现流程 51

5.1.5 网络构成 51

5.2 实践经验 51

5.2.1 优化算法的选择 52

5.2.2 初始化 52

5.2.3 重启与集成 52

5.2.4 梯度消失与梯度爆炸 53

5.2.5 饱和神经元与死神经元 53

5.2.6 随机打乱 54

5.2.7 学习率 54

5.2.8 minibatch 54

第二部分 处理自然语言数据 57

第6章 文本特征构造 57

6.1 NLP分类问题中的拓扑结构 57

6.2 NLP问题中的特征 59

6.2.1 直接可观测特征 59

6.2.2 可推断的语言学特征 62

6.2.3 核心特征与组合特征 66

6.2.4 n元组特征 66

6.2.5 分布特征 67

第7章 NLP特征的案例分析 69

7.1 文本分类：语言识别 69

7.2 文本分类：主题分类 69

7.3 文本分类：作者归属 70

7.4 上下文中的单词：词性标注 71

7.5 上下文中的单词：命名实体识别 72

7.6 上下文中单词的语言特征：介词词义消歧 74

7.7 上下文中单词的关系：弧分解分析 76

第8章 从文本特征到输入 78

8.1 编码分类特征 78

8.1.1 独热编码 78

8.1.2 稠密编码（特征嵌入） 79

8.1.3 稠密向量与独热表示 80

8.2 组合稠密向量 81

8.2.1 基于窗口的特征 81

8.2.2 可变特征数目：连续词袋 82

8.3 独热和稠密向量间的关系 82

8.4 杂项 83

8.4.1 距离与位置特征 83

8.4.2 补齐、未登录词和词丢弃 84

8.4.3 特征组合 85

8.4.4 向量共享 86

8.4.5 维度 86

8.4.6 嵌入的词表 86

8.4.7 网络的输出 87

8.5 例子：词性标注 87

8.6 例子：弧分解分析 89

第9章 语言模型 91

9.1 语言模型任务 91

9.2 语言模型评估：困惑度 92

9.3 语言模型的传统方法 93

9.3.1 延伸阅读 94

9.3.2 传统语言模型的限制 94

9.4 神经语言模型 95

9.5 使用语言模型进行生成 97

9.6 副产品：词的表示 98

第10章 预训练的词表示 100

10.1 随机初始化 100

10.2 有监督的特定任务的预训练 100

10.3 无监督的预训练 101

10.4 词嵌入算法 102

10.4.1 分布式假设和词表示 103

10.4.2 从神经语言模型到分布式表示 107

10.4.3 词语联系 110

10.4.4 其他算法 111

10.5 上下文的选择 112

10.5.1 窗口方法 112

10.5.2 句子、段落或文档 113

10.5.3 句法窗口 113

10.5.4 多语种 114

10.5.5 基于字符级别和子词的表示 115

10.6 处理多字单元和字变形 116

10.7 分布式方法的限制 117

第11章 使用词嵌入 119

11.1 词向量的获取 119

11.2 词的相似度 119

11.3 词聚类 120

11.4 寻找相似词 120

11.5 同中选异 121

11.6 短文档相似度 121

11.7 词的类比 122

11.8 改装和映射 122

11.9 实用性和陷阱 124

第12章 案例分析：一种用于句子意义推理的前馈结构 125

12.1 自然语言推理与SNLI数据集 125

12.2 文本相似网络 126

第三部分 特殊的结构 131

第13章 n元语法探测器：卷积神经网络 131

13.1 基础卷积＋池化 132

13.1.1 文本上的一维卷积 133

13.1.2 向量池化 135

13.1.3 变体 137

13.2 其他选择：特征哈希 137

13.3 层次化卷积 138

第14章 循环神经网络：序列和栈建模 142

14.1 RNN抽象描述 142

14.2 RNN的训练 145

14.3 RNN常见使用模式 145

14.3.1 接收器 145

14.3.2 编码器 146

14.3.3 传感器 146

14.4 双向RNN 147

14.5 堆叠RNN 149

14.6 用于表示栈的RNN 150

14.7 文献阅读的注意事项 151

第15章 实际的循环神经网络结构 153

15.1 作为RNN的CBOW 153

15.2 简单RNN 153

15.3 门结构 154

15.3.1 长短期记忆网络 156

15.3.2 门限循环单元 157

15.4 其他变体 158

15.5 应用到RNN的丢弃机制 159

第16章 通过循环网络建模 160

16.1 接收器 160

16.1.1 情感分类器 160

16.1.2 主谓一致语法检查 162

16.2 作为特征提取器的RNN 164

16.2.1 词性标注 164

16.2.2 RNN-CNN文本分类 166

16.2.3 弧分解依存句法分析 167

第17章 条件生成 169

17.1 RNN生成器 169

17.2 条件生成（编码器-解码器） 170

17.2.1 序列到序列模型 172

17.2.2 应用 173

17.2.3 其他条件上下文 176

17.3 无监督的句子相似性 177

17.4 结合注意力机制的条件生成 178

17.4.1 计算复杂性 180

17.4.2 可解释性 181

17.5 自然语言处理中基于注意力机制的模型 182

17.5.1 机器翻译 182

17.5.2 形态屈折 184

17.5.3 句法分析 184

第四部分 其他主题 187

第18章 用递归神经网络对树建模 187

18.1 形式化定义 187

18.2 扩展和变体 190

18.3 递归神经网络的训练 190

18.4 一种简单的替代——线性化树 191

18.5 前景 191

第19章 结构化输出预测 193

19.1 基于搜索的结构化预测 193

19.1.1 基于线性模型的结构化预测 193

19.1.2 非线性结构化预测 194

19.1.3 概率目标函数（CRF） 195

19.1.4 近似搜索 196

19.1.5 重排序 197

19.1.6 参考阅读 197

19.2 贪心结构化预测 198

19.3 条件生成与结构化输出预测 199

19.4 实例 200

19.4.1 基于搜索的结构化预测：一阶依存句法分析 200

19.4.2 基于Neural-CRF的命名实体识别 201

19.4.3 基于柱搜索的NER-CRF近似 204

第20章 级联、多任务与半监督学习 206

20.1 模型级联 206

20.2 多任务学习 210

20.2.1 多任务设置下的训练 212

20.2.2 选择性共享 212

20.2.3 作为多任务学习的词嵌入预训练 213

20.2.4 条件生成中的多任务学习 214

20.2.5 作为正则的多任务学习 214

20.2.6 注意事项 214

20.3 半监督学习 215

20.4 实例 216

20.4.1 眼动预测与句子压缩 216

20.4.2 弧标注与句法分析 217

20.4.3 介词词义消歧与介词翻译预测 218

20.4.4 条件生成：多语言机器翻译、句法分析以及图像描述生成 219

20.5 前景 220

第21章 结论 221

21.1 我们学到了什么 221

21.2 未来的挑战 221

参考文献 223