1概述 1
1.1智能问答：让机器更好地服务于人 1
1.2问答系统类型介绍 2
1.2.1基于事实的问答系统 3
1.2.2基于常见问题集的问答系统 3
1.2.3开放域的问答系统 4
1.3使用本书附带的源码程序 4
1.3.1安装依赖软件 4
1.3.2下载源码 5
1.3.3执行示例程序 5
1.3.4联系我们 6
1.4全书结构 6
2机器学习基础 8
2.1线性代数 8
2.1.1标量、向量、矩阵和张量 8
2.1.2矩阵运算 9
2.1.3特殊类型的矩阵 10
2.1.4线性相关 11
2.1.5范数 12
2.2概率论基础 12
2.2.1随机变量 13
2.2.2期望和方差 13
2.2.3伯努利分布 14
2.2.4二项分布 14
2.2.5泊松分布 15
2.2.6正态分布 15
2.2.7条件概率、联合概率和全概率 17
2.2.8先验概率与后验概率 18
2.2.9边缘概率 18
2.2.10贝叶斯公式 18
2.2.11最大似然估计算法 19
2.2.12线性回归模型 20
2.2.13逻辑斯蒂回归模型 21
2.3信息论基础 22
2.3.1熵 23
2.3.2联合熵和条件熵 23
2.3.3相对熵与互信息 24
2.3.4信道和信道容量 25
2.3.5最大熵模型 26
2.3.6信息论与机器学习 29
2.4统计学习 29
2.4.1输入空间、特征空间与输出空间 30
2.4.2向量表示 30
2.4.3数据集 31
2.4.4从概率到函数 31
2.4.5统计学习三要素 32
2.5隐马尔可夫模型 33
2.5.1随机过程和马尔可夫链 33
2.5.2隐马尔可夫模型的定义 36
2.5.3三个基本假设及适用场景 37
2.5.4概率计算问题之直接计算 39
2.5.5概率计算问题之前向算法 40
2.5.6概率计算问题之后向算法 42
2.5.7预测问题之维特比算法 45
2.5.8学习问题之Baum-Welch算法 48
2.6条件随机场模型 52
2.6.1超越HMM 52
2.6.2项目实践 55
2.7总结 59
3自然语言处理基础 60
3.1中文自动分词 60
3.1.1有向无环图 61
3.1.2最大匹配算法 63
3.1.3算法评测 69
3.1.4由字构词的方法 72
3.2词性标注 77
3.2.1词性标注规范 77
3.2.2隐马尔可夫模型词性标注 79
3.3命名实体识别 81
3.4上下文无关文法 82
3.4.1原理介绍 83
3.4.2算法浅析 83
3.5依存关系分析 84
3.5.1算法浅析 85
3.5.2项目实践 92
3.5.3小结 94
3.6信息检索系统 95
3.6.1什么是信息检索系统 95
3.6.2衡量信息检索系统的关键指标 95
3.6.3理解非结构化数据 97
3.6.4倒排索引 98
3.6.5处理查询 100
3.6.6项目实践 102
3.6.7 Elasticsearch 103
3.6.8小结 112
3.7问答语料 113
3.7.1 WikiQA 113
3.7.2中文版保险行业语料库InsuranceQA 113
3.8总结 115
4深度学习初步 116
4.1深度学习简史 116
4.1.1感知机 116
4.1.2寒冬和复苏 117
4.1.3走出实验室 118
4.1.4寒冬再临 119
4.1.5走向大规模实际应用 119
4.2基本架构 120
4.2.1神经元 121
4.2.2输入层、隐藏层和输出层 122
4.2.3标准符号 123
4.3神经网络是如何学习的 124
4.3.1梯度下降 124
4.3.2反向传播理论 127
4.3.3神经网络全连接层的实现 130
4.3.4使用简单神经网络实现问答任务 131
4.4调整神经网络超参数 136
4.4.1超参数 136
4.4.2参考建议 137
4.5卷积神经网络与池化 138
4.5.1简介 138
4.5.2卷积层的前向传播 139
4.5.3池化层的前向传播 141
4.5.4卷积层的实现 141
4.5.5池化层的实现 145
4.5.6使用卷积神经网络实现问答任务 148
4.6循环神经网络及其变种 149
4.6.1简介 149
4.6.2循环神经网络 149
4.6.3长短期记忆单元和门控循环单元 153
4.6.4循环神经网络的实现 156
4.6.5使用循环神经网络实现问答任务 159
4.7简易神经网络工具包 160
5词向量实现及应用 161
5.1语言模型 161
5.1.1评测 162
5.1.2 ARPA格式介绍 162
5.1.3项目实践 163
5.2 One-hot表示法 164
5.3词袋模型 165
5.4 NNL M和RNNLM 165
5.5 word2vec 168
5.5.1 C-BOW的原理 169
5.5.2 Skip-gram的原理 172
5.5.3计算效率优化 174
5.5.4项目实践 179
5.6 GloVe 189
5.6.1 GloVe的原理 189
5.6.2 GloVe与word2vec的区别和联系 191
5.6.3项目实践 193
5.7 fastText 198
5.7.1 fastText的原理 198
5.7.2 fastText与word2vec的区别和联系 200
5.7.3项目实践 201
5.8中文近义词工具包 204
5.8.1安装 205
5.8.2接口 205
5.9 总结 205
6社区问答中的QA匹配 206
6.1社区问答任务简介 206
6.2孪生网络模型 207
6.3 QACNN模型 207
6.3.1模型构建 207
6.3.2实验结果 214
6.4 Decomposable Attention模型 214
6.4.1模型介绍 214
6.4.2模型构建 216
6.5多比较方式的比较-集成模型 216
6.5.1模型介绍 216
6.5.2模型构建 218
6.6 BiMPM模型 219
6.6.1模型介绍 219
6.6.2模型构建 221
7机器阅读理解 222
7.1完型填空型机器阅读理解任务 222
7.1.1 CNN/Daily Mail数据集 222
7.1.2 Children’s Book Test（CBT）数据集 223
7.1.3 GA Reader模型 226
7.1.4 SA Reader模型 227
7.1.5 AoA Reader模型 228
7.2答案抽取型机器阅读理解任务 230
7.2.1 SQuAD数据集 231
7.2.2 MS MARCO数据集 232
7.2.3 TriviaQA数据集 234
7.2.4 DuReader数据集 235
7.2.5 BiDAF模型 235
7.2.6 R-Net模型 237
7.2.7 S-Net模型 240
7.3答案选择型机器阅读理解任务 243
7.4展望 245
参考文献 246