第1章 引言 1
1.1 传统机器学习范式 1
1.2 案例 3
1.3 终身学习简史 7
1.4 终身学习的定义 9
1.5 知识类型和关键挑战 14
1.6 评估方法和大数据的角色 17
1.7 本书大纲 18
第2章 相关学习范式 20
2.1 迁移学习 20
2.1.1 结构对应学习 21
2.1.2 朴素贝叶斯迁移分类器 22
2.1.3 迁移学习中的深度学习 23
2.1.4 迁移学习与终身学习的区别 24
2.2 多任务学习 25
2.2.1 多任务学习中的任务相关性 25
2.2.2 GO－MTL：使用潜在基础任务的多任务学习 26
2.2.3 多任务学习中的深度学习 28
2.2.4 多任务学习与终身学习的区别 30
2.3 在线学习 30
2.4 强化学习 31
2.5 元学习 32
2.6 小结 34
第3章 终身监督学习 35
3.1 定义和概述 36
3.2 基于记忆的终身学习 37
3.2.1 两个基于记忆的学习方法 37
3.2.2 终身学习的新表达 37
3.3 终身神经网络 39
3.3.1 MTL网络 39
3.3.2 终身EBNN 40
3.4 ELLA：高效终身学习算法 41
3.4.1 问题设定 41
3.4.2 目标函数 42
3.4.3 解决第一个低效问题 43
3.4.4 解决第二个低效问题 45
3.4.5 主动的任务选择 46
3.5 终身朴素贝叶斯分类 47
3.5.1 朴素贝叶斯文本分类 47
3.5.2 LSC的基本思想 49
3.5.3 LSC技术 50
3.5.4 讨论 52
3.6 基于元学习的领域词嵌入 52
3.7 小结和评估数据集 54
第4章 持续学习与灾难性遗忘 56
4.1 灾难性遗忘 56
4.2 神经网络中的持续学习 58
4.3 无遗忘学习 61
4.4 渐进式神经网络 62
4.5 弹性权重合并 63
4.6 iCaRL：增量分类器与表示学习 65
4.6.1 增量训练 66
4.6.2 更新特征表示 67
4.6.3 为新类构建范例集 68
4.6.4 在iCaRL中完成分类 68
4.7 专家网关 69
4.7.1 自动编码网关 69
4.7.2 测量训练的任务相关性 70
4.7.3 为测试选择最相关的专家 71
4.7.4 基于编码器的终身学习 71
4.8 生成式重放的持续学习 72
4.8.1 生成式对抗网络 72
4.8.2 生成式重放 73
4.9 评估灾难性遗忘 74
4.10 小结和评估数据集 75
第5章 开放式学习 79
5.1 问题定义和应用 80
5.2 基于中心的相似空间学习 81
5.2.1 逐步更新CBS学习模型 82
5.2.2 测试CBS学习模型 84
5.2.3 用于未知类检测的CBS学习 84
5.3 DOC：深度开放式分类 87
5.3.1 前馈层和一对其余层 87
5.3.2 降低开放空间风险 89
5.3.3 DOC用于图像分类 90
5.3.4 发现未知类 90
5.4 小结和评估数据集 91
第6章 终身主题建模 93
6.1 终身主题建模的主要思想 93
6.2 LTM：终身主题模型 97
6.2.1 LTM模型 97
6.2.2 主题知识挖掘 99
6.2.3 融合过去的知识 100
6.2.4 Gibbs采样器的条件分布 102
6.3 AMC：少量数据的终身主题模型 102
6.3.1 AMC整体算法 103
6.3.2 挖掘must－link知识 104
6.3.3 挖掘cannot－link知识 107
6.3.4 扩展的Polya瓮模型 108
6.3.5 Gibbs采样器的采样分布 110
6.4 小结和评估数据集 112
第7章 终身信息提取 114
7.1 NELL：永不停止语言学习器 114
7.1.1 NELL结构 117
7.1.2 NELL中的提取器与学习 118
7.1.3 NELL中的耦合约束 120
7.2 终身评价目标提取 121
7.2.1 基于推荐的终身学习 122
7.2.2 AER算法 123
7.2.3 知识学习 124
7.2.4 使用过去知识推荐 125
7.3 在工作中学习 126
7.3.1 条件随机场 127
7.3.2 一般依赖特征 128
7.3.3 L－CRF算法 130
7.4 Lifelong－RL：终身松弛标记法 131
7.4.1 松弛标记法 132
7.4.2 终身松弛标记法 133
7.5 小结和评估数据集 133
第8章 聊天机器人的持续知识学习 135
8.1 LiLi：终身交互学习与推理 136
8.2 LiLi的基本思想 139
8.3 LiLi的组件 141
8.4 运行示例 142
8.5 小结和评估数据集 142
第9章 终身强化学习 144
9.1 基于多环境的终身强化学习 146
9.2 层次贝叶斯终身强化学习 147
9.2.1 动机 147
9.2.2 层次贝叶斯方法 148
9.2.3 MTRL算法 149
9.2.4 更新层次模型参数 150
9.2.5 对MDP进行采样 151
9.3 PG－ELLA：终身策略梯度强化学习 152
9.3.1 策略梯度强化学习 152
9.3.2 策略梯度终身学习设置 154
9.3.3 目标函数和优化 154
9.3.4 终身学习的安全策略搜索 156
9.3.5 跨领域终身强化学习 156
9.4 小结和评估数据集 157
第10章 结论及未来方向 159
参考文献 164