第1章 强化与系统性机器学习 1
1.1 简介 1
1.2 监督学习、无监督学习、半监督学习和强化学习 1
1.3 传统机器学习方法和机器学习发展历史 3
1.4 什么是机器学习？ 6
1.5 机器学习问题 6
1.5.1 学习的目标 6
1.6 学习模式 7
1.7 机器学习技术和范例 9
1.8 什么是强化学习？ 11
1.9 强化函数和环境函数 12
1.10 强化学习的需求 13
1.11 强化学习和机器智能 14
1.12 什么是系统学习？ 14
1.13 什么是系统性机器学习？ 15
1.14 系统性机器学习的重点 15
1.15 强化性机器学习和系统性机器学习 16
1.16 车辆检测问题的案例研究 16
1.17 小结 16
参考文献 17
第2章 全系统原理、系统性和多视角的机器学习 18
2.1 简介 18
2.1.1 什么是系统性学习？ 19
2.1.2 历史 20
2.2 什么是系统性机器学习？ 21
2.2.1 基于事件的学习 21
2.3 广义系统性机器学习框架 23
2.3.1 系统定义 24
2.4 多视角决策和多视角学习 26
2.4.1 基于完整信息的表示 32
2.4.2 基于部分信息的表示 32
2.4.3 单视角决策方案图 32
2.4.4 双重视角决策方案图 32
2.4.5 多视角决策方案图 32
2.4.6 定性信念网络和影响图 33
2.5 动态和交互式决策 33
2.5.1 交互决策图 33
2.5.2 决策图和影响图中时间的角色 34
2.5.3 系统性视角的建立 34
2.5.4 信息整合 35
2.5.5 建立典型决策方案图 35
2.5.6 受限信息 35
2.5.7 多决策者系统在系统性学习中的角色 35
2.6 系统性学习框架 39
2.6.1 数学模型 39
2.6.2 系统性学习的方法 39
2.6.3 自适应系统性学习 40
2.6.4 系统性学习框架 41
2.7 系统分析 41
2.8 案例学习：在酒店行业中需要系统性学习 43
2.9 小结 44
参考文献 44
第3章 强化学习 45
3.1 简介 45
3.2 学习决策者 48
3.3 回报和奖励的计算 50
3.3.1 方案和连续任务 50
3.4 强化学习和自适应控制 51
3.5 动态系统 54
3.5.1 离散事件动态系统 54
3.6 强化学习和控制 55
3.7 马尔科夫性质和决策过程 55
3.8 价值函数 56
3.8.1 行动和价值 56
3.9 学习最优策略（有模型和无模型法） 57
3.10 动态规划 57
3.10.1 动态系统性质 57
3.11 自适应动态规则 58
3.11.1 时间差分学习 59
3.11.2 Q学习 60
3.11.3 统一的视图 60
3.12 范例——拳击训练器的强化学习 61
3.13 小结 61
参考文献 61
第4章 系统性机器学习和模型 62
4.1 简介 62
4.2 系统学习的框架 63
4.2.1 影响空间 64
4.2.2 交互作用为中心的模型 69
4.2.3 以结果为中心的模型 69
4.3 捕捉系统视图 70
4.4 系统交互的数学表达 73
4.5 影响函数 74
4.6 决策影响分析 74
4.6.1 时空界限 75
4.7 小结 80
第5章 推理和信息集成 82
5.1 简介 82
5.2 推理机制和需要 83
5.2.1 情景推理 85
5.2.2 推理确定影响 85
5.3 情景和推理的集成 88
5.4 统计推理和归纳 91
5.4.1 直接推理 91
5.4.2 间接推理 91
5.4.3 信息推理 91
5.4.4 归纳 92
5.5 纯似然方法 92
5.6 贝叶斯范例推理 93
5.6.1 贝叶斯定理 93
5.7 基于时域推理 93
5.8 推理建立系统观点 94
5.8.1 信息集成 94
5.9 小结 96
参考文献 97
第6章 自适应学习 98
6.1 简介 98
6.2 自适应学习和自适应系统 98
6.3 什么是自适应机器学习 101
6.4 基于方案的适应性和学习方法 101
6.4.1 动态适应性和情景感知的学习 102
6.5 系统学习和自适应学习 104
6.5.1 多学习器的使用 105
6.5.2 系统自适应机器学习 108
6.5.3 自适应应用的设计 110
6.5.4 自适应学习的需要和适应的原因 111
6.5.5 适应类型 112
6.5.6 自适应框架 114
6.6 竞争学习和自适应学习 115
6.6.1 适应性函数 116
6.6.2 决策网络 118
6.6.3 自适应学习方案 119
6.7 范例 120
6.7.1 案例研究：基于自适应学习的文本 120
6.7.2 自适应学习的文档挖掘 121
6.8 小结 122
参考文献 122
第7章 多视角和全局系统性的学习 123
7.1 简介 123
7.2 多视角方案构建 124
7.3 多视角决策和多视角学习 126
7.3.1 视角结合 126
7.3.2 影响图和部分方案决策表示图 127
7.3.3 表示决策方案图（RDSD） 130
7.3.4 范例：部分方案决策表示图（PDSRD）表示的不同视角获取的城市信息 131
7.4 全局系统性学习和多视角途径 134
7.4.1 分散信息整合 135
7.4.2 多视角和全局系统知识表示 135
7.4.3 什么是多视角方案？ 135
7.4.4 特定方案 136
7.5 基于多视角途径的案例研究 136
7.5.1 交通控制器用多视角途径 137
7.5.2 情感检测用多视角途径模型 138
7.6 多视角方法的局限性 143
7.7 小结 143
参考文献 144
第8章 增量学习和知识表示 145
8.1 简介 145
8.2 为什么增量学习？ 146
8.3 学习已经学会的 147
8.3.1 绝对增量学习 148
8.3.2 选择增量学习 149
8.4 监督增量学习 157
8.5 增量无监督学习和增量聚类 158
8.5.1 增量聚类：任务 160
8.5.2 增量聚类：方法 161
8.5.3 阈值 161
8.6 半监督增量学习 162
8.7 增量与系统性学习 163
8.8 增量接近值和学习方法 164
8.8.1 增量学习方法1 165
8.8.2 增量学习方法2 166
8.8.3 计算C值增量 166
8.9 学习与决策模型 169
8.10 增量分类技术 169
8.11 案例分析：增量文档分类 170
8.12 小结 171
第9章 知识增长：机器学习的视角 173
9.1 简介 173
9.2 短暂的历史和相关工作 174
9.3 知识增长和知识启发 178
9.3.1 策略使用进行知识启发 178
9.3.2 基于目标的知识启发 179
9.3.3 基于过程的知识启发 179
9.4 生命周期 180
9.4.1 知识水平 181
9.4.2 直接知识 181
9.4.3 间接知识 182
9.4.4 程序知识 182
9.4.5 问题 182
9.4.6 决策 182
9.4.7 知识生命周期 183
9.5 增量知识表达 184
9.6 案例学习和遗忘学习 186
9.7 知识的扩充：技术和方法 187
9.7.1 知识增量技术 187
9.7.2 知识增量方法 188
9.7.3 提取知识的机制 189
9.8 启发式学习 190
9.9 系统性机器学习和知识获取 190
9.9.1 全方位知识获取 191
9.9.2 系统知识管理和先进的机器学习 192
9.10 在复杂环境下的知识增量 193
9.11 案例研究 193
9.11.1 银行案例研究 193
9.11.2 软件开发公司 194
9.11.3 杂货集市／零售集市 195
9.12 小结 195
参考文献 196
第10章 构建学习系统 197
10.1 简介 197
10.2 系统性学习系统 197
10.2.1 学习单元 199
10.2.2 知识库 200
10.2.3 性能单元 200
10.2.4 反馈单元 200
10.2.5 允许测量的系统 200
10.3 算法选择 201
10.3.1 k近邻（kNN） 201
10.3.2 支持向量机（SVM） 202
10.3.3 质心法 202
10.4 知识表示 203
10.4.1 实用方案和案例研究 203
10.5 学习系统的设计 204
10.6 让系统表现得更智能 204
10.7 案例学习 205
10.8 整体知识框架和强化学习的应用 205
10.8.1 智能算法的选择 207
10.9 智能决策——部署和知识采集以及重用 208
10.10 基于案例的学习：人体情感检测系统 209
10.11 复杂决策问题的整体视角 211
10.12 知识表示和资源查找 213
10.13 组件 215
10.13.1 范例 215
10.14 学习系统和智能系统的未来 216
10.15 小结 217
附录 218
附录A 统计学习方法 218
A.1 概率 218
A.1.1 互斥事件 218
A.1.2 独立事件 218
A.2 贝叶斯分类 219
A.2.1 朴素贝叶斯分类 220
A.2.2 贝叶斯分类器的优点和缺点 221
A.3 回归 221
A.3.1 线性 222
A.3.2 非线性 222
A.3.3 回归的其他方法 222
A.4 粗糙集 223
A.4.1 不可分辨关系 223
A.4.2 集近似 224
A.4.3 边界区域 224
A.4.4 粗糙集和清晰集 224
A.4.5 约简 224
A.4.6 可有可无和不可缺少的属性 224
A.5 支持向量机 224
参考文献 225
附录B 马尔科夫过程 225
B.1 马尔科夫过程 225
B.1.1 案例 226
B.1.2 解决步骤 226
B.1.3 长期 227
B.1.4 马尔科夫过程示例 228
B.2 半马尔科夫过程 231
B.2.1 建议 231
B.2.2 验证 232
B.2.3 推论 232