第1章 强化学习概述 1
1.1 简介 1
1.2 形式框架 3
1.2.1 马尔可夫决策过程 3
1.2.2 策略 6
1.2.3 回报 7
1.3 值函数 7
1.4 解决强化学习问题 9
1.4.1 动态规划：基于模型的解决技术 9
1.4.2 强化学习：模型无关的解决技术 16
1.5 本章小结 20
参考文献 21
第2章 大规模或连续状态空间的强化学习 23
2.1 简介 23
2.2 近似表示 24
2.2.1 带参数化值函数逼近 24
2.2.2 非参数化值函数逼近 28
2.3 值函数逼近求解方法 29
2.3.1 梯度下降方法 30
2.3.2 最小二乘回归 31
2.4 本章小结 31
参考文献 32
第3章 梯度下降值函数逼近模型的改进 33
3.1 改进的梯度下降值函数逼近模型 33
3.1.1 势函数塑造奖赏机制 33
3.1.2 基于势函数塑造奖赏机制的值函数逼近模型 35
3.2 NRBF-GD-Sarsa（λ）算法 36
3.2.1 算法描述 36
3.2.2 算法收敛性分析 37
3.3 仿真实验 39
3.3.1 实验描述 39
3.3.2 实验设置 40
3.3.3 实验分析 41
3.4 本章小结 43
参考文献 44
第4章 基于LSSVR的Q-值函数分片逼近模型 45
4.1 LSSVR-Q-值函数分片逼近模型 45
4.2 在线稀疏化样本池构建方法 48
4.3 LSSVR-Q算法 49
4.4 仿真实验 49
4.4.1 实验1：Mountain Car问题 51
4.4.2 实验2：DC Motor问题 54
4.5 本章小结 57
参考文献 58
第5章 基于ANRBF网络的Q-V值函数协同逼近模型 59
5.1 Q-V值函数协同机制 59
5.2 Q-V值函数协同逼近模型 61
5.3 Q-V值函数协同逼近算法 63
5.3.1 QV（λ）算法 63
5.3.2 算法收敛性分析 65
5.4 仿真实验 67
5.4.1 实验描述 67
5.4.2 实验设置 68
5.4.3 实验分析 68
5.5 本章小结 73
参考文献 73
第6章 基于高斯过程的快速Sarsa算法 75
6.1 新的值函数概率生成模型 75
6.2 利用高斯过程对线性带参值函数建模 77
6.3 FL-GPSarsa算法 78
6.4 仿真实验 81
6.4.1 带风的格子世界问题 81
6.4.2 Mountain Car问题 84
6.5 本章小结 86
参考文献 87
第7章 基于高斯过程的Q学习算法 88
7.1 值迭代方法 88
7.2 用于值迭代的值函数概率生成模型 89
7.3 GP-QL算法 90
7.4 仿真实验 93
7.4.1 实验1：带悬崖的格子世界问题 93
7.4.2 实验2：Mountain Car问题 96
7.5 本章小结 97
参考文献 97
第8章 最小二乘策略迭代算法 99
8.1 马尔可夫决策过程 99
8.2 最小二乘策略迭代 100
8.2.1 投影贝尔曼等式的矩阵形式 100
8.2.2 最小二乘策略迭代 103
8.2.3 在线最小二乘策略迭代 104
8.3 本章小结 106
参考文献 106
第9章 批量最小二乘策略迭代算法 107
9.1 批量强化学习算法 107
9.2 批量最小二乘策略迭代算法 108
9.3 算法分析 111
9.3.1 收敛性分析 111
9.3.2 复杂度分析 113
9.4 仿真实验 114
9.4.1 实验描述 114
9.4.2 实验设置 115
9.4.3 实验分析 115
9.5 本章小结 120
参考文献 120
第10章 自动批量最小二乘策略迭代算法 122
10.1 定点步长参数评估方法 122
10.2 自动批量最小二乘策略迭代算法 124
10.3 仿真实验 125
10.3.1 实验描述 125
10.3.2 实验分析 125
10.4 本章小结 130
参考文献 130
第11章 连续动作空间的批量最小二乘策略迭代算法 132
11.1 二值动作搜索 132
11.2 快速特征选择 133
11.3 连续动作空间的快速特征选择批量最小二乘策略迭代算法 134
11.4 仿真实验 136
11.4.1 实验描述 136
11.4.2 实验设置 136
11.4.3 实验分析 136
11.5 本章小结 140
参考文献 141
第12章 一种基于双层模糊推理的Sarsa（λ）算法 143
12.1 Q-值函数的计算和FIS的参数更新 143
12.2 DFR-Sarsa（λ）算法 146
12.2.1 DFR-Sarsa（λ）算法的学习过程 146
12.2.2 算法收敛性分析 147
12.3 仿真实验 149
12.3.1 Mountain Car 149
12.3.2 平衡杆 151
12.4 本章小结 153
参考文献 153
第13章 一种基于区间型二型模糊推理的Sarsa（λ）算法 155
13.1 近似Q-值函数的计算和参数的更新 155
13.2 IT2FI-Sarsa（λ）算法的学习过程 157
13.3 算法收敛性分析 158
13.4 仿真实验 162
13.4.1 实验设置 163
13.4.2 实验分析 163
13.5 本章小结 165
参考文献 165
第14章 一种带有自适应基函数的模糊值迭代算法 167
14.1 基函数的近似性能评价 167
14.2 基函数的自适应细化更新方式 169
14.3 ABF-QI算法 170
14.3.1 ABF-QI算法的学习过程 170
14.3.2 算法收敛性分析 171
14.4 仿真实验 172
14.4.1 问题描述与参数设置 172
14.4.2 实验分析 172
14.5 本章小结 175
参考文献 175
第15章 基于状态空间分解和智能调度的并行强化学习 177
15.1 IS-SRL和IS-SPRL 177
15.1.1 子问题的学习过程 177
15.1.2 IS-SPRL的消息传递和调度 180
15.1.3 学习步骤 181
15.2 加权优先级调度算法 183
15.3 收敛性分析 186
15.3.1 模型和假设 187
15.3.2 基于IS-SRL和IS-SPRL的Q学习算法的收敛性 188
15.4 仿真实验 190
15.4.1 不同调度算法的比较 191
15.4.2 算法在不同参数下的性能比较 191
15.4.3 不同算法的收敛速度的比较 193
15.4.4 结果分析 195
15.5 本章小结 195
参考文献 196
第16章 基于资格迹的并行时间信度分配强化学习算法 198
16.1 资格迹与强化学习 199
16.2 并行时间信度分配 200
16.3 性能优化与系统容错 203
16.3.1 状态迁移预测 203
16.3.2 故障预防和恢复 203
16.4 仿真实验 204
16.5 本章小结 206
参考文献 207
第17章 基于并行采样和学习经验复用的E3算法 209
17.1 E3算法 209
17.2 学习经验复用 212
17.3 并行E3算法 212
17.4 系统容错 215
17.5 仿真实验 216
17.6 本章小结 219
参考文献 219
第18章 基于线性函数逼近的离策略Q（λ）算法 221
18.1 离策略强化学习 221
18.1.1 梯度下降法与线性函数逼近 221
18.1.2 离策略强化学习算法 224
18.2 GDOP-Q（λ）算法 226
18.2.1 GDOP-Q（λ） 226
18.2.2 收敛性分析 227
18.3 仿真实验 230
18.4 本章小结 234
参考文献 234
第19章 基于二阶TD Error的Q（λ）算法 236
19.1 二阶TD Error快速Q（λ）算法 236
19.1.1 二阶TD Error 236
19.1.2 资格迹 238
19.1.3 SOE-FQ（λ） 238
19.1.4 算法收敛性及时间复杂度分析 239
19.2 仿真实验 244
19.2.1 Random Walk问题 244
19.2.2 Mountain Car问题 247
19.3 本章小结 248
参考文献 249
第20章 基于值函数迁移的快速Q-Learning算法 251
20.1 自模拟度量与状态之间的距离 252
20.2 基于值函数迁移的Q-Learning算法 254
20.2.1 基于自模拟度量的值函数迁移 254
20.2.2 VFT-Q-Learning 256
20.3 仿真实验 257
20.3.1 问题描述 257
20.3.2 实验设置 258
20.3.3 实验分析 258
20.4 本章小结 262
参考文献 263
第21章 离策略带参贝叶斯强化学习算法 264
21.1 高斯过程 264
21.2 基于高斯过程的离策略带参近似策略迭代算法 265
21.2.1 基于高斯过程的值函数参数估计 265
21.2.2 基于VPI的动作选择方法 269
21.2.3 GP-OPPAPI 270
21.3 仿真实验 273
21.4 本章小结 275
参考文献 276