大规模强化学习PDF电子书下载

第1章 强化学习概述 1

1.1 简介 1

1.2 形式框架 3

1.2.1 马尔可夫决策过程 3

1.2.2 策略 6

1.2.3 回报 7

1.3 值函数 7

1.4 解决强化学习问题 9

1.4.1 动态规划：基于模型的解决技术 9

1.4.2 强化学习：模型无关的解决技术 16

1.5 本章小结 20

参考文献 21

第2章 大规模或连续状态空间的强化学习 23

2.1 简介 23

2.2 近似表示 24

2.2.1 带参数化值函数逼近 24

2.2.2 非参数化值函数逼近 28

2.3 值函数逼近求解方法 29

2.3.1 梯度下降方法 30

2.3.2 最小二乘回归 31

2.4 本章小结 31

参考文献 32

第3章 梯度下降值函数逼近模型的改进 33

3.1 改进的梯度下降值函数逼近模型 33

3.1.1 势函数塑造奖赏机制 33

3.1.2 基于势函数塑造奖赏机制的值函数逼近模型 35

3.2 NRBF-GD-Sarsa（λ）算法 36

3.2.1 算法描述 36

3.2.2 算法收敛性分析 37

3.3 仿真实验 39

3.3.1 实验描述 39

3.3.2 实验设置 40

3.3.3 实验分析 41

3.4 本章小结 43

参考文献 44

第4章 基于LSSVR的Q-值函数分片逼近模型 45

4.1 LSSVR-Q-值函数分片逼近模型 45

4.2 在线稀疏化样本池构建方法 48

4.3 LSSVR-Q算法 49

4.4 仿真实验 49

4.4.1 实验1：Mountain Car问题 51

4.4.2 实验2：DC Motor问题 54

4.5 本章小结 57

参考文献 58

第5章 基于ANRBF网络的Q-V值函数协同逼近模型 59

5.1 Q-V值函数协同机制 59

5.2 Q-V值函数协同逼近模型 61

5.3 Q-V值函数协同逼近算法 63

5.3.1 QV（λ）算法 63

5.3.2 算法收敛性分析 65

5.4 仿真实验 67

5.4.1 实验描述 67

5.4.2 实验设置 68

5.4.3 实验分析 68

5.5 本章小结 73

参考文献 73

第6章 基于高斯过程的快速Sarsa算法 75

6.1 新的值函数概率生成模型 75

6.2 利用高斯过程对线性带参值函数建模 77

6.3 FL-GPSarsa算法 78

6.4 仿真实验 81

6.4.1 带风的格子世界问题 81

6.4.2 Mountain Car问题 84

6.5 本章小结 86

参考文献 87

第7章 基于高斯过程的Q学习算法 88

7.1 值迭代方法 88

7.2 用于值迭代的值函数概率生成模型 89

7.3 GP-QL算法 90

7.4 仿真实验 93

7.4.1 实验1：带悬崖的格子世界问题 93

7.4.2 实验2：Mountain Car问题 96

7.5 本章小结 97

参考文献 97

第8章 最小二乘策略迭代算法 99

8.1 马尔可夫决策过程 99

8.2 最小二乘策略迭代 100

8.2.1 投影贝尔曼等式的矩阵形式 100

8.2.2 最小二乘策略迭代 103

8.2.3 在线最小二乘策略迭代 104

8.3 本章小结 106

参考文献 106

第9章 批量最小二乘策略迭代算法 107

9.1 批量强化学习算法 107

9.2 批量最小二乘策略迭代算法 108

9.3 算法分析 111

9.3.1 收敛性分析 111

9.3.2 复杂度分析 113

9.4 仿真实验 114

9.4.1 实验描述 114

9.4.2 实验设置 115

9.4.3 实验分析 115

9.5 本章小结 120

参考文献 120

第10章 自动批量最小二乘策略迭代算法 122

10.1 定点步长参数评估方法 122

10.2 自动批量最小二乘策略迭代算法 124

10.3 仿真实验 125

10.3.1 实验描述 125

10.3.2 实验分析 125

10.4 本章小结 130

参考文献 130

第11章 连续动作空间的批量最小二乘策略迭代算法 132

11.1 二值动作搜索 132

11.2 快速特征选择 133

11.3 连续动作空间的快速特征选择批量最小二乘策略迭代算法 134

11.4 仿真实验 136

11.4.1 实验描述 136

11.4.2 实验设置 136

11.4.3 实验分析 136

11.5 本章小结 140

参考文献 141

第12章 一种基于双层模糊推理的Sarsa（λ）算法 143

12.1 Q-值函数的计算和FIS的参数更新 143

12.2 DFR-Sarsa（λ）算法 146

12.2.1 DFR-Sarsa（λ）算法的学习过程 146

12.2.2 算法收敛性分析 147

12.3 仿真实验 149

12.3.1 Mountain Car 149

12.3.2 平衡杆 151

12.4 本章小结 153

参考文献 153

第13章 一种基于区间型二型模糊推理的Sarsa（λ）算法 155

13.1 近似Q-值函数的计算和参数的更新 155

13.2 IT2FI-Sarsa（λ）算法的学习过程 157

13.3 算法收敛性分析 158

13.4 仿真实验 162

13.4.1 实验设置 163

13.4.2 实验分析 163

13.5 本章小结 165

参考文献 165

第14章 一种带有自适应基函数的模糊值迭代算法 167

14.1 基函数的近似性能评价 167

14.2 基函数的自适应细化更新方式 169

14.3 ABF-QI算法 170

14.3.1 ABF-QI算法的学习过程 170

14.3.2 算法收敛性分析 171

14.4 仿真实验 172

14.4.1 问题描述与参数设置 172

14.4.2 实验分析 172

14.5 本章小结 175

参考文献 175

第15章 基于状态空间分解和智能调度的并行强化学习 177

15.1 IS-SRL和IS-SPRL 177

15.1.1 子问题的学习过程 177

15.1.2 IS-SPRL的消息传递和调度 180

15.1.3 学习步骤 181

15.2 加权优先级调度算法 183

15.3 收敛性分析 186

15.3.1 模型和假设 187

15.3.2 基于IS-SRL和IS-SPRL的Q学习算法的收敛性 188

15.4 仿真实验 190

15.4.1 不同调度算法的比较 191

15.4.2 算法在不同参数下的性能比较 191

15.4.3 不同算法的收敛速度的比较 193

15.4.4 结果分析 195

15.5 本章小结 195

参考文献 196

第16章 基于资格迹的并行时间信度分配强化学习算法 198

16.1 资格迹与强化学习 199

16.2 并行时间信度分配 200

16.3 性能优化与系统容错 203

16.3.1 状态迁移预测 203

16.3.2 故障预防和恢复 203

16.4 仿真实验 204

16.5 本章小结 206

参考文献 207

第17章 基于并行采样和学习经验复用的E3算法 209

17.1 E3算法 209

17.2 学习经验复用 212

17.3 并行E3算法 212

17.4 系统容错 215

17.5 仿真实验 216

17.6 本章小结 219

参考文献 219

第18章 基于线性函数逼近的离策略Q（λ）算法 221

18.1 离策略强化学习 221

18.1.1 梯度下降法与线性函数逼近 221

18.1.2 离策略强化学习算法 224

18.2 GDOP-Q（λ）算法 226

18.2.1 GDOP-Q（λ） 226

18.2.2 收敛性分析 227

18.3 仿真实验 230

18.4 本章小结 234

参考文献 234

第19章 基于二阶TD Error的Q（λ）算法 236

19.1 二阶TD Error快速Q（λ）算法 236

19.1.1 二阶TD Error 236

19.1.2 资格迹 238

19.1.3 SOE-FQ（λ） 238

19.1.4 算法收敛性及时间复杂度分析 239

19.2 仿真实验 244

19.2.1 Random Walk问题 244

19.2.2 Mountain Car问题 247

19.3 本章小结 248

参考文献 249

第20章 基于值函数迁移的快速Q-Learning算法 251

20.1 自模拟度量与状态之间的距离 252

20.2 基于值函数迁移的Q-Learning算法 254

20.2.1 基于自模拟度量的值函数迁移 254

20.2.2 VFT-Q-Learning 256

20.3 仿真实验 257

20.3.1 问题描述 257

20.3.2 实验设置 258

20.3.3 实验分析 258

20.4 本章小结 262

参考文献 263

第21章 离策略带参贝叶斯强化学习算法 264

21.1 高斯过程 264

21.2 基于高斯过程的离策略带参近似策略迭代算法 265

21.2.1 基于高斯过程的值函数参数估计 265

21.2.2 基于VPI的动作选择方法 269

21.2.3 GP-OPPAPI 270

21.3 仿真实验 273

21.4 本章小结 275

参考文献 276