第1章 绪论 1
1.1 引言 1
1.2 增强学习与近似动态规划的研究概况 4
1.2.1 增强学习研究的相关学科背景 5
1.2.2 增强学习算法的研究进展 7
1.2.3 增强学习的泛化方法与近似动态规划 10
1.2.4 增强学习相关理论研究与多Agent增强学习 13
1.2.5 增强学习应用的研究进展 15
1.3 移动机器人导航控制方法的研究现状和发展趋势 17
1.3.1 移动机器人体系结构的研究进展 18
1.3.2 移动机器人反应式导航方法的研究概况 19
1.3.3 移动机器人路径跟踪控制的研究概况 21
1.4 全书的组织结构 21
参考文献 24
第2章 线性时域差值学习理论与算法 32
2.1 Markov链与多步学习预测问题 33
2.1.1 Markov链的基础理论 33
2.1.2 基于Markov链的多步学习预测问题 36
2.2 TD（λ）学习算法 37
2.2.1 表格型TD（λ）学习算法 37
2.2.2 基于值函数逼近的TD（λ）学习算法 40
2.3 多步递推最小二乘TD学习算法及其收敛性理论 41
2.3.1 多步递推最小二乘TD（RLS-TD（λ））学习算法 42
2.3.2 RLS-TD（λ）学习算法的一致收敛性分析 44
2.4 多步学习预测的仿真研究 47
2.4.1 HopWorld问题学习预测仿真 47
2.4.2 连续状态随机行走问题的学习预测仿真 49
2.5 小结 51
参考文献 52
第3章 基于核的时域差值学习算法 53
3.1 核方法与基于核的学习机器 53
3.1.1 核函数的概念与性质 53
3.1.2 再生核Hilbert空间与核函数方法 54
3.2 核最小二乘时域差值学习算法 56
3.2.1 线性TD（λ）学习算法 58
3.2.2 KLS-TD（λ）学习算法 60
3.2.3 学习预测实验与比较 64
3.3 小结 65
参考文献 65
第4章 求解Markov决策问题的梯度增强学习算法 67
4.1 Markov决策过程与表格型增强学习算法 69
4.1.1 Markov决策过程及其最优值函数 69
4.1.2 表格型增强学习算法及其收敛性理论 71
4.2 基于改进CMAC的直接梯度增强学习算法 74
4.2.1 CMAC的结构 74
4.2.2 基于CMAC的直接梯度增强学习算法 76
4.2.3 两种改进的CMAC编码结构及其应用实例 78
4.3 基于值函数逼近的残差梯度增强学习算法 87
4.3.1 多层前馈神经网络函数逼近器与已有的梯度增强学习算法 88
4.3.2 非平稳策略残差梯度（RGNP）增强学习算法 89
4.3.3 RGNP学习算法的收敛性和近似最优策略性能的理论分析 91
4.3.4 Mountain-Car问题的仿真研究 92
4.3.5 Acrobot学习控制的仿真研究 96
4.4 求解连续行为空间Markov决策问题的快速AHC学习算法 101
4.4.1 AHC学习算法与Actor-Critic学习控制结构 101
4.4.2 Fast-AHC学习算法 103
4.4.3 连续控制量条件下的倒立摆学习控制仿真研究 103
4.4.4 连续控制量条件下Acrobot系统的学习控制 107
4.5 小结 108
参考文献 109
第5章 求解Markov决策问题的进化-梯度混合增强学习算法 112
5.1 进化计算的基本原理和方法 113
5.1.1 进化计算的基本原理和算法框架 113
5.1.2 进化算法的基本要素 114
5.1.3 进化算法的控制参数和性能评估 117
5.2 求解离散行为空间MDP的进化-梯度混合算法 118
5.2.1 HERG算法的设计要点 120
5.2.2 HERG算法的流程 122
5.2.3 HERG算法的应用实例：Mountain-Car学习控制问题 123
5.2.4 Acrobot系统的进化增强学习仿真 125
5.3 求解连续行为空间MDP的进化-梯度混合增强学习算法 129
5.3.1 进化AHC算法 129
5.3.2 连续控制量条件下Acrobot系统的进化增强学习仿真 131
5.4 小结 132
参考文献 133
第6章 基于核的近似动态规划算法与理论 134
6.1 增强学习与近似动态规划的若干核心问题 135
6.2 基于核的近似策略迭代算法与收敛性理论 137
6.2.1 策略迭代与TD学习算法 137
6.2.2 核策略选代算法KLSPI的基本框架 138
6.2.3 采用核稀疏化技术的KLSTD-Q时域差值算法 141
6.2.4 KLSPI算法的收敛性分析 143
6.3 核策略迭代算法的性能测试实验研究 145
6.3.1 具有20个状态的随机Markov链问题 146
6.3.2 具有50个状态的随机Markov决策问题 151
6.3.3 随机倒立摆学习控制问题 154
6.4 小结 157
参考文献 158
第7章 基于增强学习的移动机器人反应式导航方法 160
7.1 基于分层学习的移动机器人混合式体系结构 161
7.2 基于增强学习的移动机器人反应式导航体系结构与算法 165
7.2.1 未知环境中移动机器人导航混合式体系结构的具体设计 165
7.2.2 基于神经网络增强学习的反应式导航算法 167
7.3 移动机器人增强学习导航的仿真和实验研究 169
7.3.1 CIT-AVT-VI移动机器人平台的传感器系统与仿真实验环境 169
7.3.2 增强学习导航的仿真研究 171
7.3.3 CIT-AVT-VI移动机器人的实时学习导航控制实验 173
7.4 小结 177
参考文献 177
第8章 RL与ADP在移动机器人运动控制中的应用 179
8.1 基于增强学习的自适应PID控制器 180
8.2 自动驾驶汽车的侧向增强学习控制 183
8.2.1 自动驾驶汽车的动力学模型 183
8.2.2 用于自动驾驶汽车侧向控制的增强学习PID控制器设计 184
8.2.3 自动驾驶汽车直线路径跟踪仿真 185
8.3 基于在线增强学习的室内移动机器人路径跟踪控制 188
8.3.1 一类室内移动机器人系统的运动学和动力学模型 188
8.3.2 增强学习路径跟踪控制器设计 189
8.3.3 参考路径为直线时的仿真研究 189
8.3.4 参考路径为圆弧时的仿真研究 191
8.3.5 CIT-AVT-VI移动机器人实时在线学习路径跟踪实验 192
8.4 采用近似策略迭代的移动机器人学习控制方法研究 194
8.4.1 基于近似策略迭代的学习控制方法与仿真研究 194
8.4.2 基于P3-AT平台的学习控制器设计 198
8.4.3 直线跟随实验 201
8.4.4 曲线跟随实验 203
8.5 小结 205
参考文献 206
第9章 总结与展望 208
参考文献 211