第1章 绪论 1
机器学习 1
机器学习的定义 1
机器学习的发展史 2
机器学习系统的基本模型 8
机器学习的主要策略 11
强化学习 12
强化学习的定义 12
强化学习的发展史 15
分层强化学习 20
分层强化学习的定义 20
研究现状与发展趋势 21
第2章 强化学习 24
强化学习的基本原理 24
强化学习的基本方法 26
部分可观测马氏过程 28
第3章 分层强化学习 32
半马氏过程 32
分层与抽象 34
典型分层强化学习方法 36
Option分层强化学习方法 36
HAM分层强化学习方法 39
MAXQ分层强化学习方法 41
典型分层强化学习方法的比较分析 43
OMQ分层强化学习方法 44
测试用例描述 44
OMQ理论框架 47
OMQ学习算法 54
OMQ学习算法最优性分析 57
OMQ学习算法收敛性证明 60
OMQ学习算法实验分析 66
第4章 动态分层强化学习 74
学习任务的自动分层 74
瓶颈和路标状态法 74
共用子空间法 76
多维状态法 77
马氏空间法 77
其他有关方法 79
任务自动分层方法评价 79
基于免疫聚类的自动分层算法 80
免疫原理剖析 80
基于免疫聚类的Option自动生成算法 85
基于二次应答机制的动态分层算法 89
算法描述 90
实验分析 91
未知动态环境中的分层强化学习方法 96
移动机器人路径规划问题 96
未知动态环境中的OMQ分层强化学习算法 98
实验分析 101
与POMDP有关方法的比较 106
第5章 多智能体分层强化学习 108
多智能体强化学习问题剖析 108
多智能体分层强化学习框架 110
多智能体分层强化学习算法 112
实验分析 114
参考文献 123