第一部分 马氏决策过程与摄动 3
第1章 绪论 3
1．1序列决策模型 3
1．2马氏决策过程的例子 5
1．3马氏决策过程的定义与记号 10
决策时刻与周期 10
状态与行动集 11
转移概率和报酬 11
历史、决策规则与策略 12
诱导过程、效用准则与马氏策略优势 14
1．4马氏决策过程的起源和发展 17
第2章 有限阶段模型 21
2．1最优准则 21
2．2有限阶段的策略迭代和最优方程 22
2．3最优策略的存在性和算法 26
2．4最优策略的结构 29
2．5单调策略的最优性 32
第3章 无限阶段折扣模型 37
3．1最优准则 37
3．2最优方程 38
3．3最优策略的存在性 46
3．4策略迭代算法 50
3．5值迭代算法 55
3．6改进的策略迭代算法 58
3．7线性规划算法 60
3．8最优单调策略 67
3．9最优策略的结构 70
第4章 无限阶段平均模型 78
4．1最优准则 78
4．2最优平稳策略的存在性 80
4．3平稳策略的一些特征 85
4．4最优方程与策略迭代算法 97
4．5单链的线性规划与相关问题 108
极限平均频率 112
带约束模型问题 117
方差问题 118
4．6多链的线性规划与相关问题 121
对偶可行解与随机平稳策略 122
基本可行解与确定性决策规则 126
最优解与最优策略 126
4．7平均准则下的Bellman最优原则 129
第5章 摄动MDP 134
5．1预备知识 134
5．2一些基本记号和定义 137
5．3摄动平均问题的渐进性和极限控制原则 138
5．4折扣准则的摄动问题 144
5．5一般的摄动 146
5．6单摄动极限平均MDP的算法 153
假设与渐进性质 153
数学规划和极限马尔可夫决策问题 160
聚合-分解算法 167
5．7进一步的研究进展 170
折扣权重摄动模型 170
折扣平均权重摄动问题 173
第二部分 摄动MDP与哈密尔顿圈 179
第6章 HC与MDP 179
6．1哈密尔顿圈问题 180
6．2有向图到MDP的嵌入 181
6．3平稳策略的分类 184
6．4约束折扣MDP与HC 186
6．5约束折扣MDP的求解 191
6．6 HC与TSP 196
第7章 HCP嵌入MDP的摄动 201
7．1转移概率的摄动 201
转移概率的对称线性摄动 202
转移概率的非对称线性摄动 203
转移概率的非对称二次摄动 204
7．2摄动下子图的稳态分布 205
7．3非对称线性摄动下的几个例子 213
7．4非对称线性摄动下HC的性质 218
7．5更为精细的分析 228
7．6开问题和有关猜想 239
第8章 频率空间上的分析 242
8．1长期平均MDP频率空间中的HCP 242
8．2二次非对称摄动与新目标函数 247
8．3启发式内点算法 254
内点算法简介 255
关于（QP）求解的启发式算法 257
数值计算例子 258
8．4一些开问题及其他 260
第9章 双随机摄动与HC 267
9．1基本矩阵 267
9．2再谈双随机摄动 273
9．3渐进表达式 278
9．4优化问题与HC的全局最优性 285
非线性规划问题 285
方向导数 286
HC既是局部也是全局最小 288
9．5哈密尔顿间隙 291
9．6对称双随机矩阵的探讨 295
9．7混合时间及其变化的最小化 301
从不可约链到一般的情形 302
迹与对角线上的元素 305
摄动带来的好处 307
带有对称线性摄动的双随机矩阵 310
第10章 将来的研究方向和结束语 315
10．1将来的研究方向 315
10．2结束语 318
参考文献 319
索引 330