摄动马尔可夫决策与哈密尔顿圈PDF电子书下载

第一部分 马氏决策过程与摄动 3

第1章 绪论 3

1．1序列决策模型 3

1．2马氏决策过程的例子 5

1．3马氏决策过程的定义与记号 10

决策时刻与周期 10

状态与行动集 11

转移概率和报酬 11

历史、决策规则与策略 12

诱导过程、效用准则与马氏策略优势 14

1．4马氏决策过程的起源和发展 17

第2章 有限阶段模型 21

2．1最优准则 21

2．2有限阶段的策略迭代和最优方程 22

2．3最优策略的存在性和算法 26

2．4最优策略的结构 29

2．5单调策略的最优性 32

第3章 无限阶段折扣模型 37

3．1最优准则 37

3．2最优方程 38

3．3最优策略的存在性 46

3．4策略迭代算法 50

3．5值迭代算法 55

3．6改进的策略迭代算法 58

3．7线性规划算法 60

3．8最优单调策略 67

3．9最优策略的结构 70

第4章 无限阶段平均模型 78

4．1最优准则 78

4．2最优平稳策略的存在性 80

4．3平稳策略的一些特征 85

4．4最优方程与策略迭代算法 97

4．5单链的线性规划与相关问题 108

极限平均频率 112

带约束模型问题 117

方差问题 118

4．6多链的线性规划与相关问题 121

对偶可行解与随机平稳策略 122

基本可行解与确定性决策规则 126

最优解与最优策略 126

4．7平均准则下的Bellman最优原则 129

第5章 摄动MDP 134

5．1预备知识 134

5．2一些基本记号和定义 137

5．3摄动平均问题的渐进性和极限控制原则 138

5．4折扣准则的摄动问题 144

5．5一般的摄动 146

5．6单摄动极限平均MDP的算法 153

假设与渐进性质 153

数学规划和极限马尔可夫决策问题 160

聚合-分解算法 167

5．7进一步的研究进展 170

折扣权重摄动模型 170

折扣平均权重摄动问题 173

第二部分 摄动MDP与哈密尔顿圈 179

第6章 HC与MDP 179

6．1哈密尔顿圈问题 180

6．2有向图到MDP的嵌入 181

6．3平稳策略的分类 184

6．4约束折扣MDP与HC 186

6．5约束折扣MDP的求解 191

6．6 HC与TSP 196

第7章 HCP嵌入MDP的摄动 201

7．1转移概率的摄动 201

转移概率的对称线性摄动 202

转移概率的非对称线性摄动 203

转移概率的非对称二次摄动 204

7．2摄动下子图的稳态分布 205

7．3非对称线性摄动下的几个例子 213

7．4非对称线性摄动下HC的性质 218

7．5更为精细的分析 228

7．6开问题和有关猜想 239

第8章 频率空间上的分析 242

8．1长期平均MDP频率空间中的HCP 242

8．2二次非对称摄动与新目标函数 247

8．3启发式内点算法 254

内点算法简介 255

关于（QP）求解的启发式算法 257

数值计算例子 258

8．4一些开问题及其他 260

第9章 双随机摄动与HC 267

9．1基本矩阵 267

9．2再谈双随机摄动 273

9．3渐进表达式 278

9．4优化问题与HC的全局最优性 285

非线性规划问题 285

方向导数 286

HC既是局部也是全局最小 288

9．5哈密尔顿间隙 291

9．6对称双随机矩阵的探讨 295

9．7混合时间及其变化的最小化 301

从不可约链到一般的情形 302

迹与对角线上的元素 305

摄动带来的好处 307

带有对称线性摄动的双随机矩阵 310

第10章 将来的研究方向和结束语 315

10．1将来的研究方向 315

10．2结束语 318

参考文献 319

索引 330