动态规划与马尔柯夫过程PDF电子书下载

目录 1

引言 1

第一章 马尔柯夫过程 1

玩具制造商例子——状态概率 2

z-变换 6

马尔柯夫过程的z-变换分析 8

瞬时的、多链的和周期的性质 11

第二章 有报酬的马尔柯夫过程 18

用递推关系求解 18

玩具制造商的例子 19

有报酬的马尔柯夫过程的z-变换分析 22

渐近性质 24

第三章 用值迭代法求序贯决策过程的解 28

不同方式的引进 28

用值迭代法求解玩具制造商问题 30

值迭代法的估价 32

第四章 用策略迭代法求解序贯决策过程 34

定值运算 36

策略改进程序 39

迭代循环 40

玩具制造商问题 42

策略迭代法的性质的证明 44

第五章 策略迭代法的某些应用 47

出租汽车问题 47

棒球问题 54

汽车替换问题 59

第六章 多链过程的策略迭代法 67

定值运算 68

策略改进程序 70

一个多链的例子 72

迭代循环的性质 76

第七章 具有折扣的序贯决策过程 84

用值迭代法解有折扣的序贯决策过程 88

定值运算 90

策略改进程序 92

例子 94

迭代循环性质的证明 95

最优策略对于折扣因子的敏感性 97

具有折扣的汽车替换问题 99

总结 100

第八章 时间连续的决策过程 101

时间连续的马尔柯夫过程 101

用拉普拉斯变换求解时间连续的马尔柯夫过程 103

有报酬的时间连续的马尔柯夫过程 109

时间连续的决策问题 115

定值运算 117

策略改进程序 118

完全各态历经的过程 120

工长的抉择问题 122

计算方面的比较 123

有折扣的时间连续的决策过程 125

策略改进 127

一个例子 130

与时间离散情形的比较 132

第九章 结论 134

附录 瞬时和循环性态的关系 136

参考文献 141

译者补充文献 142

索引 143