目录 1
引言 1
第一章 马尔柯夫过程 1
玩具制造商例子——状态概率 2
z-变换 6
马尔柯夫过程的z-变换分析 8
瞬时的、多链的和周期的性质 11
第二章 有报酬的马尔柯夫过程 18
用递推关系求解 18
玩具制造商的例子 19
有报酬的马尔柯夫过程的z-变换分析 22
渐近性质 24
第三章 用值迭代法求序贯决策过程的解 28
不同方式的引进 28
用值迭代法求解玩具制造商问题 30
值迭代法的估价 32
第四章 用策略迭代法求解序贯决策过程 34
定值运算 36
策略改进程序 39
迭代循环 40
玩具制造商问题 42
策略迭代法的性质的证明 44
第五章 策略迭代法的某些应用 47
出租汽车问题 47
棒球问题 54
汽车替换问题 59
第六章 多链过程的策略迭代法 67
定值运算 68
策略改进程序 70
一个多链的例子 72
迭代循环的性质 76
第七章 具有折扣的序贯决策过程 84
用值迭代法解有折扣的序贯决策过程 88
定值运算 90
策略改进程序 92
例子 94
迭代循环性质的证明 95
最优策略对于折扣因子的敏感性 97
具有折扣的汽车替换问题 99
总结 100
第八章 时间连续的决策过程 101
时间连续的马尔柯夫过程 101
用拉普拉斯变换求解时间连续的马尔柯夫过程 103
有报酬的时间连续的马尔柯夫过程 109
时间连续的决策问题 115
定值运算 117
策略改进程序 118
完全各态历经的过程 120
工长的抉择问题 122
计算方面的比较 123
有折扣的时间连续的决策过程 125
策略改进 127
一个例子 130
与时间离散情形的比较 132
第九章 结论 134
附录 瞬时和循环性态的关系 136
参考文献 141
译者补充文献 142
索引 143