第一章 马尔可夫过程 1
1 随机过程的基本概念 1
2 状态转移概率的计算 9
3 状态空间的分类 14
4 稳态概率 21
5 Z变换及其在马氏决策中的应用 27
第二章 有报酬的马氏决策规划 38
1 马氏决策规划的概念 38
2 有报酬的马氏决策规划的计算 43
3 有报酬的马氏过程的渐近性质 48
4 马氏决策模型 52
5 有限时期的马氏决策的定值算法 59
6 无限期的马氏决策的计算方法 70
第三章 定期的折扣模型 85
1 折扣因子的概念 85
2 定期的折扣模型 89
第四章 马氏决策在管理中的应用 94
1 汽车更换问题 94
2 机器维修与更新问题 104
3 随机存贮问题 111
4 科技人才的合理结构的控制问题 124
5 国民经济的最优控制 133
参考文献 141