第1章 绪论 1
1.1 马尔可夫链 1
1.1.1 马尔可夫链的例子 2
1.1.2 n步转移矩阵 4
1.1.3 不可约马尔可夫链与状态的分类 5
1.1.4 对随机游走的分析 7
1.1.5 用Excel对马尔可夫链仿真 8
1.1.6 建立马尔可夫链模型 10
1.1.7 有限马尔可夫链的平稳分布 11
1.1.8 平稳分布的应用 15
1.2 连续时间马尔可夫链 15
1.2.1 两个状态的连续时间马尔可夫链 17
1.3 求解线性系统的迭代法 18
1.3.1 有关矩阵理论的一些结论 18
1.3.2 矩阵分裂 19
1.3.3 经典的迭代法 21
1.3.4 谱半径 23
1.3.5 逐次超松弛方法 24
1.3.6 共轭梯度法 25
1.3.7 特普利茨矩阵 28
1.4 隐马尔可夫模型 29
1.5 马尔可夫决策过程 31
1.5.1 平稳策略 34
1.6 习题 35
第2章 排队系统与网络 39
2.1 马尔可夫排队系统 39
2.1.1 M/M/1/n—2排队系统 39
2.1.2 M/M/s/n—s—1排队系统 41
2.1.3 M/M/1/∞队列系统中到达顾客的分配 42
2.1.4 两个M/M/1队列还是单个M/M/2队列？ 43
2.1.5 两队列自由独立系统 44
2.1.6 两队列溢流系统 45
2.1.7 复杂排队系统的预处理 46
2.2 搜索引擎 48
2.2.1 PageRank算法 50
2.2.2 乘幂法 51
2.2.3 例子 52
2.2.4 逐次超松弛／雅可比超松弛法与混合方法 53
2.2.5 收敛性分析 55
2.3 总结 59
2.4 习题 59
第3章 制造与再制造系统 62
3.1 引言 62
3.2 制造系统 63
3.2.1 机器可靠的制造系统 63
3.3 退货的库存模型 66
3.4 横向转运模型 69
3.5 混合再制造系统 70
3.5.1 混合系统 71
3.5.2 系统的生成矩阵 71
3.5.3 直接方法 73
3.5.4 计算的成本 75
3.5.5 特殊情况分析 75
3.6 总结 76
3.7 习题 76
第4章 客户分类的隐马尔可夫模型 77
4.1 引言 77
4.1.1 简单的例子 77
4.2 参数估计 78
4.3 方法的推广 79
4.4 特殊情况的分析 80
4.5 隐马尔可夫模型在客户分类中的应用 81
4.6 总结 83
4.7 习题 84
第5章 客户终身价值的马尔可夫决策过程 85
5.1 引言 85
5.2 客户行为的马尔可夫链模型 86
5.2.1 转移概率的估计 87
5.2.2 保留概率与客户终身价值 88
5.3 随机动态规划模型 89
5.3.1 无穷视野无约束 89
5.3.2 有限视野硬约束 92
5.3.3 无穷视野有约束 92
5.4 推广到多周期促销 97
5.4.1 随机动态规划模型 98
5.4.2 无穷视野无约束 99
5.4.3 有限视野硬约束 101
5.5 高阶马尔可夫决策过程 104
5.5.1 平稳策略 105
5.5.2 在客户终身价值计算中的应用 107
5.6 总结 111
5.7 习题 111
第6章 高阶马尔可夫链 112
6.1 引言 112
6.2 高阶马尔可夫链 113
6.2.1 新模型 113
6.2.2 参数估计 116
6.2.3 例子 119
6.3 一些应用 120
6.3.1 销售需求数据 121
6.3.2 网页预测 123
6.4 模型的扩展 125
6.5 报童问题 128
6.5.1 报童问题的马尔可夫链模型 129
6.5.2 数值例子 131
6.6 风险管理的高阶马尔可夫体制转换模型 132
6.6.1 马尔可夫体制转换模型简介 132
6.6.2 基于高阶马尔可夫体制转换模型的风险管理的框架 134
6.6.3 风险价值预测 137
6.7 总结 138
6.8 习题 139
第7章 多元马尔可夫链 140
7.1 引言 140
7.2 多元马尔可夫链模型的构造 140
7.2.1 模型参数的估计 143
7.2.2 例子 144
7.3 在多种产品需求估计中的应用 146
7.4 在信用评级模型中的应用 148
7.4.1 信用转移矩阵 149
7.5 扩展到高阶多元马尔可夫链 150
7.6 改进的多元马尔可夫链及其在信用评级中的应用 152
7.6.1 模型的收敛性质 153
7.6.2 模型参数的估计 155
7.6.3 实际实施、精度和计算效率 157
7.7 总结 158
7.8 习题 158
第8章 隐马尔可夫链 160
8.1 引言 160
8.2 高阶隐马尔可夫模型 160
8.2.1 问题1 161
8.2.2 问题2 163
8.2.3 问题3 164
8.2.4 期望最大化算法 165
8.2.5 高阶隐马尔可夫模型的启发式方法 167
8.3 双重高阶隐马尔可夫模型 168
8.4 交互隐马尔可夫模型 169
8.4.1 例子 169
8.4.2 参数估计 170
8.4.3 扩展到一般情况 172
8.5 由交互隐马尔可夫模型调制的组合信用风险的二项展开模型 173
8.5.1 例子 175
8.5.2 由交互隐马尔可夫模型调制的二项展开模型的估计 176
8.5.3 数值例子与比较 178
8.6 总结 184
8.7 习题 184
参考文献 185
索引 197