第0章 预备知识 1
0.1 引言 1
0.2 线性微分方程 1
0.3 线性差分方程 2
0.4 习题 5
第1章 有限马尔可夫链 6
1.1 定义和举例 6
1.2 极限行为和不变概率 9
1.3 状态分类 12
1.3.1 可约性 14
1.3.2 周期性 15
1.3.3 不可约、非周期链 16
1.3.4 可约或者周期链 16
1.4 返回次数 19
1.5 非常返态 20
1.6 举例 24
1.7 习题 27
第2章 可数马尔可夫链 33
2.1 引言 33
2.2 常返和非常返 34
2.3 正常返和零常返 38
2.4 分支过程 40
2.5 习题 43
第3章 连续时间马尔可夫链 48
3.1 泊松过程 48
3.2 有限状态空间 50
3.3 生灭过程 55
3.4 一般情形 60
3.5 习题 61
第4章 最优停时 64
4.1 马尔可夫链的最优停时 64
4.2 带成本的最优停时 68
4.3 带折现的最优停时 70
4.4 习题 71
第5章 鞅 74
5.1 条件期望 74
5.2 定义和举例 78
5.3 可选抽样定理 80
5.4 一致可积 83
5.5 鞅收敛定理 85
5.6 极大不等式 89
5.7 习题 91
第6章 更新过程 95
6.1 引言 95
6.2 更新方程 98
6.3 离散更新过程 104
6.4 M/G/1和G/M/1排队模型 107
6.5 习题 109
第7章 可逆马尔可夫链 112
7.1 可逆过程 112
7.2 收敛到平稳分布 113
7.3 马尔可夫链算法 117
7.4 常返的判定准则 120
7.5 习题 122
第8章 布朗运动 125
8.1 引言 125
8.2 马尔可夫性 127
8.3 布朗运动的零集 130
8.4 多维布朗运动 133
8.5 常返和非常返 136
8.6 布朗运动的分形性质 138
8.7 比例原则 138
8.8 带漂移的布朗运动 139
8.9 习题 140
第9章 随机积分 144
9.1 关于随机游动的积分 144
9.2 关于布朗运动的积分 145
9.3 It？公式 148
9.4 It？公式的扩展形式 151
9.5 连续鞅 156
9.6 吉尔萨诺夫变换 157
9.7 费因曼-卡茨公式 159
9.8 Black-Scholes公式 161
9.9 模拟 164
9.10 习题 164
进一步阅读的建议 167
索引 168