Markov过程导论PDF电子书下载

第一章 随机游动——一个好的切入点 1

1.1 Z上最近邻随机游动 1

1.1.1．n时刻的分布 2

1.1.2．利用反射原理研究通过次数 3

1.1.3．若干相关的计算 5

1.1.4．首次返回的时刻 7

1.1.5．利用泛函方程研究通过次数 8

1.2 随机游动的常返性 9

1.2.1．Zd上的随机游动 9

1.2.2．一个初等的常返性判别法则 10

1.2.3．Z2上对称随机游动的常返性 12

1.2.4．Z3上的瞬时性 14

1.3 习题 17

第二章 Markov链的Doeblin理论 25

2.1 概论 25

2.1.1．Markov链的存在性 26

2.1.2．转移概率和概率向量 27

2.1.3．转移概率和转移函数 28

2.1.4．Markov性 30

2.2 Doeblin理论 30

2.2.1．Doeblin基本定理 30

2.2.2．两个推广 33

2.3 遍历理论要素 35

2.3.1．平均遍历定理 35

2.3.2．返回次数 37

2.3.3．π的确定 41

2.4 习题 43

第三章 Markov链的遍历理论（续） 48

3.1 状态的分类 49

3.1.1．分类、常返性和瞬时性 49

3.1.2．常返性和瞬时性的判别法则 52

3.1.3．周期性 55

3.2 没有Doeblin条件的遍历理论 57

3.2.1．矩阵的收敛性 57

3.2.2．Abel收敛性 59

3.2.3．平稳分布的结构 62

3.2.4．一个小的改进 64

3.2.5．平均遍历定理（续） 66

3.2.6．非周期情形的一个改进 68

3.2.7．周期性结构 71

3.3 习题 73

第四章 连续时间Markov过程 82

4.1 Poisson过程 82

4.1.1．简单Poisson过程 82

4.1.2．Zd上的复合Poisson过程 85

4.2 带有界速率的Markov过程 88

4.2.1．基本结构 88

4.2.2．Markov性 91

4.2.3．Q-矩阵和Kolmogorov向后方程 93

4.2.4．Kolmogorov向前方程 94

4.2.5．解Kolmogorov方程 94

4.2.6．具有无穷小特征的Markov过程 96

4.3 无界速率 97

4.3.1．爆炸 97

4.3.2．非爆炸或爆炸的准则 100

4.3.3．当爆炸发生时做什么 103

4.4 遍历性质 104

4.4.1．状态的分类 104

4.4.2．平稳测度与极限定理 107

4.4.3．解释？ii 110

4.5 习题 111

第五章 可逆Markov过程 117

5.1 可逆Markov链 118

5.1.1．从不变性到可逆性 118

5.1.2．二次平均度量 118

5.1.3．谱隙 121

5.1.4．可逆性和周期性 123

5.1.5．与变差收敛的关系 124

5.2 Dirichlet型和β的估计 126

5.2.1．Dirichlet型和Poincaré不等式 126

5.2.2．β＋的估计 129

5.2.3．β－的估计 130

5.3 连续时间可逆Markov过程 132

5.3.1．可逆性准则 132

5.3.2．有界速率时L2（？）中的收敛性 133

5.3.3．一般情形下L2（？）-收敛速度 134

5.3.4．估计λ 137

5.4 Gibbs态和Glauber动力系统 138

5.4.1．框架 138

5.4.2．Dirichlet型 140

5.5 模拟退火 143

5.5.1．算法 143

5.5.2．转移概率的构造 144

5.5.3．Markov过程的描述 146

5.5.4．冷却方案的选取 147

5.5.5．小的改进 149

5.6 习题 151

第六章 测度理论简介 159

6.1 Lebesgue测度理论 159

6.1.1．测度空间 159

6.1.2．关于可数可加性的一些结论 161

6.1.3．生成σ-代数 162

6.1.4．可测函数 163

6.1.5．Lebesgue积分 164

6.1.6．Lebesgue积分的稳定性 166

6.1.7．可数空间上的Lebesgue积分 168

6.1.8．Fubini定理 170

6.2 概率建模 172

6.2.1．无穷多次投掷均匀硬币的模型 173

6.3 独立随机变量 178

6.3.1．独立随机变量族的存在性 179

6.4 条件概率和条件期望 181

6.4.1．关于随机变量的条件运算 182

符号 184

参考文献 186

索引 187