第1章 PageRank—A 1
1.1模型 1
1.2马尔可夫链 3
1.2.1定义 3
1.2.2 n步后的分布和稳态分布 4
1.3分析 5
1.3.1不可约性和非周期性 5
1.3.2大数定律 5
1.3.3长期时间比例 6
1.4击中时间 7
1.4.1平均击中时间 7
1.4.2击中另一状态之前命中某一状态的概率 8
1.4.3马尔可夫链的首步方程 9
1.5小结 10
1.6参考资料 10
1.7练习 11
第2章 PageRank—B 15
2.1样本空间 15
2.2投掷硬币的大数定律 17
2.2.1依概率收敛 17
2.2.2几乎处处收敛 18
2.3独立同分布随机变量的大数定律 20
2.3.1弱大数定律 20
2.3.2强大数定律 21
2.4马尔可夫链的大数定律 22
2.5期望的收敛 23
2.6大定理的证明 25
2.6.1定理1.2（a）的证明 25
2.6.2定理1.2（b）的证明 26
2.6.3周期性 27
2.7小结 29
2.8参考资料 29
2.9练习 30
第3章 多路复用—A 31
3.1链路共享 32
3.2高斯随机变量与中心极限定理 34
3.3多路复用与高斯分布 37
3.4置信区间 37
3.5缓冲器 39
3.6多址访问 43
3.7小结 44
38参考资料 45
3.9练习 45
第4章 多路复用—B 47
4.1特征方程 47
4.2中心极限定理的证明（概要） 48
4.3 N（0，1）的高阶矩 49
4.4两个独立同分布于N（0，1）的随机变量平方和 50
4.5特征函数的两个应用 51
4.5.1泊松分布作为二项分布的近似 51
4.5.2指数分布作为几何分布的近似 51
4.6误差函数 52
4.7自适应多址访问 53
4.8小结 55
4.9参考资料 55
4.10练习 55
第5章 数字链路—A 57
5.1检测与贝叶斯准则 58
5.1.1贝叶斯准则 58
5.1.2最大后验概率（MAP）与最大似然估计（MLE） 59
5.1.3二元对称信道 60
5.2霍夫曼编码 62
5.3高斯信道 64
5.4多维高斯信道 66
5.5假设检验 67
5.5.1规范化问题 68
5.5.2解答 68
5.5.3示例 69
5.6小结 75
5.7参考资料 76
5.8练习 76
第6章 数字链路—B 79
6.1霍夫曼编码最优性的证明 79
6.2低密度奇偶校验码（LDPC码） 80
6.3联合高斯分布随机变量 85
6.4联合高斯分布随机变量的密度函数 86
6.5奈曼-皮尔逊定理5.6的证明 88
6.6小结 89
6.7参考资料 90
6.8练习 90
第7章 追踪定位—A 91
7.1估计问题 92
7.2线性最小平方估计（LLSE） 93
7.3线性回归 97
7.4最小均方估计（MMSE） 98
7.5随机向量的情况 104
7.6卡尔曼滤波器 106
7.6.1滤波器 106
7.6.2示例 107
7.7小结 110
7.8参考资料 110
7.9练习 111
第8章 追踪定位—B 115
8.1 LLSE的更新 115
8.2卡尔曼滤波器的推导 116
8.3卡尔曼滤波器的特性 118
8.3.1可观测性 119
8.3.2可达性 120
8.4扩展卡尔曼滤波器 121
8.5小结 124
8.6参考资料 124
第9章 语音识别—A 125
9.1学习：概念和示例 125
9.2隐马尔可夫链 126
9.3期望最大化和聚类 129
9.3.1一个简单的聚类问题 129
9.3.2回首再探 130
9.4学习：隐马尔可夫链 132
9.4.1硬期望最大化 132
9.4.2训练维特比算法 132
9.5小结 132
9.6参考资料 133
9.7练习 133
第10章 语音识别—B 135
10.1在线线性回归 135
10.2随机梯度投影理论 136
10.2.1梯度投影 137
10.2.2随机梯度投影算法 140
10.2.3鞅收敛定理 142
10.3大数据 143
10.3.1相关数据 143
10.3.2压缩感知 147
10.3.3推荐系统 150
10.4小结 151
105参考资料 151
10.6练习 151
第11章 路线规划—A 153
11.1系统建模 153
11.2方法1：提前规划 154
11.3方法2：适应性算法 155
11.4马尔可夫决策问题 156
11.5无限时域问题 161
11.6小结 162
11.7参考资料 162
11.8练习 163
第12章 路线规划—B 166
12.1线性二次型高斯问题 166
12.2有噪声观测时的线性二次型高斯问题 169
12.3部分可观测的马尔可夫决策问题 171
12.4小结 173
12.5参考资料 174
12.6练习 174
第13章 视野拓展和补充 176
13.1推断问题 176
13.2充分统计量 177
13.3无限马尔可夫链 179
13.4泊松过程 181
13.4.1定义 181
13.4.2独立自增量 182
13.4.3跳跃次数 183
13.5连续时间马尔可夫链 184
13.6二元对称信道的容量 186
13.7概率界 190
13.8鞅 194
13.8.1定义 194
13.8.2示例 195
13.8.3大数定律 199
13.8.4沃尔德等式 200
13.9小结 201
13.10参考资料 201
13.11练习 202
附录A 概率论基础知识 206
附录B 线性代数基本知识 240
附录C Matlab 253
参考文献 273