第1章 概率图模型基础知识 1
1.1 概述 1
1.2 图论的相关基本概念 1
1.3 概率论的相关基本概念 4
1.3.1 随机变量与概率函数 5
1.3.2 古典概率与主观概率 5
1.3.3 联合概率分布 5
1.3.4 边缘概率分布 6
1.3.5 条件概率分布 7
1.3.6 边缘独立与条件独立 8
1.3.7 贝叶斯定理 8
1.4 信息论的相关基本概念 8
1.4.1 Jensen不等式 8
1.4.2 熵 8
1.4.3 联合熵、条件熵和互信息 9
1.4.4 相对熵 9
1.5 生成模型与判别模型 10
第2章 概率图模型的基本原理 12
2.1 概述 12
2.2 有向概率图模型 12
2.2.1 隐马尔可夫模型 12
2.2.2 贝叶斯网络 22
2.2.3 动态贝叶斯网络 25
2.3 无向概率图模型 27
2.3.1 马尔可夫随机场 27
2.3.2 条件随机场 29
2.4 概率图模型学习与推理 29
2.4.1 模型的学习 29
2.4.2 模型的推理 30
2.4.3 计算复杂度分析 32
第3章 完整数据集下有向概率图模型的学习 33
3.1 概述 33
3.2 结构学习 33
3.2.1 基于评分－搜索的结构学习 33
3.2.2 基于条件独立性测试的结构学习算法 37
3.3 参数学习 38
3.3.1 极大似然参数估计 38
3.3.2 贝叶斯参数估计 40
第4章 不完整数据集下的有向概率图模型的学习 45
4.1 概述 45
4.2 参数估计 45
4.2.1 EM算法 45
4.2.2 Gibbs抽样方法 49
4.3 结构学习 49
4.3.1 结构EM方法 49
4.3.2 打分－搜索方法 51
第5章 无向概率图模型学习 52
5.1 概述 52
5.2 马尔可夫随机场 52
5.2.1 邻域系统和团 52
5.2.2 HC定理 53
5.2.3 Pairwise MRF模型 54
5.2.4 MRFs的参数学习 54
5.3 条件随机场 55
5.3.1 问题分析 57
5.3.2 模型训练中的动态规划 58
5.3.3 参数估计的训练算法 59
5.3.4 参数估计的训练过程 61
第6章 概率图模型的新型学习方法 62
6.1 概述 62
6.2 主动学习方法 62
6.2.1 主动学习原理 63
6.2.2 基于主动学习的贝叶斯网络分类器学习算法 68
6.2.3 基于半监督主动学习的动态贝叶斯网络学习方法 78
6.2.4 基于主动学习的贝叶斯网络结构学习 83
6.3 增量学习 90
6.3.1 基本原理 90
6.3.2 贝叶斯网络参数的增量学习方法 90
6.3.3 贝叶斯网络结构的增量学习方法 91
第7章 概率图模型理论在计算机视觉中的应用 93
7.1 基于概率图模型的图像分割 93
7.2 基于概率图模型的检测和识别 95
7.3 基于概率图模型的目标跟踪 97
7.4 基于概率图模型的行为建模和识别 99
第8章 贝叶斯网络在电信个人信用风险分析中的应用 104
8.1 电信客户信用风险评估概述 104
8.2 基于主动贝叶斯网络的电信客户信用风险评估模型 107
8.2.1 指标集确定 107
8.2.2 基于投票熵和类条件后验最大熵的主动贝叶斯网络建立客户信用度评分模型 107
8.2.3 基于投票熵和最小相对熵的主动贝叶斯网络建立客户信用等级评估模型 111
8.3 基于半监督主动学习的DBNs建立电信客户信用风险行为演化模型 114
8.3.1 问题背景 114
8.3.2 基于ERS和EM的DBNs学习算法建立客户信用风险行为演化模型 115
8.3.3 基于QBC和EM的DBNs学习算法建立客户信用风险行为演化模型 117
第9章 概率图模型理论在语音识别中的应用 120
9.1 语音识别基本原理 120
9.2 基于隐马尔可夫模型的孤立词语音识别 121
9.2.1 基于HMM的语音识别框架 121
9.2.2 HMM训练 122
9.2.3 HMM识别 124
9.2.4 实验结果分析 124
9.3 基于深度动态贝叶斯网络无监督语音特征学习和语音识别模型建立 124
9.3.1 概述 125
9.3.2 深度动态贝叶斯网络 126
9.3.3 DDBN拓扑结构的学习和视听语音识别学习算法 127
9.3.4 实验与结果分析 130
附录A 概率图模型常用开发工具 133
附录B 贝叶斯网工具箱BNT的研究与学习 135
参考文献 144