第1章 绪论 1
1.1视觉语音情感识别的产生背景 1
1.2视觉语音情感分析的研究内容 2
1.3视觉语音情感识别的应用领域 3
1.3.1表情识别的应用 3
1.3.2语音情感识别的应用 5
参考文献 6
第2章 视觉语音情感识别技术概况 7
2.1情感识别框架 7
2.2情感描述模型 7
2.2.1情感的定义 7
2.2.2情感的分类 8
2.3视觉语音信号预处理 10
2.3.1人脸表情图像预处理 10
2.3.2情感语音信号预处理 12
2.4情感特征提取 16
2.4.1视觉信息情感特征提取 16
2.4.2语音情感特征提取 22
2.5情感特征选择 24
2.6常用的情感识别模型 25
2.6.1基于相似性的情感识别模型 25
2.6.2基于连接机制的情感识别模型 26
2.6.3基于概率模型的情感识别模型 32
2.6.4基于集成学习的情感识别模型 43
2.7视觉语音情感识别的挑战 43
2.8视觉语音情感识别的新动向 44
参考文献 45
第3章 基于视觉信息的情感特征提取方法 48
3.1概述 48
3.2基于小波分解和优选VLBP的表情特征提取方法 49
3.2.1表情图像的小波分解 49
3.2.2小波分解图像的情感特征提取 50
3.2.3实验结果与分析 51
3.3基于多频域LBP-TOP的人脸表情特征提取方法 53
3.3.1 LBP-TOP算子 53
3.3.2多频率图像分块LBP-TOP特征提取 56
3.3.3实验结果与分析 57
3.4基于VLBP与光流的混合情感特征提取 58
3.4.1眼睛区域的小波分解分块VLBP特征提取 58
3.4.2特征点自动标注的嘴部光流特征提取 59
3.4.3基于混合特征的表情识别 62
3.4.4实验结果与分析 62
3.5基于Gabor变换的表情图像特征提取方法 63
3.5.1小波变换与多分辨率分析 63
3.5.2 Gabor变换 66
3.5.3人脸表情图像的网格化 68
3.5.4基于Gabor小波变换的表情弹性图的构造 69
3.5.5实验结果与分析 71
3.6基于积分图像的表情特征提取方法 72
3.6.1积分图像的概念 72
3.6.2积分图像表情特征提取 73
3.6.3实验结果与分析 76
3.7一种加权矩形提取表情特征的方法 77
3.7.1矩形模板设计 77
3.7.2基于加权矩形的表情特征提取 78
3.7.3实验结果与分析 80
3.8本章小结 81
参考文献 82
第4章 基于视觉信息的情感识别方法 84
4.1概述 84
4.2最大间隔最小体积球形支持向量机 84
4.2.1最大间隔球形支持向量机 84
4.2.2最大间隔最小体积球形支持向量机 85
4.2.3模型性能分析 89
4.2.4基于最大间隔最小体积球形支持向量机的表情识别 91
4.3混合特征结合分类树的细微表情识别算法 92
4.3.1混合特征提取 92
4.3.2基于分类树的表情识别 95
4.3.3实验结果与分析 97
4.4基于模糊深隐马尔可夫模型的图像序列表情识别方法 98
4.4.1模糊深隐马尔可夫模型 99
4.4.2模糊深隐马尔可夫模型的特性 101
4.4.3基于模糊深隐马尔可夫模型的图像序列表情识别 106
4.4.4实验结果与分析 107
4.5本章小结 112
参考文献 113
第5章 语音情感特征选择提取方法 114
5.1概述 114
5.2情感语音库的录制 114
5.2.1语音情感数据库 115
5.2.2音视频情感数据库 115
5.2.3音视频情感的有效性分析 115
5.3语音情感特征提取方法 116
5.3.1传统声学语音情感特征分析与提取 116
5.3.2基于导数的非个性化语音情感特征提取方法 124
5.3.3基于多重分形理论的语音情感特征提取方法 134
5.4语音情感特征选择方法 142
5.4.1基于神经网络贡献分析的语音情感特征选择 142
5.4.2基于遗传算法的语音情感特征选择和分类器参数优化方法 143
5.4.3基于类集／类对的两级语音情感特征选择方法 145
5.4.4基于扩展测地距离的语音情感特征有效性分析方法 146
5.4.5实验结果与分析 148
5.5基于流形学习的语音情感特征降维 153
5.5.1 Isomap算法描述 153
5.5.2 ELE算法描述 154
5.5.3基于增量流形学习的情感特征降维方法 155
5.5.4实验结果比较与分析 156
5.5.5相关方法比较 157
5.6本章小结 159
参考文献 159
第6章 语音情感识别方法 163
6.1概述 163
6.2基于选择性特征的 SVM决策树的语音情感识别方法 163
6.2.1情感混淆度 163
6.2.2基于SVM一对一算法的语音情感识别 164
6.2.3基于SVM决策树和选择性特征的语音情感识别 166
6.3基于改进有向无环图的分层语音情感识别方法 173
6.3.1基于SVM的有向无环图 173
6.3.2改进有向无环图的构造算法 174
6.3.3基于测地距离的待识别样本鉴别度量算法 175
6.3.4基于SVM的改进有向无环图的构造 178
6.3.5语音情感识别实验 179
6.3.6相关工作比较 183
6.4本章小结 184
参考文献 184
第7章 视觉语音融合情感识别方法 186
7.1基于混合特征和多HMM融合的图像序列表情识别 186
7.1.1多HMM融合的图像序列表情识别方法 186
7.1.2实验结果分析与比较 188
7.2基于D-S证据理论的多粒度语段融合语音情感识别 189
7.2.1 D-S证据理论简介 189
7.2.2多粒度情感语句分段方法 190
7.2.3多粒度语段融合情感识别算法描述 192
7.2.4实验结果分析与比较 193
7.2.5相关工作比较 195
7.3基于对象模糊密度赋值的决策级层次式融合算法 195
7.3.1模糊测度、模糊密度和模糊积分 195
7.3.2类模糊密度与混淆矩阵 196
7.3.3对象模糊密度 197
7.3.4基于对象模糊密度赋值的决策层融合识别算法 198
7.3.5基于模糊密度的人脸表情融合识别 199
7.3.6实验结果与分析 200
7.4具有噪声过滤功能的分类器协同训练半监督主动学习算法 201
7.4.1具有噪声过滤功能的协同训练半监督主动学习算法 201
7.4.2基于NF-CT-SSAL训练算法的半监督主动学习人脸表情识别 205
7.4.3实验结果与分析 206
7.5基于可分度和支持度的模糊密度赋值融合识别算法 209
7.5.1分类器的初始模糊密度 210
7.5.2分类器的自适应模糊密度赋值 211
7.5.3算法描述 213
7.5.4算法在人脸表情识别中的应用 214
7.5.5实验结果与分析 214
7.6本章小结 218
参考文献 218
第8章 情感分析的应用 220
8.1概述 220
8.2人脸表情动画中的逼真人脸重构 220
8.2.1一般人脸模型 220
8.2.2特定人脸模型重构 221
8.2.3实验结果与分析 231
8.3基于表情动作单元参数的逼真表情动画方法 233
8.3.1 ERI介绍 234
8.3.2图像的对准方法及分部位表情比率图库的建立 235
8.3.3表情动画中细微纹理生成 237
8.3.4实验结果与分析 240
8.4情感分析在E-learning环境中应用 242
8.4.1基于规则的本体推理 242
8.4.2 E-learning环境中的本体规则推理情感激励 245
8.4.3情形分析及情感激励实例 246
8.4.4相关工作比较 246
8.5本章小结 247
参考文献 247