面向语音与面部表情信号的多模式情感识别技术研究PDF电子书下载

第1章 绪论 1

1.1情感识别研究背景概述 1

1.2情感的定义 1

1.3情感的分类 2

1.4情感计算 3

1.5情感识别国内外研究现状 5

1.6情感识别的研究意义及应用 6

1.7情感识别研究中的难点 8

1.8章节安排 9

第2章 情感语音信号预处理技术 15

2.1概述 15

2.2语音生成系统和语音感知系统 15

2.2.1语音生成系统 15

2.2.2语音感知系统 17

2.3语音信号的产生模型 20

2.4语音信号的时域波形 22

2.5音素与音节 25

2.6基音与四声 25

2.7语音信号的采样和量化 26

2.8语音信号的预加重 27

2.9语音信号的分帧和加窗处理 28

2.10端点检测 29

2.10.1几种常用的端点检测算法 30

2.10.2 4种端点检测方法比较总结 34

2.10.3基于短时能零积和鉴别信息的语音端点检测算法 34

2.11本章小结 42

第3章 面部表情信号预处理技术 46

3.1视觉认知心理 46

3.2人脸面部结构 48

3.3面部肌肉结构 48

3.4面部动作编码系统 50

3.5面部表情图像预处理在系统中的重要作用 52

3.6表情图像的光照补偿 52

3.6.1线性变换法 53

3.6.2对数变换法 53

3.6.3指数变换法 53

3.6.4直方图均衡化法 54

3.7表情图像的尺寸归一化 56

3.7.1眼睛定位算法 56

3.7.2尺寸、角度归一化 60

3.8本章小结 61

第4章 语音情感特征参数提取 64

4.1语音情感表达概述 64

4.2时域特征 67

4.2.1短时能量 67

4.2.2短时平均幅度 67

4.2.3 短时过零率 68

4.2.4短时自相关函数 68

4.2.5短时平均幅度差函数 69

4.3倒谱特征 69

4.3.1基于线性预测的倒谱参数LPCC 69

4.3.2基于Mel频率的倒谱参数MFCC 70

4.4感知线性预测参数 72

4.5共振峰特征参数 73

4.6基因特征参数 75

4.7谐振强度特征参数 78

4.8基于边际谱的长时特征参数 80

4.9语音序列的相空间重构特征参数 82

4.10自适应语音情感动态特征参数 83

4.11本章小结 90

第5章 面部表情特征参数提取 97

5.1概述 97

5.2 NMF面部表情特征 98

5.3 Gabor小波特征 100

5.4基于光流法的动态表情提取 102

5.4.1时空梯度法 102

5.4.2匹配法 103

5.4.3基于能量的方法 104

5.4.4基于相位的方法 105

5.5基于时序模板的动态特征提取 106

5.6基于分数阶傅里叶变换的表情特征提取 109

5.6.1一维分数阶傅里叶变换的定义和相关性质 109

5.6.2一维分数阶傅里叶变换的离散算法 111

5.6.3二维分数阶傅里叶变换 114

5.6.4二维分数阶傅里叶变换性质 115

5.6.5分数阶傅里叶变换提取表情信息 116

5.7基于HOG的表情特征提取 120

5.8基于主动外观模型的表情特征提取 122

5.8.1特征点检测方法 122

5.8.2建立形状模型 123

5.8.3建立外观模型 125

5.8.4联合形状和外观建立模型 126

5.8.5面部特征点检测 126

5.8.6面部动画参数提取 127

5.9基于差值模板和PCA的面部表情特征提取 129

5.10本章小结 130

第6章 特征参数融合与识别 137

6.1概述 137

6.2基于遗传小波神经网络的语音情感识别 138

6.2.1小波神经网络的设计 138

6.2.2优化方法 140

6.2.3实验结果与分析 142

6.3基于局部保持投影和主元分析的语音情感识别 144

6.3.1 PCA和LPP算法分析 145

6.3.2算法描述 145

6.3.3仿真实验及结果分析 148

6.4基于模糊核聚类的多模式情感识别算法 151

6.4.1参数提取 151

6.4.2算法描述 153

6.4.3仿真实验及结果分析 155

6.5基于FASPC的多模式情感信息融合方法 157

6.5.1系统结构框架 157

6.5.2常用算法介绍 157

6.5.3融合识别算法具体步骤 165

6.5.4仿真实验及结果分析 166

6.6本章小结 168

第7章 总结与展望 178

7.1主要工作及创新点 178

7.2进一步研究的展望 180