音视频情感识别的关键技术研究PDF电子书下载

第1章 绪论 1

1.1情感的定义 1

1.2情感的表示方法 2

1.3情感计算 4

1.4情感识别的应用 6

第2章 基于语音和人脸的音视频情感识别技术回顾 7

2.1语音情感识别的技术回顾 7

2.1.1情感语音数据库 7

2.1.2语音情感特征分析 10

2.1.3语音情感的分类算法 13

2.1.4语音情感识别中的难点 16

2.2人脸表情识别的技术回顾 17

2.2.1人脸表情数据库 17

2.2.2人脸表情特征分析 19

2.2.3人脸表情的分类算法 24

2.2.4人脸表情识别中的难点 26

2.3音视频情感识别的技术回顾 26

2.4深度学习在音视频情感识别中的应用 28

2.5本章小结 30

第3章 基于非线性流形学习的语音情感识别 31

3.1流形学习的概念 31

3.2代表性的流形学习算法 32

3.2.1局部线性嵌入 32

3.2.2等距映射 34

3.3改进的监督局部线性嵌入算法 35

3.3.1监督局部线性嵌入 36

3.3.2改进的监督局部线性嵌入 36

3.4语音情感特征提取 38

3.4.1韵律特征 38

3.4.2音质特征 39

3.5实验测试及结果分析 40

3.5.1语音情感数据集 40

3.5.2实验结果分析 41

3.6本章小结 43

第4章 融合核方法与非线性流形学习的语音情感识别 44

4.1核方法基本理论 44

4.2两种代表性的核方法 46

4.2.1核主成分分析法 46

4.2.2核Fisher线性判别分析 47

4.3核判别局部线性嵌入 48

4.4实验测试及结果分析 49

4.4.1语音情感数据集 50

4.4.2情感数据的低维可视化 50

4.4.3语音情感识别结果比较 51

4.5本章小结 53

第5章 基于稀疏表示理论的鲁棒性人脸表情识别 54

5.1人脸表情特征提取 54

5.1.1人脸表情图像预处理 54

5.1.2局部二元模式 55

5.1.3 Gabor小波变换 56

5.2稀疏表示 58

5.2.1压缩感知理论 58

5.2.2稀疏表示分类器 59

5.3实验测试及结果分析 60

5.3.1人脸表情数据集 60

5.3.2无腐蚀和无遮挡的实验结果及分析 61

5.3.3鲁棒性测试的实验结果及分析 64

5.4本章小结 67

第6章 基于特征层和决策层的音视频情感识别 68

6.1音视频情感信息融合策略 68

6.1.1特征层融合 68

6.1.2决策层融合 69

6.2音视频情感数据库 70

6.3特征提取 71

6.3.1声学特征提取 71

6.3.2人脸表情特征提取 71

6.4实验测试及结果分析 72

6.4.1语音情感识别结果 72

6.4.2人脸表情识别结果 72

6.4.3音视频情感识别结果 73

6.5本章小结 74

第7章 基于CNN和DTPM的语音情感识别方法 75

7.1 CNN的基本原理 75

7.2基于CNN和DTPM的语音情感识别模型 76

7.2.1 CNN的语音输入 77

7.2.2 CNN微调 78

7.2.3 DTPM算法 79

7.3实验测试及结果分析 81

7.3.1语音情感数据集 82

7.3.2实验结果分析 82

7.4本章小结 88

第8章 融合DBN与MLP的人脸表情识别方法 89

8.1 DBN的基本原理 89

8.2融合DBN与MLP的人脸表情识别模型 91

8.3实验测试及结果分析 91

8.4本章小结 95

第9章 基于多模CNN的音视频情感识别方法 96

9.1基于多模CNN的音视频情感识别模型 96

9.1.1 CNN的音视频输入 97

9.1.2网络训练 97

9.2实验测试及结果分析 98

9.3本章小结 100

第10章 基于混合深度学习的音视频情感识别方法 101

10.1基于混合深度学习的音视频情感识别模型 101

10.1.1 CNN的音视频输入 102

10.1.2网络训练 102

10.2实验测试及结果分析 103

10.2.1音视频数据集 103

10.2.2实验结果分析 104

10.3本章小结 109

参考文献 110