音频信息检索理论与技术PDF电子书下载

第一部分 音频信息检索的发展与理论基础第1章 绪论 3

1.1 信息检索技术的分类及进展 3

1.1.1 概述 3

1.1.2 文本信息检索 3

1.1.3 多媒体信息检索 4

1.2 音频信息检索技术的发展 9

1.2.1 语音文档检索 11

1.2.2 说话人检索 14

1.2.3 音乐检索 16

1.3 音频信息检索的应用 18

1.4 本书的构成 19

参考文献 20

第2章 音频信息检索的基础 24

2.1 人类对音频信息的认知机理 24

2.1.1 听觉的生理基础 24

2.1.2 听觉的感知机制 25

2.1.3 听觉特性 26

2.2 音频信号的数字处理及特征表示 28

2.2.1 信号的统计特征 28

2.2.2 感知特征 33

2.3 音频信息检索框架及模型 35

2.4 音频信息检索的评价 39

参考文献 40

第二部分 表示级的音频检索 43

第3章 基于直接匹配的音频样例检索方法 43

3.1 基于分段的实时检索方法 43

3.1.1 片段划分 44

3.1.2 基于检索窗的检索控制 45

3.1.3 基于分段的检索方法 46

3.1.4 快速分段检索方法 48

3.2 MPEG-1压缩域模糊分类的检索方法 52

3.2.1 MPEG音频编码简介 52

3.2.2 MPEG-1 压缩域特征选择和提取 54

3.2.3 基于MPEG-1压缩域模糊分类的检索方法 57

参考文献 58

第4章 基于索引的音频样例检索方法 61

4.1 局部敏感哈希索引方法 61

4.1.1 局部敏感哈希 62

4.1.2 p-稳定分布局部敏感哈希 65

4.1.3 p-稳定分布局部敏感哈希音频索引方法 66

4.2 基于局部敏感哈希倒排索引的检索方法 67

4.2.1 基于局部敏感哈希的倒排索引构造 67

4.2.2 基于局部敏感哈希倒排索引的搜索 69

4.3 基于树与链表混合索引的检索方法 72

4.3.1 模糊直方图模型 72

4.3.2 树与链表混合索引构造 74

4.3.3 基于树与链表混合索引的搜索 74

4.3.4 时间复杂度分析 76

参考文献 77

第5章 基于GPU通用计算的快速音频样例检索方法 79

5.1 通用图形处理器与统一计算设备框架 79

5.1.1 通用图形处理器 79

5.1.2 统一计算设备框架 80

5.2 检索算法GPU加速的可行性分析 83

5.2.1 检索算法可移植性分析 83

5.2.2 检索算法计算特点分析 84

5.3 检索算法GPU加速的实现 86

5.3.1 以线程为粒度的算法实现 87

5.3.2 以线程块为粒度的算法实现 92

5.3.3 加速效果比较 96

参考文献 96

第三部分 语义级语音文档检索 101

第6章 语音文档检索的预处理技术 101

6.1 语音文档检索系统的组成 101

6.2 检索系统中的预处理技术 104

6.2.1 连续语音识别 104

6.2.2 关键词检出 111

6.3 语音文档检索的评价指标 114

参考文献 117

第7章 语音文档检索的索引和搜索技术 120

7.1 基于关键词检出的检索方法 121

7.2 基于语音识别器最优候选的检索方法 121

7.2.1 基于大词表连续语音识别器最优候选的检索方法 121

7.2.2 基于子词识别器最优候选的检索方法 122

7.3 基于音节网格搜索的检索方法 124

7.3.1 音节网格的若干定义及性质 125

7.3.2 基于音节网格搜索的检索方法 126

7.3.3 索引去冗余方法 132

7.3.4 检索性能分析 133

7.4 基于音节倒排索引的检索方法 134

7.4.1 倒排索引结构 135

7.4.2 采用时间匹配机制的检索方法 135

7.4.3 采用位置匹配机制的检索方法 138

7.4.4 检索性能分析 143

7.5 基于后验概率邻接音节矩阵的检索方法 144

7.5.1 语音文档的表示 144

7.5.2 网格的邻接音节后验概率矩阵 145

7.5.3 语音文档的邻接音节后验概率矩阵 148

7.5.4 检索方法描述 149

7.5.5 基于韵律加权的索引修正 150

7.5.6 检索性能分析 152

参考文献 153

第8章 语音文档检索中的容错技术 155

8.1 基于模糊匹配策略的容错方法 155

8.2 基于融合策略的容错方法 158

8.2.1 索引层面的融合 158

8.2.2 分数层面的融合 159

8.3 基于扩充网格的容错方法 162

8.3.1 算法的基本思想 162

8.3.2 基于局部路径的简化计算 167

8.3.3 基于扩充网格的检索精度提高方法 168

8.3.4 检索性能分析 169

8.4 基于词片语言模型的容错方法 169

8.4.1 词片 170

8.4.2 基于互信息的词片选择算法 170

8.4.3 基于词片的语言模型 171

8.4.4 采用词片识别器的检索方法 172

参考文献 173

第四部分 语义级的说话人检索 177

第9章 说话人检索 177

9.1 说话人分割 178

9.2 检索中的说话人识别技术 179

9.2.1 基于GMM的识别方法 180

9.2.2 基于GMM-UBM的识别方法 183

9.3 直接利用说话人识别实现的检索技术 185

9.3.1 极低错误接受率的实现 186

9.3.2 训练语料不充分问题的解决 189

9.4 间接利用说话人识别实现的检索技术 193

9.4.1 锚模型索引方法 193

9.4.2 GMM模型索引方法 194

参考文献 196

第五部分 语义级的音乐检索 199

第10章 音乐自动标注 199

10.1 音乐声学基础 199

10.1.1 乐音的感知 199

10.1.2 音程、音律、音名与音高标准 200

10.1.3 音乐的要素 203

10.2 音乐自动标注方法及存在的问题 204

10.3 基于谐波结构信息的音乐标注 207

10.3.1 基于BP神经网络的起始点检测 207

10.3.2 基于谐波结构信息的多基频估计方法 209

10.4 基于半音域频率系数的歌曲旋律提取 215

10.4.1 半音域频率系数 215

10.4.2 基于Viterbi方法的旋律提取 216

参考文献 220

第11章 音乐检索 222

11.1 哼唱检索 222

11.1.1 基于规则的哼唱旋律提取 223

11.1.2 乐曲库的索引方法 228

11.1.3 旋律匹配 233

11.2 拍打检索 233

11.2.1 特征提取 233

11.2.2 基于DTW的匹配计算 235

11.3 基于色度图的复调音乐检索 235

11.3.1 色度 236

11.3.2 色度图 237

11.3.3 离散色度图和色度特征 237

11.3.4 基于色度的相关计算与检索 241

参考文献 243