目录 4
第1部分 绪论 4
第1章 基于文本方式的信息检索 4
1.1 布尔模型 6
1.2 聚类模型 6
1.3 向量模型 7
1.4 概率模型 8
第2章 基于内容的多媒体检索技术 10
2.1 多媒体分析步骤 11
2.2 多媒体特征提取 12
2.3 多媒体数据流分割 17
2.4 多媒体识别分类 19
第3章 WWW多媒体信息检索 21
第2部分 基于内容的图像检索 28
第4章 图像特征的提取与表达 28
4.1 图像颜色特征 29
4.1.1 颜色直方图 29
4.1.2 颜色矩 31
4.1.4 颜色聚合向量 32
4.1.5 颜色相图 32
4.1.3 颜色集 32
4.2 图像纹理特征 33
4.2.1 Tamura纹理特征 33
4.2.2 自回归纹理模型 34
4.2.3 基于小波变换的纹理特征 35
4.2.4 其他纹理特征 35
4.3 图像形状特征 36
4.3.1 傅立叶形状描述符 36
4.3.2 形状无关矩 37
4.3.3 基于内角的形状特征 38
4.3.4 其他形状特征 39
4.4 图像空间关系特征 40
4.4.1 基于图像分割的方法 40
4.4.2 基于图像子块的方法 41
4.5 图像高维特征约减和索引 42
4.5.1 图像高维特征缩减 42
4.5.2 图像高维特征索引 43
第5章 图像相似度比较方法 44
5.1 图像特征相似度比较 44
5.1.1 欧拉距离 44
5.1.3 二次式距离 45
5.1.4 马氏距离 45
5.1.2 直方图相交 45
5.1.5 非几何的相似度方法 46
5.2 图像特征性能评价 46
5.2.1 颜色特征评价 47
5.2.2 纹理特征评价 47
第6章 图像检索中的相关反馈机制 49
6.1 相关反馈技术分类 50
6.2 查询向量相关反馈 51
6.2.1 文本检索中的相关反馈 52
6.2.2 图像检索相关反馈模型 53
6.3 特征权重相关反馈 54
6.3.1 特征权重相关反馈结构 55
6.3.2 图像特征归一化 57
6.3.3 图像特征权重调整 59
6.4 其他图像相关反馈技术 61
第7章 图像检索的现状和未来 64
7.1 现有图像检索系统 64
7.2 图像检索未来发展趋势 66
第3部分 视频结构化与视频检索 73
第8章 视频内容结构化 73
8.1.1 绝对帧间差法 76
8.1 视频镜头边缘检测 76
8.1.2 图像像素差法 77
8.1.3 图像数值差法 77
8.1.4 颜色直方图法 78
8.1.5 压缩域差法 80
8.1.6 矩不变量法 80
8.1.7 边界跟踪法 81
8.1.8 运动矢量法 81
8.2 镜头边缘阈值确定 82
8.2.1 像素点变化阈值 82
8.2.2 镜头切分阈值 82
8.3 视频关键帧提取 83
8.2.3 镜头渐变阈值 83
8.3.1 基于镜头边界法 84
8.3.2 基于颜色特征法 84
8.3.3 基于运动分析法 85
8.3.4 基于聚类的关键帧提取 85
8.4 视频场景构造 86
8.5 新闻类视频结构化 95
8.5.1 视频新闻内容分析 96
8.5.2 现有新闻类分析系统 101
第9章 视频检索和视频反馈 104
9.1 视频检索 104
9.2 视频相关反馈 109
9.2.1 视频层次反馈 110
9.2.2 镜头层次的反馈 111
第10章 视频检索技术的现状和未来 113
10.1 视频检索的应用前景 113
10.2 现有视频检索系统 114
10.3 视频检索发展趋势 115
第4部分 基于内容的音频检索 122
第11章 音频信号特征提取与表达 122
11.1 音频时域特征提取 123
11.1.1 短时平均能量 124
11.1.3 线性预测系数 125
11.1.2 过零率 125
11.2 音频频域特征提取 126
11.2.1 傅立叶级数 128
11.2.2 复数形式傅立叶级数 129
11.2.3 傅立叶积分与连续频谱 130
11.2.4 抽样定理 132
11.2.5 连续信号的滤波与卷积 132
11.2.6 能谱特征 133
11.2.7 平均功率与功率谱特征 134
11.2.8 倒谱特征分析 134
11.2.9 LPC倒谱和Mel系数 136
11.2.10 其他频域特征 138
11.3 音频时频特征提取 138
11.3.1 短时傅立叶变换 139
11.3.2 小波变换 140
11.3.3 连续小波变换 140
11.3.4 离散小波变换 142
11.3.5 小波特征系数提取 143
11.4 音频例子特征提取 143
第12章 音频分割与识别 145
12.1 音频分割算法 146
12.1.1 音频分层分割 147
12.1.2 基于压缩域特征音频分割 149
12.1.3 基于模板的音频分割 154
12.2 音频例子识别模型 156
12.2.1 基于隐马尔可夫链音频例子识别 159
12.2.2 基于增量支持向量机的音频例子识别 177
12.2.3 基于最近特征线法的音频例子识别 190
12.2.4 音频例子混合识别模型 191
第13章 基于内容的音频检索技术 193
13.1 相似音频例子检索 196
13.1.1 基于分类模型的音频例子检索 196
13.1.2 基于模糊聚类音频例子检索与音频相关反馈 197
13.2 广播新闻结构化 205
13.3 音乐检索 209
第14章 音频检索的现状与未来 211
14.1 音频检索的类别 211
14.2 音频检索未来与挑战 213
第5部分 多媒体融合分析与检索 221
第15章 多媒体融合分析 221
15.1 多媒质特征融合 222
15.2 单媒质交叉索引 224
15.3 单媒质结果融合 226
16.1 文本与视觉信息融合检索 229
第16章 多媒体融合检索系统 229
16.2 结合文本和视觉的图像检索与反馈 232
16.3 基于多模态融合的视频结构化 235
16.3.1 多模态信息结构化新闻类视频 235
16.3.2 音频分析技术 237
16.3.3 视频中的文本分析 240
16.4 基于压缩域音频特征的足球比赛精彩场景识别提取 241
16.4.1 足球比赛的声音特征 242
16.4.2 思路和实现方法 243
16.4.3 结果分析和比较 247
16.5 基于支持向量机的视频字幕提取 249
16.6 基于人脸对象的多媒体内容分析 254
16.7 基于多模态融合的视频场景分析 272
第6部分 网上多媒体信息检索系统 279
第17章 面向WWW多媒体检索系统 279
17.1 网络信息收集Web Crawler 280
17.2 面向WWW的多媒体检索系统Webscope-CBIR 288
17.3 网络智能检索界面 291
17.4 个性化WWW检索 295
第18章 发展与挑战 298
18.1 数字化图书馆 298
18.2 特征维数约减与变换 303
18.3 三维多媒体检索 312
18.4 基于关键块的图像检索 318
18.5 检索复杂性度量 324
18.6 新一代媒体表示对软件和硬件的影响 329
18.7 感知界面 331
18.8 多媒体推理 333
18.9 结论 340
附录1 音频处理工具HTK 341
附录2 多媒体研究领域资料汇总 347
参考文献 349