第一章 绪论 1
1.1 引言 1
1.2 概念和术语 2
1.2.1 多媒体技术的有关概念 2
1.2.2 特征抽取，内容表示和索引 3
1.2.3 数据检索与信息检索 4
1.2.4 用户任务 5
1.3 多媒体信息管理的技术需求 6
1.3.1 多媒体信息管理的需求 6
1.3.2 多媒体信息分类 7
1.3.3 多媒体信息管理功能需求 8
1.4 相关技术 10
1.4.1 多媒体技术 10
1.4.2 数据库管理系统 11
1.4.3 信息检索技术 12
1.4.4 模式识别技术 13
1.5 发展趋势和未来的研究问题 14
1.6 本书组织 18
1.7 参考文献 19
1.8 习题 19
第二章 多媒体数据类型与编码 21
2.1 引言 21
2.2 文本 21
2.2.1 简单文本 21
2.2.2 结构化文本 22
2.2.3 文本压缩 22
2.3 数字图像和图形 25
2.3.1 数字图像和图形表示 25
2.3.2 图像压缩原理 25
2.3.3 静态图像压缩标准——JPEG 26
2.3.4 其他图像标准 28
2.4 声音和音频 29
2.4.1 声音的物理特性 29
2.4.2 声音的数字表示 29
2.4.3 电子乐器数字接口 31
2.4.4 音频压缩 31
2.4.5 其他音频压缩标准 37
2.5 视频和动画 37
2.5.1 模拟视频 38
2.5.2 数字视频 38
2.5.3 视频压缩 39
2.5.4 其他视频标准 45
2.6 多媒体表示标准 45
2.6.1 同步多媒体集成语言 45
2.6.2 MHEG标准 46
2.7 多媒体元数据标准 46
2.7.1 多媒体元数据概述 47
2.7.2 XML技术 48
2.7.3 语义web与互操作 49
2.7.4 多媒体元数据标准化框架 51
2.8 小结 52
2.9 参考文献 53
2.10 习题 54
第三章 文本处理与信息检索 55
3.1 引言 55
3.2 信息检索模型 56
3.2.1 信息检索模型分类 56
3.2.2 经典检索模型 56
3.2.3 扩展经典检索模型 61
3.3 文本处理 63
3.3.1 文本预处理 63
3.3.2 文本特性 67
3.3.3 文本聚类 69
3.4 文本索引 71
3.4.1 倒排文件表 72
3.4.2 后缀树和后缀数组 75
3.4.3 签名文件 79
3.5 相关反馈和查询扩展 81
3.6 检索评测 83
3.6.1 性能评估 83
3.6.2 测试文档集 88
3.7 小结 89
3.8 参考文献 90
3.9 习题 91
第四章 Web信息检索 92
4.1 引言 92
4.2 Web信息检索的挑战 93
4.3 Web搜索引擎 94
4.3.1 搜索引擎的体系结构 94
4.3.2 爬虫设计 97
4.3.3 排序算法 99
4.3.4 交互界面设计 101
4.4 Web分类索引 102
4.4.1 Web目录 102
4.4.2 分类索引与搜索引擎的合并使用 105
4.5 元搜索 105
4.5.1 元搜索的起源 106
4.5.2 元搜索组织结构 106
4.5.3 元搜索的分类 107
4.5.4 元搜索主要的性能指标 108
4.5.5 元搜索的特点 109
4.6 Web挖掘 110
4.6.1 Web挖掘简介 110
4.6.2 Web内容挖掘 111
4.6.3 Web结构挖掘 112
4.6.4 Web日志挖掘 112
4.7 小结 113
4.8 参考文献 114
4.9 习题 114
第五章 基于内容的音频检索 115
5.1 引言 115
5.2 音频主要属性和特征 115
5.2.1 时域特征 116
5.2.2 频域特征 117
5.2.3 声谱图 120
5.2.4 主观特征 120
5.3 通用的音频内容检索过程 121
5.3.1 音频分段与分类 121
5.3.2 通用音频内容检索过程 121
5.4 音频的分段和分类 122
5.4.1 音频例子的特征提取 123
5.4.2 逐步判断分类 123
5.4.3 特征向量分类 124
5.5 语音识别与检索 125
5.5.1 语音识别简介 125
5.5.2 语音识别过程 126
5.5.3 语音识别系统框架 127
5.5.4 语音识别常用的技术 128
5.5.5 语音识别系统评估 131
5.5.6 说话者识别 132
5.5.7 小结 133
5.6 音乐的索引与检索 133
5.6.1 音乐的存储类型 133
5.6.2 音乐的索引 134
5.6.3 基于内容的音乐检索 135
5.7 小结 137
5.8 参考文献 138
5.9 习题 139
5.10 附录：HMM 139
第六章 基于内容的图像检索 143
6.1 引言 143
6.2 CBIR系统的框架 143
6.3 基于颜色特征的图像检索 144
6.3.1 颜色空间模型 144
6.3.2 颜色直方图 145
6.3.3 颜色矩 147
6.3.4 颜色聚合向量 147
6.3.5 颜色相关图 148
6.4 基于纹理特征的图像检索 148
6.4.1 Tamura纹理特征 148
6.4.2 灰度直方图的矩 150
6.4.3 基于共生矩阵的纹理描述方法 150
6.4.4 分形模型 151
6.4.5 自回归纹理模型 152
6.4.6 基于小波变换的纹理描述 153
6.4.7 基于Gabor变换的纹理描述 154
6.5 基于形状特征的图像检索 155
6.5.1 基于轮廓的形状描述方法 155
6.5.2 基于区域的形状描述方法 157
6.6 基于空间关系的图像检索 159
6.6.1 图像分割方法 159
6.6.2 拓扑关系 160
6.6.3 方位关系 160
6.6.4 距离关系 161
6.6.5 属性关系图 161
6.6.6 基于空间关系特征检索的步骤 162
6.7 不同特征的比较与综合特征检索 162
6.7.1 不同图像特征的特点总结 162
6.7.2 不同特征的比较 163
6.7.3 特征的综合使用 163
6.8 图像检索过程中的相关反馈技术 164
6.8.1 查询向量相关反馈 164
6.8.2 特征权重相关反馈 166
6.8.3 其他图像相关反馈技术 169
6.9 基于内容的图像检索系统实例 170
6.10 小结 171
6.11 参考文献 173
6.12 习题 174
第七章 视频索引、检索与结构化 175
7.1 引言 175
7.2 基于镜头的视频索引和检索 176
7.2.1 视频结构化 176
7.2.2 基于镜头的视频索引和检索 177
7.3 镜头检测和分段 179
7.3.1 镜头切换和运动 179
7.3.2 突变镜头检测 180
7.3.3 渐变镜头检测 182
7.4 视频索引和检索 184
7.4.1 关键帧提取 184
7.4.2 运动特征提取与索引 185
7.4.3 视频对象特征提取和视频分割技术 189
7.4.4 视频检索的相似性度量 190
7.5 视频表现和抽象 191
7.5.1 视频摘要 191
7.5.2 基于图像的视频摘要 192
7.5.3 基于内容的视频摘要 194
7.5.4 基于结构的视频摘要 194
7.6 TRECVID及IBM参赛视频检索系统 195
7.6.1 镜头边界检测 196
7.6.2 高层特征检测 197
7.6.3 检索 199
7.7 小结 201
7.8 参考文献 202
7.9 习题 203
第八章 多媒体数据库 204
8.1 引言 204
8.2 多媒体数据库技术的发展 205
8.2.1 第一阶段 205
8.2.2 第二阶段 205
8.2.3 第三阶段 207
8.3 数据模型 208
8.3.1 概述 208
8.3.2 数据模型的需求 209
8.3.3 商业数据库的扩展 210
8.3.4 数据模型实例 210
8.4 多媒体查询语言SQL/MM 212
8.4.1 引言 212
8.4.2 全文 212
8.4.3 空间数据 213
8.4.4 静态图像 215
8.5 设计问题 216
8.5.1 体系结构 216
8.5.2 界面设计 217
8.5.3 信息空间表现 218
8.5.4 可视推理 219
8.5.5 可视化查询范型分类 220
8.5.6 多媒体信息系统交互与相关反馈技术 221
8.5.7 多媒体数据库系统实例 223
8.6 MPEG-7与多媒体数据库系统 227
8.7 其他问题 228
8.8 参考文献 229
8.9 习题 229
第九章 多媒体数据库中高维特征的索引和检索技术 231
9.1 引言 231
9.1.1 基于特征的相似性匹配的基本形式 231
9.1.2 基于特征的相似性匹配过程 232
9.2 高维索引方法原理 233
9.2.1 高维空间中的一些效应 233
9.2.2 基本概念和定义 235
9.2.3 高维索引结构 237
9.2.4 高维索引管理与维护 238
9.2.5 区域 239
9.3 基本算法 239
9.3.1 插入、删除和更新 239
9.3.2 精确匹配查询 241
9.3.3 范围查询 241
9.3.4 最近邻居查询和k近邻查询 242
9.4 代价模型 246
9.5 高维索引方法 247
9.5.1 数据驱动的索引结构 248
9.5.2 空间驱动的索引结构 252
9.5.3 降维的方法 255
9.5.4 高维索引方法比较 258
9.6 小结 259
9.7 参考文献 260
9.8 习题 262
9.9 附录：GiST 263
第十章 多媒体通信与分布式多媒体数据库系统 265
10.1 引言 265
10.2 多媒体通信网络与传输协议 265
10.2.1 多媒体通信网 265
10.2.2 异步传输模式 266
10.2.3 多媒体传输协议 268
10.3 多媒体服务质量管理 272
10.3.1 QoS定义 272
10.3.2 通用的QoS框架 273
10.3.3 QoS规范 273
10.3.4 QoS机制 274
10.3.5 QoS体系结构 275
10.3.6 QoS处理实例 276
10.4 多媒体同步 276
10.4.1 多媒体同步规范 276
10.4.2 多媒体不同步原因分析 277
10.4.3 保证多媒体同步机制 278
10.4.4 基于QoS框架的解决方案 279
10.5 分布式多媒体数据库系统 280
10.6 小结 284
10.7 参考文献 284
10.8 习题 285
第十一章 数字图书馆 286
11.1 引言 286
11.1.1 数字图书馆的背景 286
11.1.2 数字图书馆的定义 287
11.1.3 数字图书馆的特征 288
11.2 数字图书馆中多媒体资源存储 289
11.2.1 数字对象 289
11.2.2 数字对象逻辑模型 290
11.2.3 数字对象命名规范 291
11.2.4 元数据 291
11.3 数字图书馆中多媒体信息检索 292
11.3.1 检索语言 293
11.3.2 基于关键词的检索 294
11.3.3 基于内容的图像检索 295
11.3.4 基于内容的视频检索 296
11.3.5 基于内容的音频检索 297
11.4 标准 297
11.4.1 内容编码的标准规范 297
11.4.2 数字对象逻辑模型的标准规范 297
11.4.3 资源格式的标准规范 298
11.4.4 目录模式的标准规范 298
11.4.5 检索条件的标准规范 299
11.5 原型、项目与界面 299
11.6 小结 302
11.7 参考文献 303
11.8 习题 303
第十二章 多媒体信息安全 304
12.1 引言 304
12.1.1 信息安全的基本概念 304
12.1.2 多媒体信息安全的特殊性 306
12.2 常用信息安全技术 306
12.2.1 密钥加密 306
12.2.2 公开密钥加密 308
12.2.3 单向散列算法 309
12.2.4 密钥管理 309
12.2.5 数字签名、数字证书和SSL 310
12.3 信息伪装、数字水印和多媒体鉴定 312
12.3.1 信息伪装 312
12.3.2 数字水印 314
12.3.3 多媒体鉴定方案 315
12.4 数字版权管理 317
12.4.1 基本概念 317
12.4.2 DRM系统整体功能结构 318
12.4.3 版权模型 319
12.4.4 用户认证 321
12.4.5 内容管理 321
12.5 趋势和研究问题 323
12.6 参考文献 323
12.7 习题 325