编者的话 1
前言 1
第1章概论 1
1.1基本概念 1
1.1.1数据库和数据库管理系统（DBMS） 1
1.1.2媒体类型和多媒体 1
目录 1
1.2多媒体数据及其特征 2
1.3关系数据库管理系统（RDDBMS） 3
1.4信息检索（IR）技术 4
1.5.2特征抽取、内容表示和索引 5
1.5多媒体索引和检索系统（MIRS） 5
1.5.1采用MIRS的原因 5
1.6 MIRS的预期功能 6
1.7习题 7
第2章多媒体基础知识 9
2.1多媒体应用技术 9
2.1.1多媒体数字音频技术 9
2.1.2数字图形及图像技术 11
2.1.3多媒体数字视频技术 12
2.1.4多媒体动画技术 14
2.1.5超文本与超媒体 15
2.1.6光存储技术及其标准化 16
2.2常见的多媒体文件格式 17
2.2.1音频文件格式 17
2.2.2视频文件格式 18
2.2.3图像文件格式 20
2.3多媒体关键技术问题 21
2.4习题 21
3.1.1概述 22
3.1.2数字图像编码技术 22
3.1信息表示与编码 22
第3章多媒体数据压缩技术 22
3.2常用的数据压缩技术 23
3.2.1概述 23
3.2.2游程长度编码 24
3.2.3变换编码 24
3.2.4预测编码 24
3.3静态图像压缩标准（JPEG） 25
3.3.1 JPEG标准的主要内容 25
3.3.2 JPEG静态图像压缩算法 25
3.4运动图像压缩标准（MPEG） 26
3.4.1 MPEG标准简介 26
3.4.4 MPEG-1标准 27
3.4.2 MPEG音频 27
3.4.3 MPEG视频 27
3.4.5MPEG-2标准 28
3.4.6 MPEG-4标准 28
3.5视频通信编码解码标准 29
3.5.1 H.261标准及H.263标准 29
3.5.2 Intel的Indeo技术 30
3.5.3苹果公司的QuickTime格式 30
3.5.4微软的AVI格式 30
3.5.5 Intel的DVI格式 30
3.6声音压缩标准 30
3.7习题 31
3.6.1 MP3音频压缩编码 31
3.6.2 Real Audio音频压缩编码 31
第4章多媒体数据类型和格式 33
4.1 引言 33
4.2多媒体数据和应用特征 33
4.2.1存储和带宽要求 33
4.2.2多媒体信息的语义结构 34
4.2.3延时和延时抖动要求 34
4.2.4相关媒体之间的时间和空间关系 34
4.3.3文本压缩 35
4.3.2结构化文本 35
4.3文本 35
4.2.5多媒体数据含义的主观性和模糊性 35
4.3.1普通文本 35
4.4音频 37
4.4.1音频信号的基本特征 37
4.4.2音频的数字表示 37
4.4.3音乐设备数字接口（MIDI） 39
4.4.4音频压缩 39
4.5.1数字图像表示 42
4.5.2数字图像的主要参数 42
4.5数字图像 42
4.5.3图像压缩 43
4.6数字视频 47
4.6.1数字视频表示 47
4.6.2视频压缩 48
4.7向量图形和动画 52
4.8复合多媒体文档的标准 52
4.9 MIRS的设计 53
4.10习题 53
5.1.2数据模型 55
5.1.1数据 55
5.1数据模型和数据模式 55
第5章多媒体系统的数据模型 55
5.1.3数据模式 56
5.2多媒体系统数据模型 56
5.2.1多媒体系统对数据模型的要求 56
5.2.2一个通用的多媒体数据模型 57
5.3数据模型实例 58
5.3.1 VIMSYS数据模型 58
5.3.2一个通用的视频模型 59
5.3.3 Virage图像模式结构 59
5.3.4 DM2多媒体数据模型 60
5.4习题 61
第6章多媒体数据库管理系统 62
6.1引言 62
6.2 MMDBMS的体系结构 63
6.3 MMDBMS的功能 64
6.3.1数据表示 64
6.3.2数据操作 65
6.3.3事务处理 66
6.3.4元数据管理 66
6.3.6存储管理 67
6.3.5数据发布 67
6.3.7服务质量 68
6.3.8保持数据完整性和安全性 69
6.3.9用户接口 69
6.3.10异构性 70
6.3.11实时处理 70
6.4习题 71
第7章多媒体数据库的设计问题 72
7.1 引言 72
7.2 MMDBMS体系结构 72
7.3.1数据库组 73
7.3界面设计 73
7.3.2查询 74
7.3.3结果显示 75
7.4特征抽取、索引和相似性度量 75
7.4.1特征抽取 75
7.4.2索引结构 77
7.4.3相似性度量 77
7.5客户机、服务器和通信系统中的QoS保障 77
7.6其他问题 78
7.6.1多媒体数据压缩 78
7.6.4共享环境的实现 79
7.6.3查询处理和检索 79
7.6.2数据表示标准化 79
7.6.5并发控制策略 80
7.6.6完整性维护 80
7.7习题 80
第8章文本文档的索引和检索 81
8.1 引言 81
8.2 IR系统和DBMS之间的区别 81
8.3自动文本文档索引和布尔检索模型 82
8.3.1基本的布尔检索模型 82
8.3.2文件结构 83
8.3.3条目操作和自动索引 84
8.3.4自动文档索引小结 86
8.4矢量空间检索模型 86
8.4.1基本的矢量空间检索模型 86
8.4.2相关反馈技术 87
8.5概率检索模型 88
8.6基于集群的检索模型 88
8.6.1集群的产生 88
8.6.2基于集群的检索 89
8.7非传统的IR方法 89
8.9不同的IR技术之间的性能比较 90
8.8性能度量 90
8.10 WWW搜索引擎 91
8.10.1 WWW简介 91
8.10.2资源发现 93
8.10.3 IR系统和WWW搜索引擎的主要区别 94
8.10.4 WWW搜索引擎的一般结构 96
8.10.5搜索引擎Google 97
8.11 习题 99
第9章音频的索引和检索 100
9.1 引言 100
9.2.1音频时域特征的提取 101
9.2主要音频性能和特征 101
9.2.2音频频域特征的提取 103
9.2.3频谱图 104
9.2.4主观特征 104
9.3音频分类 104
9.3.1不同类型声音的主要特征 104
9.3.2音频分类方法 105
9.4语音识别和检索 105
9.4.1语音识别 106
9.4.2发音者识别 108
9.5.2基于样本的音乐的索引和检索 109
9.5音乐的索引和检索 109
9.5.1结构化音乐和声音效果的索引和检索 109
9.6利用音频和其他媒体之间的关系进行索引和检索 111
9.7小结 111
9.8习题 111
第10章图像索引和检索 113
10.1 引言 113
10.2图像索引和检索的主要方法 113
10.3基于文本的图像检索技术 114
10.4.1基于内容的图像索引和检索技术简介 115
10.4.2基于内容的图像检索系统体系机构 115
10.4基于内容的图像索引和检索技术（CBIR） 115
10.5基于颜色的图像索引和检索技术 116
10.5.1基于颜色的图像检索技术 116
10.5.2基本技术的改进 117
10.6基于形状的图像检索 121
10.6.1常用术语和一些简单的形状度量方法 122
10.6.2不变矩 122
10.6.3傅立叶形状描述符 123
10.6.4重要边界的直方图 124
10.6.5感兴趣点的排序列表 124
10.6.7基于区域的形状表示和相似性度量 125
10.6.6弹性模板匹配 125
10.7基于纹理的图像检索 129
10.8基于压缩图像数据的图像索引和检索 130
10.8.1基于DCT系数的图像索引和检索 130
10.8.2基于小波系数的图像索引和检索 130
10.8.3基于VQ压缩数据的图像索引和检索 131
10.9其他图像索引和检索技术 132
10.9.1以基于模型的压缩为基础的图像检索 132
10.9.2基于空间关系的图像检索 132
10.10综合图像索引和检索技术 132
10.10.3 webSEEK 133
10.10.1 QBJC 133
10.10.2 Virage图像搜索引擎 133
10.10.4 ImageRover WWW搜索引擎 134
10.11 小结 134
10.12习题 134
第11章视频索引和检索 136
11.1 引言 136
11.2视频特征分析 136
11.2.1视频基本知识 136
11.3基于镜头的视频索引和检索综述 137
11.2.2视频特征 137
11.4视频镜头检测或分割 138
11.4.1基本的视频分割技术 138
11.4.2用渐进变化检测镜头边界 139
11.4.3防止虚假的镜头检测 140
11.4.4其他镜头检测技术 141
11.4.5压缩视频的分割 141
11.5视频索引和检索 142
11.5.1基于r视频镜头帧的索引和检索 142
11.5.2基于动态信息的索引和检索 143
11.5.4基于注释的索引和检索 144
11.5.3基于对象的索引和检索 144
11.5.5视频索引和检索的综合方法 145
11.6有效的视频表示和抽象 145
11.6.1题目或主题分类 145
11.6.2动态图标或视频图标 146
11.6.3视频横幅 147
11.6.4剪辑图 147
11.6.5分级视频浏览器 147
11.7视频检索技术的现状和未来 148
11.6.9视频剪辑 148
11.6.8情景转换图 148
11.6.6故事板 148
11.6.7马赛克 148
11.7.1现有视频检索系统 149
11.7.2视频检索发展趋势 149
11.8小结 149
11.9习题 150
第12章综合的多媒体索引和检索 151
12.1 引言 151
12.2综合的索引和检索技术 152
12.2.1综合的音频索引和检索 152
12.2.4基于单个特征所获得的结果的合并 153
12.2.2综合的图像索引和检索 153
12.2.3综合视频索引和检索 153
12.2.5媒体变换 154
12.3多媒体信息管理的一般体系结构 154
12.4用户界面 155
12.4.1多媒体创作和注释 155
12.4.2搜索和浏览 156
12.4.3结果显示和相关反馈 156
12.5系统实例介绍 157
12.5.1 QBIC 157
12.5.2 Monash大学开发的综合的WWW图像搜索引擎 158
12.5.3 MetaSearch引擎 160
12.6习题 163
第13章分布式多媒体数据库的系统支持 164
13.1引言 164
13.2 QoS管理 165
13.2.1定义 165
13.2.2通用的QoS框架结构 165
13.2.3 QoS规定 166
13.2.4许可控制和QoS协商 166
13.2.5保障的不同级别 167
13.2.6提供QoS保障 167
13.3多媒体系统的设计目标 168
13.2.7 QoS处理的一个例子 168
13.4多媒体数据存储设备和管理 169
13.4.1 多媒体存储服务器要求 169
13.4.2存储设备 170
13.4.3磁盘中的数据位置 171
13.4.4磁盘调度及许可控制 172
13.4.5提供用户交互功能 172
13.4.6服务器配置和网络连接 174
13.4.7多媒体数据的存储和管理 175
13.5.1 多媒体处理器体系结构 176
13.5多媒体计算机体系结构 176
13.5.2多媒体计算机体系结构 177
13.6多媒体操作系统 179
13.6.1多媒体操作系统要求 180
13.6.2多媒体操作系统的设计问题 180
13.6.3常规的分时操作系统和实时特征的结合 180
13.6.4数据复制问题解决方案 182
13.6.5降低上下文和域交换开销的解决方案 182
13.6.6 QoS支持 183
13.7.1适合于多媒体通信的网络特征 184
13.7多媒体网络 184
13.7.2异步传输模式（ATM） 186
13.7.3网络性能保障 188
13.8多媒体传输协议 188
13.8.1多媒体传输协议的要求 188
13.8.2传统的传输协议 189
13.8.3资源保留协议 190
13.8.4实时传输协议（RTP） 191
13.8.5其他的多媒体传输协议：HeiTP和Telnet 192
13.9整体同步表现效果 192
13.9.1同步规范 192
13.9.2多媒体失步的原因分析 194
13.9.3取得多媒体同步的机制 195
13.9.4基于QoS框架结构的最终解决方案 196
13.10习题 197
第14章多媒体信息检索的有效性度量 198
14.1 引言 198
14.2人工判断数据的收集 199
14.2.1 收集相关数据的三种常用的方法 199
14.2.2数据收集方法的选择 199
14.2.3标准测试数据库的必要性 199
14.5相似度排序的百分比（PSR） 200
14.3查全率和精确度对（RPP） 200
14.4加权命中的百分比（PWH） 200
14.6常用效能度量方法的适用性 201
14.6.1一个数值例子 201
14.6.2 PSR、PWH和RPP的优点与缺点 202
14.7修改的RPP 203
14.8影响检索效能的因素 203
14.9习题 204
15.1.1 IBM的DB2通用数据库及Virage产品 205
15.1.2国防科技大学研制的多媒体数据库系统 205
15.1 多媒体信息索引和检索领域的一些主要产品 205
第15章产品、应用和发展 205
15.1.3达梦（DM）数据库 206
15.1.4 CNKI知识网络服务平台KNS 3.0 207
15.2个性化服务（Individual Service） 209
15.2.1信息过滤系统（IF）与信息查询系统（IR） 209
15.2.2 Metadata的个性化服务系统 210
15.3多媒体索引和检索的应用 212
15.3.1 WWW多媒体搜索引擎 212
15.3.2数字图书馆 212
15.3.3视频点播（VOD）系统 214
15.3.4近期研究的音频检索问题 217
15.4多媒体安全 218
15.4.1提供隐私性和秘密性 218
15.4.2身份认证 219
15.4.3版权保护 219
15.5 MPEG-7 219
15.6习题 221
附录 222
附录A支持流媒体传输的网络协议 222
附录B彩色表示 223
附录C缩写词表 228
参考文献 233