基本技术篇（上） 1
第一章 多媒体技术导论 3
1.1 多媒体技术的基本概念 3
1.1.1 媒体和多媒体 3
1.1.2 多媒体技术的关键特性 4
1.2 多媒体技术的发展进程 5
1.2.1 多媒体技术的发展历史 6
1.2.2 改善人类信息的交流方式 7
1.3.1 多媒体数据压缩与技术标准 8
1.3 多媒体技术研究的主要内容 8
1.3.2 多媒体数据存储技术 10
1.3.3 多媒体软硬件平台技术 10
1.3.4 多媒体信息管理技术 12
1.3.5 多媒体通信与分布式处理技术 13
1.3.6 多媒体技术发展的新颖技术 13
1.4 多媒体计算机的组成 16
1.5 多媒体技术的应用领域 17
1.6 小结 18
习题 19
第二章 多媒体计算机系统技术 20
2.1 多媒体软件基础 20
2.1.1 多媒体创作工具分类 20
2.1.2 典型的多媒体创作工具 22
2.1.3 多媒体程序设计基础 24
2.1.4 多媒体应用系统设计过程 29
2.2 多媒体系统硬件开发平台 30
2.2.1 多媒体计算机与MPC 30
2.2.2 多媒体硬件系统 33
2.2.3 声音卡与视频卡 35
2.2.4 专用多媒体处理器 39
2.3 嵌入式实时操作系统RTOS 42
2.3.1 多媒体系统的RTO概述 42
2.3.2 多媒体领域的几种主流RTOS 43
2.3.3 Vxworks操作系统简介 44
2.4 视频会议终端设计 46
2.4.1 终端系统的硬件总体框架 47
2.4.2 软件总体结构与软件模块 48
习题 51
2.5 小结 51
第三章 多媒体数字化技术 52
3.1 声音数字化技术 52
3.1.1 声音的要素与信号参数 52
3.1.2 声音信号数字化 53
3.1.3 声音文件的存储格式 55
3.2 彩色数字图像基础 56
3.2.1 RGB三基色原理 56
3.2.2 图像的颜色模型 57
3.2.3 位图及矢量图 60
3.2.4 图像的文件格式 62
3.3 彩色数字电视基础 67
3.3.1 图像的光栅扫描方式 68
3.3.2 彩色电视信号表示 68
3.3.3 图像子采样格式 70
3.4 视频采集卡的原理与应用 72
3.4.1 视频采集卡的类型 72
3.4.2 视频采集卡的工作原理 73
3.4.3 视频采集卡的驱动与应用 75
习题 78
3.5 小结 78
第四章 多媒体数据压缩技术 79
4.1 多媒体数据压缩技术概述 79
4.1.1 多媒体数据的冗余类型 79
4.1.2 数据压缩方法分类 80
4.1.3 数据压缩方法的基本原理 81
4.1.4 数据压缩的性能指标 83
4.2 常用多媒体数据压缩方法 84
4.2.1 哈夫曼编码与算术编码 84
4.2.2 行程编码与预测编码 89
4.2.3 变换编码原理与方法 91
4.2.4 分形编码和子带编码 95
4.3 语音信号编码的标准与方法 97
4.3.1 脉冲编码调制PCM 97
4.3.2 增量调制和自适应增量调制 100
4.3.3 差分脉冲编码调制DPCM 101
4.3.4 自适应差分脉冲编码调制ADPCM 102
4.3.5 线性预测编码LPC 103
4.3.6 语音信号编码的要求与标准 107
4.4.1 JPEG标准的主要编码方法 110
4.4 静态图像压缩编码技术 110
4.4.2 JPEG2000彩色图像压缩编码方法 115
4.4.3 静态图像压缩芯片 118
4.5 动态图像压缩编码技术 119
4.5.1 MPEG-1压缩标准与压缩方法 119
4.5.2 MPEG-2压缩标准 122
4.5.3 MPEG-4压缩标准与压缩方法 123
4.5.4 MPEG-1/2/4视频压缩卡 127
习题 129
4.6 小结 129
第五章 多媒体应用系统 130
5.1 可视电话系统 130
5.1.1 可视电话系统的类型与组成 130
5.1.2 可视电话系统的软件实现 131
5.1.3 可视电话的关键技术 134
5.2 H.323视频会议系统 135
5.2.1 H.323协议的结构与特点 135
5.2.2 H.323终端 136
5.2.4 H.323多点控制单元 137
5.2.3 H.323网关 137
5.2.5 H.323网守 139
5.3 IP电话 140
5.3.1 IP电话的概念 140
5.3.2 IP电话与PSTN电话的技术差别 140
5.3.3 IP电话的三种类型 141
5.4 视频点播VOD系统 143
5.4.1 真视频点播TVOD系统 143
5.4.2 准视频点播NVOD系统 146
5.5.1 视频编辑软件的构成 148
5.5 视频编辑系统 148
5.5.2 家庭用户视频编辑工具 149
5.6 动画制作系统 152
5.6.1 动画技术与分类 152
5.6.2 Flash的工作区与工作流程 154
5.6.3 Flash动画制作方法 158
5.7 小结 163
习题 163
高级技术篇（中） 165
6.1.1 数据库数据模型 167
6.1 多媒体数据库概述 167
第六章 多媒体数据库技术 167
6.1.2 多媒体数据库的数据类型 169
6.1.3 多媒体数据库的层次描述 170
6.2 多媒体的相关数据模型 172
6.2.1 超媒体数据模型 172
6.2.2 NF2数据模型 173
6.2.3 面向对象的数据模型 174
6.2.4 信息元数据模型 176
6.2.5 表现与同步模型 178
6.3.2 多媒体数据管理环境 182
6.3 多媒体数据库管理系统 182
6.3.1 多媒体数据库的功能 182
6.3.3 多媒体数据库系统分层结构 184
6.3.4 多媒体数据库体系结构 186
6.4 基于内容检索的结构和方法 188
6.4.1 基于内容检索概述 188
6.4.2 CBR系统结构和检索过程 189
6.5 图像和视频的检索与分析方法 190
6.5.1 基于颜色直方图检索 190
6.5.2 图像轮廓和纹理特征检索概述 192
6.5.3 视频检索常用的关键技术 193
6.5.4 多媒体内容描述接口MPEG-7 194
6.6 分布式多媒体数据库系统 196
6.6.1 DMDBS分布式环境 196
6.6.2 DMDBS体系结构分析 197
6.6.3 分布式异构多媒体数据库系统 198
6.7 小结 200
习题 201
7.1.1 超文本概述 202
7.1 超文本概念的形成与发展 202
第七章 超文本和Web系统 202
7.1.2 超文本和超媒体 203
7.2 超文本系统的组成结构 205
7.2.1 超文本系统的主要模型 205
7.2.2 超文本的主要组成元素 207
7.3 Web系统的超文本标记语言和协议 210
7.3.1 超文本标记语言HTML 210
7.3.2 可扩展标记语言XML 217
7.3.3 超文本传输协议HTTP 225
7.3.4 通用标识语言标准SGML 230
7.4.1 VRML概述 233
7.4 虚拟现实描述模型语言VRML 233
7.4.2 VRML世界 235
7.4.3 VRML动画和交互 235
7.4.4 VRML实例 236
7.5 Web系统的结构 237
7.6 小结 238
习题 239
8.1 多媒体通信概述 240
8.1.1 多媒体通信的发展过程 240
第八章 多媒体通信技术 240
8.1.2 宽带通信技术引发的革命 241
8.1.3 基于IP网络的多媒体通信 243
8.2 IP网络的基本概念 243
8.2.1 两种数字数据交换方式 244
8.2.2 网络分层模型 245
8.2.3 TCP/UDP协议及可靠性传输原理 248
8.2.4 下一代IP网络的特点 250
8.3 IP多播 251
8.3.1 基本概念 251
8.3.2 多播路由算法 252
8.3.3 多播路由选择协议 254
8.4 IP网络的QoS技术 257
8.4.1 IPQoS的定义 257
8.4.2 IPQoS的体系结构 258
8.4.3 QoS的路由选择 260
8.4.4 多协议标志交换MPLS 262
8.5 IP多媒体网络 264
8.5.1 宽带IP多媒体技术 264
8.5.2 无线IP多媒体技术 267
8.6.1 IPv6协议 268
8.6 多媒体通信协议 268
8.6.2 资源预留协议RSVP 270
8.7 小结 274
习题 274
第九章 流媒体及其服务器技术 275
9.1 流媒体技术的基本概念 275
9.1.1 流媒体概述 275
9.1.2 流媒体技术原理 277
9.2 实时传输协议RTP 278
9.2.1 RTP数据分组格式及功能 279
9.2.2 RTP控制分组格式及功能 280
9.3 实时流协议RTSP 285
9.3.1 RTSP简介 285
9.3.2 RTSP状态机 286
9.3.3 RTSP系统实现原理 287
9.4 流媒体系统结构 290
9.4.1 流媒体系统结构概述 290
9.4.2 流媒体文件格式 291
9.4.3 Real System流媒体系统 293
9.4.4 windows Media流媒体系统 300
9.4.5 QuickTime流媒体系统 302
9.5 分层视频编码和视频编码容错 303
9.5.1 分层的视频编码 303
9.5.2 视频编码容错 304
9.6 小结 306
习题 306
拓展技术篇（下） 309
10.1 多媒体数据挖掘概述 311
10.1.1 多媒体数据挖掘的相关概念 311
第十章 多媒体数据挖掘的基本方法 311
10.1.2 多媒体数据挖掘面临的主要挑战 312
10.1.3 多媒体数据挖掘的基本思想 313
10.2 多媒体数据挖掘模型MDMM 314
10.2.1 MDMM模型结构与数据平台 314
10.2.2 MDMM模型的主要构件 316
10.2.3 多媒体数据特征立方体 318
10.3 多媒体数据关联规则挖掘技术 319
10.3.1 关联规则的挖掘 319
10.3.2 多媒体关联规则及其新概念 321
10.3.3 包含出现次数的关联规则发现方法 322
10.3.4 媒体空间关系的关联规则挖掘算法 324
10.3.5 多维测度关联规则挖掘 325
10.4 多媒体数据挖掘的特征匹配技术 327
10.4.1 相似性匹配的相关技术 327
10.4.2 距离特征的最近邻接快速匹配算法 329
10.4.3 相关特征匹配方法 331
10.5 基于NN的多媒体语音特征挖掘 335
10.5.1 神经网络挖掘方法的理论基础 335
10.5.2 NN在聋儿语音识别的应用 340
10.5.3 三层邻域神经元模型及其动态行为 341
10.5.4 SOLA特征挖掘算法 342
10.5.5 神经网络图与相关技术 344
10.6 小结 345
习题 346
第十一章 视频数据挖掘与应用技术 347
11.1 视频数据挖掘概述 347
11.2 视频数据挖掘模型VDMM 348
11.2.1 VDMM的组成与原理 348
11.2.2 视频数据库与特征数据库 350
11.3.1 视频序列分析 351
11.3 视频序列分析分割 351
11.3.2 原始视频分段 352
11.3.3 BF视频分段算法 354
11.4 视频特征提取机制 358
11.4.1 特征提取概述 358
11.4.2 视频帧量化 359
11.4.3 利用矩阵的长时行为特征提取 363
11.4.4 基于区域的短时行为特征提取 363
11.5 视频段间聚集方法 366
11.5.1 聚类及聚类分析 366
11.5.2 聚类的相关方法 367
11.5.3 基于分割和目标函数的聚类方法 369
11.6 VDMM在监控系统中的应用 372
11.6.1 智能视频监控IVSS系统介绍 372
11.6.2 IVSS系统相关实现方法 374
11.6.3 IVSS系统其他功能及应用 376
11.7 小结 378
习题 378
12.1.2 计算机与信息科学的跨媒体概念 379
12.1.1 新传媒时代的跨媒体概述 379
12.1 跨媒体概念 379
第十二章 跨媒体的概念与相关技术 379
12.1.3 跨媒体与主打媒体和多媒体的关系 380
12.2 跨媒体信息检索技术的研究进展 381
12.2.1 基于关键字到基于内容的相似性检索 381
12.2.2 基于文本注释到基于语义的内容检索 382
12.2.3 基于语义相关性的综合检索 383
12.2.4 跨媒体的海量信息检索 383
12.3 跨媒体涉及的相关技术 385
12.3.1 数据管理和智能处理技术的现状分析 385
12.3.3 跨媒体海量信息的综合检索与智能技术 386
12.3.2 跨媒体领域的研究技术 386
12.4 跨媒体信息检索系统的构建方法 387
12.4.1 跨媒体检索系统的方法研究 387
12.4.2 跨媒体语义网的建立 387
12.4.3 跨媒体系统体系结构的构建 389
12.5 跨媒体中多种媒体共存的检索机制 390
12.5.1 媒体对象的关系与结构 390
12.5.2 基于内容的图像数据库检索 393
12.5.3 基于内容的视频数据检索 398
12.5.4 基于内容的MDB检索有待解决的问题 409
12.6 小结 410
习题 411
第十三章 多媒体信息安全的数字水印技术 412
13.1 数字水印的特性分类与应用 412
13.1.1 多媒体数字水印概述 412
13.1.2 数字水印的模型与特性分类 414
13.1.3 多媒体数字水印的主要应用领域 416
13.2 文本数字水印技术 417
13.2.1 文本数字水印的嵌入方法 417
13.2.2 文本数字水印的检测和提取方法 419
13.2.3 中文数字水印技术的研究问题 420
13.3 图像数字水印技术 421
13.3.1 空域图像水印方法与实例 421
13.3.2 基于DCT域图像水印技术 426
13.3.3 基于小波域的图像水印技术 430
13.4 音频数字水印技术 432
13.4.1 音频数字水印方法 432
13.4.2 时域音频数字水印技术 433
13.4.3 变换域音频数字水印技术 436
13.5.1 视频数字水印概述 438
13.5 视频数字水印技术 438
13.5.2 视频数字水印的主要特征 439
13.5.3 视频数字水印嵌入和提取 440
13.5.4 视频数字水印的主要方法与实例 441
13.6 数字水印攻击与抵抗攻击的方法 448
13.6.1 攻击数字水印的主要方式 448
13.6.2 抵抗水印攻击的方法 450
13.7 小结 451
习题 452
参考文献 453