1.1 媒体和多媒体的概念 1
1.1.1 媒体 1
第1章 多媒体技术概述 1
1.1.2 多媒体 2
1.1.3 多媒体分类和描述 2
1.1.4 数字媒体 5
1.2 多媒体标准和系统 7
1.2.1 多媒体标准 7
1.2.2 多媒体系统的概念 8
思考与练习题 12
参考文献 12
第2章 知觉基础 13
2.1 听觉 13
2.1.1 发音器官 13
2.1.2 听觉特性 13
2.1.3 听觉心理 15
2.1.4 立体声效 20
2.1.5 语音评测 21
2.2 视觉 24
2.2.1 电磁波和人眼 24
2.2.2 视觉心理学 25
2.2.3 视觉特性度量 30
2.2.4 色空间 33
2.2.5 计算机视频基础 38
2.2.6 图像质量评价 51
2.3 其他知觉 52
2.3.1 皮肤生理 52
2.3.2 触觉 52
2.3.3 动觉 53
2.3.4 平衡感觉 53
参考文献 54
2.4 知觉的量度和复合作用 54
思考与练习题 55
第3章 数据编码 56
3.1 数据压缩概述 56
3.1.1 为什么要压缩 56
3.1.2 数据的冗余性 57
3.1.3 压缩和解压缩过程 58
3.1.4 压缩评价和分类 59
3.2 赫夫曼编码 61
3.3 算术编码 63
3.4 行程长度编码 66
3.5.1 词典编码分类 68
3.5 词典编码 68
3.5.2 LZ77算法 69
3.5.3 LZSS算法 72
3.5.4 LZ78算法 73
3.5.5 LZW算法 75
3.6 预测编码 79
3.6.1 PCM 79
3.6.2 DPCM 81
3.6.3 ADPCM 83
3.6.4 帧间预测编码 84
3.6.5 运动图像帧间内插 86
3.7 变换编码 87
3.7.1 变换的基本原理 87
3.7.2 离散傅里叶变换 88
3.7.3 离散余弦变换 89
3.7.4 小波变换 91
3.8 基于模型编码 96
3.8.1 基于语义编码 97
3.8.2 基于物体编码 98
3.9 分形编码 99
3.9.1 分形编码的思路 99
3.9.2 分形编码方法和步骤 100
3.10.1 子带编码 101
3.10 其他压缩编码 101
3.10.2 向量量化编码 103
3.10.3 感知编码 105
3.11 测错和纠错编码 105
3.11.1 CRC 105
3.11.2 RS编码 106
3.11.3 CIRC编码 107
3.11.4 RSPC编码 107
3.11.5 EFM编码 107
思考与练习题 108
参考文献 108
第4章 音频处理 111
4.1 音频信号 111
4.1.1 声音的特征指标 111
4.1.2 数字音频技术指标 112
4.2 音频数字压缩 113
4.2.1 音频压缩编码技术 113
4.2.2 音频编码技术标准 115
4.3 MPEG-1音频 117
4.3.1 MPEG-1音频标准 117
4.3.2 声音编码系统基本结构 118
4.3.4 通用编码概念 119
4.3.3 滤波器组 119
4.3.5 三层音频系统 120
4.4 MPEG-2音频 127
4.4.1 MPEG-2音频特点 127
4.4.2 MPEG-2 AAC 128
4.4.3 AC-3编码 131
4.5 MPEG-4音频 133
4.5.1 自然音频合成 135
4.5.2 合成声音 142
4.5.3 AudioBIFS 146
4.5.4 音频轮廓 149
4.6 电子音乐合成与MIDI 150
4.6.1 电子音乐合成 150
4.6.2 电子乐器数字接口 152
4.7 语音识别 155
4.7.1 语音识别发展历史 155
4.7.2 语音识别技术 156
4.7.3 困难与对策 158
4.7.4 语音识别的应用 159
4.8 3D音效 160
4.8.1 人类的听觉和HRTF 161
4.8.2 3D音效的分类 162
4.9 音频应用 163
4.9.1 音频卡的应用 163
4.9.2 音频文件格式 169
参考文献 170
思考与练习题 171
第5章 图像技术 172
5.1 数字图像 172
5.1.1 向量图 172
5.1.2 位图 173
5.1.3 图像的数据容量和压缩 173
5.2 二值图像压缩 174
5.2.1 3类传真 175
5.2.2 4类传真 175
5.2.3 JBIG传真标准 176
5.3 JPEG标准 179
5.3.1 概述 179
5.3.2 基于DCT的顺序模式 182
5.3.3 基于DCT的渐进模式 186
5.3.4 无损模式 188
5.3.5 分层模型 189
5.4 JPEG-LS 190
5.5.2 JPEG 2000编码解码器 191
5.5.1 概述 191
5.5 JPEG 2000 191
5.5.3 文件格式 197
5.5.4 小波变换 198
5.6 GIF 201
5.7 PNG 203
5.7.1 简介 203
5.7.2 概念 203
5.7.3 数据块 207
5.8 动画 209
5.9.1 概述 211
5.9 SVG 211
5.9.2 模块化 212
5.9.3 基本概念 213
5.9.4 SVG图像示例 213
5.9.5 Web页使用SVG 215
参考文献与参考网站 215
思考与练习题 216
第6章 图像设备及工具 218
6.1 显示器 218
6.1.1 显示器概述 218
6.1.2 CRT显示器 218
6.1.3 LCD 220
6.1.4 等离子显示板 222
6.1.5 背投显示技术 223
6.1.6 抖动和HAD技术 224
6.2 图像卡 224
6.2.1 图像卡的组成部件 225
6.2.2 图像卡标准 226
6.2.3 3D加速 227
6.2.4 API 228
6.2.5 硬件接口 228
6.3.1 激光打印机 229
6.3 图像打印设备 229
6.3.2 页描述语言 231
6.3.3 喷墨打印机 231
6.3.4 其他类型的打印机 232
6.4 图像输入设备 232
6.4.1 信号拾取器材和接口 233
6.4.2 图像扫描仪 234
6.4.3 OCR 235
6.4.4 数码相机 235
6.4.5 摄像头和摄像机 237
6.4.6 触摸屏 238
6.5 颜色管理 241
6.6 常见图像和视频文件扩展名 243
参考文献与参考网站 246
思考与练习题 247
第7章 视频技术 248
7.1 MPEG-1和MPEG-2视频标准 248
7.1.1 MPEG视频算法 248
7.1.2 MPEG系统 261
7.2 MPEG-4视频 265
7.2.1 MPEG-4系统概述 265
7.2.2 视频编码 270
7.2.3 视频轮廓 278
7.2.4 MPEG-4文件格式 280
7.3 H.26x标准系列 281
7.3.1 H.261和H.263 281
7.3.2 H.264 283
7.4 M-JPEG 287
7.4.1 Motion JPEG 2000概述 288
7.4.2 核心概念 288
7.4.3 媒体的物理结构 289
7.4.4 媒体的时域结构 289
7.4.5 交错 289
参考文献 290
7.4.6 组合 290
7.4.7 文件组织 290
思考与练习题 291
第8章 多媒体集成交互及开发应用 292
8.1 服务质量 292
8.2 多媒体同步 294
8.2.1 什么是同步 294
8.2.2 时间同步的说明 297
8.2.3 SMIL 303
8.3 唇读 305
8.4 数字电视 308
8.4.1 数字电视系统的结构 309
8.4.2 数字电视方案 310
8.4.3 ITV和VOD 319
8.4.4 多媒体家庭平台 323
8.5 3DAV 324
8.6 虚拟现实 327
8.6.1 虚拟现实的特征 327
8.6.2 虚拟现实的系统构成 328
8.6.3 实现虚拟现实的关键技术 329
8.6.4 VRML简介 330
8.7.1 多媒体应用软件的开发过程 332
8.7 多媒体应用开发 332
8.7.2 多媒体著作工具 334
8.7.3 单质媒体工具 338
8.7.4 多媒体非线性编辑 339
参考文献与参考网站 342
思考与练习题 342
第9章 多媒体文档 343
9.1 文档和超文本 343
9.1.1 超文本和超媒体概念 343
9.1.2 超媒体系统的基本元素 345
9.1.3 超媒体结构模型 349
9.2 超文本的文档模型 357
9.2.1 ODA模型 358
9.2.2 SGML模型 358
9.2.3 HyTime模型 360
9.3 Internet上的超媒体系统WWW 361
9.3.1 概述 361
9.3.2 HTTP 361
9.3.3 HTML 362
9.3.4 XML 366
9.3.5 动态网页生成技术 369
9.3.6 XHTML 370
9.3.7 Web系统的关键技术 371
9.3.8 语义Web 373
9.4 MHEG标准 375
9.4.1 MHEG概述 375
9.4.2 MHEG的对象和类 376
9.4.3 MHEG-5 381
参考文献与参考网站 382
思考与练习题 383
第10章 多媒体存储技术 384
10.1 半导体存储技术 384
10.1.1 RAM 384
10.1.2 ROM 386
10.2 磁盘存储系统 387
10.2.1 硬盘性能 388
10.2.2 RAID技术 389
10.3 光碟存储系统 391
10.3.1 概述 391
10.3.2 CD 392
10.3.3 DVD 409
10.4 存储策略 419
10.4.1 直接相连存储 420
10.4.2 NAS 421
10.4.3 SAN 423
10.4.4 IP存储协议 424
参考文献与参考网站 425
思考与练习题 426
第11章 多媒体网络及应用 427
11.1 多媒体通信概述 427
11.1.1 多媒体通信的特点和对网络要求 427
11.1.2 当前网络对多媒体通信的支持 430
11.2 多媒体Internet多播及流技术 431
11.2.1 多播 431
11.2.2 RTP和RTCP 436
11.2.3 RTSP 440
11.2.4 音视频流在Internet上的传输 441
11.3 Internet服务改进 443
11.3.1 调度和管制机制 443
11.3.2 综合服务与资源预留协议 446
11.3.3 区分服务 450
11.3.4 IPv6的改进 452
11.4 多协议标记交换 453
11.4.1 基本工作过程 453
11.4.2 转发等价类 455
11.4.3 标记栈 456
11.4.4 标记对换 457
11.5.1 xDSL技术 458
11.5 居民接入网 458
11.5.2 光纤同轴混合网 461
11.5.3 FTTx技术 463
11.5.4 以太网接入 464
11.5.5 无线接入 464
11.6 分布式多媒体应用 465
11.6.1 分布式多媒体系统基本概念 465
11.6.2 MPEG-21多媒体框架 466
11.6.3 计算机支持的协同工作 478
11.6.4 通用数字视听系统 481
11.6.5 多媒体会议系统 483
11.6.6 其他网络多媒体应用 493
参考文献与参考网站 497
思考与练习题 498
第12章 多媒体内容处理 499
12.1 多媒体数据管理 499
12.1.1 多媒体数据管理环境 499
12.1.2 多媒体数据库 501
12.2 多媒体内容分析 505
12.2.1 多媒体数据及内容的基本概念 505
12.2.2 音频分析 508
12.2.3 视频分析 515
12.3.1 概述 536
12.3 元数据 536
12.3.2 DCMI元数据 537
12.3.3 HTML元数据元素 538
12.4 MPEG-7 540
12.4.1 MPEG-7的目标和范围 540
12.4.2 MPEG-7的主要元素 542
12.4.3 描述定义语言 544
12.4.4 MPEG-7多媒体描述方案 545
12.4.5 MPEG-7视频 549
12.4.6 MPEG-7音频 559
12.4.8 MPEG-7终端 567
12.4.7 BiM 567
12.5 基于内容的检索技术 568
12.5.1 基于内容的多媒体信息检索 569
12.5.2 网络多媒体信息查询 574
参考文献与参考网站 579
思考与练习题 580
第13章 多媒体信息安全 581
13.1 概述 581
13.1.1 多媒体信息的威胁和攻击 581
13.1.2 多媒体信息安全的要素 583
13.1.3 多媒体安全服务及安全机制 583
13.2.1 一般保护技术 588
13.1.4 当前的主要问题和解决方案 588
13.2 音频视频信息的保护 588
13.2.2 信息隐藏 589
13.2.3 数字水印 593
13.3 数字权限管理 601
13.3.1 知识产权 601
13.3.2 条件访问 602
13.3.3 DRM概述 603
13.3.4 DRM系统 603
13.4 MPEG的IPMP 606
13.4.1 MPEG的IPMP概述 607
13.4.2 MPEG-2 IPMP 609
13.4.3 MPEG-4 IPMP 611
13.4.4 MPEG-21 IPMP 614
13.5 其他的内容保护方案 620
参考文献与参考网站 623
思考与练习题 623
附录 624
附录A 多媒体研究资源汇总 624
附录B 综合练习 626
附录C 多媒体缩略语 627