第一部分 多媒体编著和数据表现 2
第1章 多媒体导论 2
1.1 什么是多媒体 2
1.1.1 多媒体的组成部分 2
1.1.2 多媒体的研究课题和研究项目 3
1.2 多媒体和超媒体 3
1.2.1 多媒体的历史 4
1.2.2 超媒体和多媒体 5
1.3 World Wide Web 5
1.3.1 WWW的历史 5
1.3.2 HTTP 6
1.3.3 HTML 7
1.3.4 XML 7
1.3.5 SMIL 8
1.4 多媒体软件工具概述 9
1.4.1 编曲和谱曲 10
1.4.2 数字音频 10
1.4.3 图形和图像编辑 10
1.4.4 视频编辑 11
1.4.5 动画 11
1.4.6 多媒体编著 12
1.5 进一步探索 12
1.6 练习 13
1.7 参考文献 13
第2章 多媒体编著和工具 15
2.1 多媒体编著 15
2.1.1 多媒体编著的模式 15
2.1.2 多媒体作品 17
2.1.3 多媒体展现 18
2.1.4 自动编著 22
2.2 多媒体编辑和编著工具 25
2.2.1 Adobe Premiere 25
2.2.2 Macromedia Director 28
2.2.3 Macromedia Flash 31
2.2.4 Dreamweaver 34
2.3 VRML 34
2.3.1 概述 34
2.3.2 动画和交互 36
2.3.3 VRML规范 37
2.4 进一步探索 37
2.5 练习 38
2.6 参考文献 39
第3章 图形和图像的数据表现 41
3.1 图形／图像的数据类型 41
3.1.1 1位图像 41
3.1.2 8位灰度图像 41
3.1.3 图像数据类型 44
3.1.4 24位彩色图像 44
3.1.5 8位彩色图像 44
3.1.6 颜色查找表 46
3.2 常见的文件格式 48
3.2.1 GIF 48
3.2.2 JPEG 51
3.2.3 PNG 52
3.2.4 TIFF 52
3.2.5 EXIF 52
3.2.6 图形动画文件 52
3.2.7 PS和PDF 52
3.2.8 Windows WMF 53
3.2.9 Windows BMP 53
3.2.10 Macintosh PAINT和PICT 53
3.2.11 X Windows PPM 53
3.3 进一步探索 53
3.4 练习 54
3.5 参考文献 55
第4章 图像和视频中的颜色 56
4.1 颜色科学 56
4.1.1 光和光谱 56
4.1.2 人的视觉 57
4.1.3 眼睛的光谱灵敏度 57
4.1.4 图像的形成 58
4.1.5 照相机系统 59
4.1.6 伽马校正 59
4.1.7 颜色匹配函数 61
4.1.8 CIE色度图 62
4.1.9 彩色显示器规范 64
4.1.10 超色域的颜色 65
4.1.11 白点校正 65
4.1.12 XYZ到RGB的转换 66
4.1.13 带伽马校正的转换 66
4.1.14 L＊a＊b＊（CIELAB）颜色模型 67
4.1.15 其他颜色坐标系统 68
4.1.16 蒙塞尔颜色命名系统 68
4.2 图像中的颜色模型 68
4.2.1 CRT显示器的颜色模型 68
4.2.2 减色法：CMY颜色模型 69
4.2.3 从RGB到CMY的转换 69
4.2.4 消除不足颜色：CMYK系统 69
4.2.5 打印机色域 70
4.3 视频中的颜色模型 71
4.3.1 视频颜色转换 71
4.3.2 YUV颜色模型 71
4.3.3 YIQ颜色模型 72
4.3.4 YCbCr颜色模型 73
4.4 进一步探索 73
4.5 练习 74
4.6 参考文献 76
第5章 视频中的基本概念 77
5.1 视频信号的类型 77
5.1.1 分量视频 77
5.1.2 复合视频 77
5.1.3 S-Video 78
5.2 模拟视频 78
5.2.1 NTSC视频 79
5.2.2 PAL视频 81
5.2.3 SECAM视频 82
5.3 数字视频 82
5.3.1 色度的二次采样 82
5.3.2 数字视频的CCIR标准 83
5.3.3 HDTV 84
5.4 进一步探索 85
5.5 练习 85
5.6 参考文献 86
第6章 数字音频基础 87
6.1 声音数字化 87
6.1.1 什么是声音 87
6.1.2 数字化 87
6.1.3 奈奎斯特理论 88
6.1.4 信噪比 90
6.1.5 信号量化噪声比 90
6.1.6 线性量化和非线性量化 91
6.1.7 音频滤波 93
6.1.8 音频质量与数据率 93
6.1.9 合成的声音 94
6.2 MIDI：乐器数字化接口 95
6.2.1 MIDI概述 95
6.2.2 MIDI硬件 97
6.2.3 MIDI消息的结构 98
6.2.4 通用MIDI 101
6.2.5 MIDI到WAV的转换 101
6.3 音频的量化和传输 101
6.3.1 音频的编码 101
6.3.2 脉冲编码调制 101
6.3.3 音频的差分编码 103
6.3.4 无损预测编码 104
6.3.5 DPCM 106
6.3.6 DM 108
6.3.7 ADPCM 109
6.4 进一步探索 110
6.5 练习 111
6.6 参考文献 112
第二部分 多媒体数据压缩 117
第7章 无损压缩算法 117
7.1 简介 117
7.2 信息论基础 118
7.3 游长编码 120
7.4 变长编码 120
7.4.1 香农-凡诺算法 120
7.4.2 赫夫曼编码 122
7.4.3 自适应赫夫曼编码 124
7.5 基于字典的编码 127
7.6 算术编码 131
7.7 无损图像压缩 134
7.7.1 图像的差分编码 134
7.7.2 无损JPEG 135
7.8 进一步探索 136
7.9 练习 136
7.10 参考文献 137
第8章 有损压缩算法 139
8.1 简介 139
8.2 失真量度 139
8.3 比率失真理论 140
8.4 量化 140
8.4.1 均匀标量量化 140
8.4.2 非均匀标量量化 142
8.4.3 矢量量化 143
8.5 变换编码 144
8.5.1 离散余弦变换 144
8.5.2 Karhunen-Loève变换 154
8.6 小波编码 156
8.6.1 简介 156
8.6.2 连续小波变换 159
8.6.3 离散小波变换 161
8.7 小波包 167
8.8 小波系数的嵌入零树 168
8.8.1 零树数据结构 168
8.8.2 逐次近似量化 169
8.8.3 EZW示例 170
8.9 层次树的集合划分 172
8.10 进一步探索 172
8.11 练习 172
8.12 参考文献 174
第9章 图像压缩标准 176
9.1 JPEG标准 176
9.1.1 JPEG图像压缩的主要步骤 176
9.1.2 JPEG模式 182
9.1.3 JEPG位流概述 184
9.2 JPEG 2000标准 184
9.2.1 JEPG 2000图像压缩的主要步骤 185
9.2.2 使EBCOT适合JEPG 2000 190
9.2.3 感兴趣区域编码 191
9.2.4 JPEG和JPEG 2000的性能比较 192
9.3 JPEG-LS标准 193
9.3.1 预测 194
9.3.2 确定上下文 194
9.3.3 残差编码 195
9.3.4 准无损模式 195
9.4 二值图像压缩标准 195
9.4.1 JBIG标准 195
9.4.2 JBIG2标准 196
9.5 进一步探索 197
9.6 练习 197
9.7 参考文献 199
第10章 基本视频压缩技术 200
10.1 视频压缩简介 200
10.2 基于运动补偿的视频压缩 200
10.3 搜索运动向量 201
10.3.1 顺序搜索 201
10.3.2 2D对数搜索 202
10.3.3 分层搜索 203
10.4 H.261 205
10.4.1 I帧编码 206
10.4.2 P帧预测编码 206
10.4.3 H.261的量化 207
10.4.4 H.261编码器和解码器 207
10.4.5 H.261视频位流语法概述 209
10.5 H.263 210
10.5.1 H.263的运动补偿 211
10.5.2 H.263的可选编码模式 212
10.5.3 H.263＋和H.263++ 213
10.6 进一步探索 214
10.7 练习 214
10.8 参考文献 215
第11章 MPEG视频编码Ⅰ：MPEG-1和MPEG-2 216
11.1 概述 216
11.2 MPEG-1 216
11.2.1 MPEG-1中的运动补偿 216
11.2.2 与H.261的其他主要区别 218
11.2.3 MPEG-1视频位流 220
11.3 MPEG-2 221
11.3.1 支持隔行扫描视频 221
11.3.2 MPEG-2的可伸缩性 224
11.3.3 与MPEG-1的其他主要区别 228
11.4 进一步探索 228
11.5 练习 228
11.6 参考文献 229
第12章 MPEG视频编码Ⅱ：MPEG-4、MPEG-7及更高版本 230
12.1 MPEG-4概述 230
12.2 MPEG-4的基于对象的视觉编码 232
12.2.1 基于VOP的编码与基于帧的编码 232
12.2.2 运动补偿 233
12.2.3 纹理编码 236
12.2.4 形状编码 238
12.2.5 静态纹理编码 239
12.2.6 子图像编码 240
12.2.7 全局运动补偿 240
12.3 MPEG-4的合成对象编码 241
12.3.1 2D网格对象编码 241
12.3.2 基于模型的3D编码 246
12.4 MPEG-4对象类型、规格和等级 247
12.5 MPEG-4 Part10/H.264 248
12.5.1 核心特征 249
12.5.2 基本规格特征 250
12.5.3 主要规格特征 250
12.5.4 扩展规格特征 250
12.6 MPEG-7 250
12.6.1 描述子 252
12.6.2 描述方案 253
12.6.3 描述定义语言 255
12.7 MPEG-21 256
12.8 进一步探索 256
12.9 练习 256
12.10 参考文献 257
第13章 音频压缩技术基础 260
13.1 语音编码中的ADPCM 260
ADPCM 260
13.2 G.726 ADPCM 261
13.3 声音合成器 262
13.3.1 相位不敏感性 262
13.3.2 通道声音合成器 263
13.3.3 共振峰声音合成器 264
13.3.4 线性预测编码 264
13.3.5 CELP 266
13.3.6 混合激励声音合成器 270
13.4 进一步探索 272
13.5 练习 273
13.6 参考文献 274
第14章 MPEG音频压缩 275
14.1 心理声学简介 275
14.1.1 等响度关系 275
14.1.2 频率遮掩 277
14.1.3 时间遮掩 280
14.2 MPEG音频 282
14.2.1 MPEG的层 282
14.2.2 MPEG音频策略 282
14.2.3 MPEG音频压缩算法 283
14.2.4 MPEG-2高级音频编码 287
14.2.5 MPEG-4音频 288
14.3 其他商业音频编解码器 289
14.4 未来：MPEG-7和MPEG-21 289
14.5 进一步探索 289
14.6 练习 290
14.7 参考文献 291
第三部分 多媒体通信和检索 294
第15章 计算机和多媒体网络 294
15.1 计算机和多媒体网络基础 294
15.1.1 OSI网络的层次 294
15.1.2 TCP/IP协议 294
15.2 多路复用技术 297
15.2.1 多路复用技术基础 297
15.2.2 综合业务数字网络 298
15.2.3 同步光纤网络 299
15.2.4 非对称数字用户线路 300
15.3 LAN和WAN 301
15.3.1 局域网 301
15.3.2 广域网 303
15.3.3 异步传输模式 304
15.3.4 千兆和10千兆以太网 306
15.4 接入网 306
15.5 通用外设接口 307
15.6 进一步探索 308
15.7 练习 308
15.8 参考文献 308
第16章 多媒体网络通信和应用 309
16.1 多媒体数据传输的质量 309
16.1.1 服务质量 309
16.1.2 IP协议的QoS 311
16.1.3 具有优先级的发送 311
16.2 IP上的多媒体 312
16.2.1 IP多播 312
16.2.2 实时传输协议（RTP） 314
16.2.3 实时控制协议（RTCP） 315
16.2.4 资源预留协议（RSVP） 315
16.2.5 实时流协议（RTSP） 316
16.2.6 因特网电话技术 317
16.3 ATM网上的多媒体 320
16.3.1 ATM网上的视频码率 320
16.3.2 ATM适配层 321
16.3.3 MPEG-2会聚到ATM 322
16.3.4 ATM上的多播 322
16.4 MPEG-4的传输 323
16.4.1 MPEG-4中的DMIF 323
16.4.2 IP上的MPEG-4 323
16.5 媒体点播 324
16.5.1 交互式电视和机顶盒 324
16.5.2 视频点播的广播方案 325
16.5.3 缓冲区管理 330
16.6 进一步探索 333
16.7 练习 333
16.8 参考文献 334
第17章 无线网络 336
17.1 简介 336
17.1.1 模拟无线网络 336
17.1.2 数字无线网络 337
17.1.3 TDMA和GSM 337
17.1.4 扩频和CDMA 339
17.1.5 CDMA分析 341
17.1.6 3G数字无线网络 343
17.1.7 无线局域网 345
17.2 无线电传播模式 347
17.2.1 多径衰减 347
17.2.2 路径损耗 348
17.3 无线网络上的多媒体 349
17.3.1 同步损失 349
17.3.2 错误修复熵编码 350
17.3.3 错误隐藏 352
17.3.4 前向纠错 353
17.3.5 无线交互式多媒体的趋势 355
17.4 进一步探索 357
17.5 练习 357
17.6 参考文献 358
第18章 数字图书馆中基于内容的检索 359
18.1 如何检索图像 359
18.2 C-BIRD：一个实例研究 360
18.2.1 C-BIRD的GUI 361
18.2.2 颜色直方图 361
18.2.3 颜色密度 363
18.2.4 颜色分布 363
18.2.5 纹理分布 364
18.2.6 按光源恒常性查找 365
18.2.7 按对象模型查找 366
18.3 当前图像查找系统概览 377
18.3.1 QBIC 377
18.3.2 加州大学圣芭芭拉分校的搜索引擎 378
18.3.3 加州大学伯克利分校的数字图书馆项目 378
18.3.4 Chabot 378
18.3.5 Blobworld 378
18.3.6 哥伦比亚大学的图像搜索器 378
18.3.7 Informedia 379
18.3.8 MetaSEEk 379
18.3.9 Photobook和FourEyes 379
18.3.10 MARS 379
18.3.11 Virage 380
18.3.12 VIPER 380
18.3.13 Visual RetrievalWare 380
18.4 相关反馈 380
18.4.1 MARS 380
18.4.2 iFind 382
18.5 结果的量化 382
18.6 视频查询 382
18.7 其他格式的查询 385
18.8 基于内容检索的展望 385
18.9 进一步探索 385
18.10 练习 386
18.11 参考文献 387
索引 391