第1章 概论——多媒体技术的特征 1
1.1 概述 1
1.2 多媒体的概念与含义 1
1.3 多媒体产生的技术背景 3
1.3.1 图像压缩编码技术的成熟 3
1.3.2 大规模集成电路技术的发展 4
1.3.3 大容量数字存储技术的发展 4
1.4 多媒体系统的基本类型及相关业务 5
1.4.1 独立商亭式系统 5
1.4.2 多媒体信息检索与查询 5
1.4.3 多媒体会议与协同工作 7
1.4.4 多媒体即时通信 9
1.4.5 点播电视（VOD） 10
1.5 三网融合及相应的业务 11
1.5.1 网络的融合 11
1.5.2 多重服务与业务融合 13
习题一 13
参考文献 13
第2章 视觉特性和彩色电视信号 14
2.1 人的视觉特性 14
2.1.1 图像对比度与视觉的对比度灵敏度特性 14
2.1.2 空间频率与视觉的空间频率响应 15
2.1.3 视觉的时间域响应 16
2.1.4 彩色的计量和彩色视觉 17
2.2 彩色电视信号 19
2.2.1 扫描——空间频率到时间频率的转换 19
2.2.2 隔行扫描与逐行扫描 19
2.2.3 电视信号的带宽 20
2.2.4 彩色空间的处理 21
2.2.5 全彩色电视信号 22
2.3 分量彩色电视信号的数字化 23
习题二 25
参考文献 26
第3章 数据压缩的基本技术 27
3.1 概述 27
3.2 数据压缩的理论依据 27
3.2.1 离散信源的信息熵 27
3.2.2 信源的概率分布与熵的关系 28
3.2.3 信源的相关性与序列熵的关系 29
3.3 信息率—失真理论 30
3.3.1 通信系统的一般模型 30
3.3.2 信息率—失真函数 31
3.3.3 限失真信源编码定理 32
3.4 取样频率的转换 33
3.4.1 下取样 33
3.4.2 上取样 35
3.4.3 分数比率转换 37
3.5 预测编码 37
3.5.1 差分脉冲编码调制（DPCM） 37
3.5.2 序列图像中运动矢量的估值 39
3.5.3 具有运动补偿的帧间预测 44
3.6 正交变换编码 46
3.6.1 最佳线性正交变换 46
3.6.2 离散余弦变换 47
3.7 子带编码 50
3.7.1 子带编码的工作原理 50
3.7.2 正交镜像滤波器组 52
3.7.3 时域混叠消除 53
3.8 小波变换编码 56
3.8.1 多尺度分析 56
3.8.2 二进小波变换 57
3.8.3 变换系数的排序和编码 58
3.9 量化 61
3.9.1 均匀量化器 61
3.9.2 最小均方误差量化器 62
3.9.3 最小熵量化器 63
3.9.4 自适应量化 64
3.9.5 预测误差和DCT系数的量化 64
3.10 熵编码 65
3.10.1 熵编码的基本概念 65
3.10.2 霍夫曼编码 66
3.10.3 算术编码 68
习题三 71
参考文献 74
第4章 视频数据的压缩编码 75
4.1 基于帧的视频编码 75
4.1.1 典型的编码器与解码器 75
4.1.2 视频序列的编码 79
4.1.3 帧内预测编码 80
4.1.4 帧间预测编码的优化 81
4.1.5 基于率—失真优化的编码模式选择 86
4.1.6 低计算复杂度的变换编码与量化 88
4.1.7 码流结构 91
4.2 基于对象的视频编码 92
4.2.1 编码器与解码器 92
4.2.2 任意形状VOP的预测编码 93
4.2.3 任意形状VOP的纹理编码 94
4.2.4 形状编码 95
4.2.5 码流结构 96
4.3 恒定速率编码器的速率控制 96
4.3.1 高码率应用的速率控制（TM 5） 96
4.3.2 速率控制中的率—失真模型 98
4.3.3 低延时应用的速率控制（TMN8） 100
4.3.4 基于率—失真优化的速率控制（JVT—G012） 102
4.3.5 视频缓存证实器 105
4.4 变速率视频编码 106
4.5 压缩编码算法性能的评价 107
4.6 图像和视频压缩编码的国际标准 109
4.6.1 静止图像压缩编码标准JPEG/JPEG2000 109
4.6.2 视听会议压缩编码标准H.261 110
4.6.3 数字声像存储压缩编码标准MPEG—1 110
4.6.4 通用视频及伴音压缩编码标准MPEG—2（H.262） 111
4.6.5 低比特率视听会议压缩编码标准H.263 111
4.6.6 通用音视频对象压缩编码标准MPEG—4 112
4.6.7 视频压缩编码标准H.264/AVC 113
4.6.8 视频压缩编码的国家标准——AVS 114
4.6.9 正在制定的视频压缩编码标准——HEVC 114
习题四 115
参考文献 117
第5章 音频数据的压缩编码 118
5.1 概述 118
5.2 人的听觉特性 118
5.2.1 响度级和响度 118
5.2.2 听觉灵敏度 119
5.2.3 听觉掩蔽 120
5.2.4 临界带宽 121
5.3 音频信号的数字化 121
5.4 音频自适应差分脉冲编码调制 122
5.5 音频子带编码 122
5.6 线性预测编码 124
5.7 码激励线性预测编码（CELP） 124
5.7.1 感知加权滤波器 125
5.7.2 合成分析法 125
5.7.3 CELP编解码原理 126
5.7.4 G.729编解码器 127
5.8 感知编码 128
5.9 MPEG-1音频编码 129
5.9.1 概述 129
5.9.2 MPEG-1心理声学模型 130
5.9.3 编码层次 131
5.10 MPEG-2音频编码 134
5.10.1 MPEG-2 BC 134
5.10.2 MPEG-2 AAC 135
5.11 杜比（AC-3）编码 137
5.12 音频压缩编码的国际标准 139
习题五 141
参考文献 141
第6章 多媒体同步 142
6.1 多媒体数据 142
6.1.1 连续媒体数据与静态媒体数据 142
6.1.2 多媒体数据内部的约束关系 143
6.1.3 多媒体数据的构成 144
6.2 多媒体数据时域特征的表示 145
6.2.1 时域场景和时域定义方案 145
6.2.2 时域参考框架 146
6.2.3 描述时域特征的时间模型 147
6.2.4 同步容限 151
6.3 分布式多媒体系统中的同步 151
6.3.1 分布式多媒体系统的结构 151
6.3.2 同步规范的传送 152
6.3.3 影响多媒体同步的因素 152
6.3.4 多级同步机制 154
6.4 连续媒体内部的同步 154
6.4.1 基于播放时限的同步方法 154
6.4.2 基于缓存数据量的同步方法 156
6.5 媒体流之间的同步 157
6.5.1 基于全局时钟的时间戳方法 158
6.5.2 基于反馈的流间同步方法 159
6.6 接收与发送时钟的同步 160
6.6.1 基于接收缓存器的方法 160
6.6.2 基于时间戳的锁相方法 161
6.6.3 基于网络时间协议的方法 162
6.7 同步算法小结 162
习题六 163
参考文献 164
第7章 多媒体传输网络 165
7.1 概述 165
7.2 多媒体信息传输对网络的要求 165
7.2.1 性能指标 165
7.2.2 网络功能 168
7.2.3 服务质量（QoS）和用户体验质量（QoE）的保障 169
7.3 网络类别 170
7.3.1 电路交换网络和分组交换网络 171
7.3.2 面向连接方式和无连接方式 172
7.3.3 资源预留、资源分配和资源独享 172
7.4 电路交换广域网对多媒体信息传输的支持 173
7.4.1 电路交换广域网 173
7.4.2 多点控制单元 174
7.5 分组交换广域网对多媒体信息传输的支持 175
7.5.1 帧中继 175
7.5.2 异步传输模式ATM 175
7.6 局域网对多媒体信息传输的支持 177
7.6.1 共享介质的局域网 177
7.6.2 吉比特以太网 179
7.6.3 以太网QoS保障 180
7.7 IP网对多媒体信息传输的支持 181
7.7.1 传统的IP网（IP v4） 181
7.7.2 IP多播 183
7.7.3 新一代IP（IP v6） 184
7.8 IP QoS保障机制 186
7.8.1 综合服务模型与资源预留协议RSVP 186
7.8.2 区别服务 187
7.8.3 多协议标记交换MPLS 189
7.8.4 流量工程和基于约束的寻径 191
7.9 无线网络对多媒体信息传输的支持 192
7.9.1 无线传输的特点 192
7.9.2 无线局域网 193
7.9.3 蜂窝移动通信网 198
7.9.4 无线城域网（WiMAX） 202
7.9.5 无线网络中多媒体传输的特殊问题 204
7.10 宽带用户接入网 205
7.10.1 数字用户线路 205
7.10.2 光缆接入 207
7.10.3 光缆—同轴电缆混合接入 208
7.11 下一代网络 213
7.11.1 网络融合模型 213
7.11.2 IP多媒体子系统（IMS） 213
7.11.3 下一代网络框架 214
习题七 215
参考文献 216
第8章 多媒体通信终端与系统 217
8.1 传输层协议 217
8.1.1 应用层分帧和集成层次处理 217
8.1.2 传统的因特网传输层协议 218
8.1.3 实时传输层协议RTP及RTCP 219
8.1.4 流控制传输协议（SCTP） 222
8.2 多媒体数据的复接与分接 223
8.2.1 同步时分复用 223
8.2.2 分组复用 224
8.2.3 多媒体数据的封装 229
8.3 视听通信系统与终端 231
8.3.1 视听通信终端的一般框架 231
8.3.2 同步电路交换网视听业务标准（H.320） 232
8.3.3 分组交换网视听业务标准（H.323） 233
8.3.4 公用电话网视听业务标准（H.324） 235
8.3.5 移动电话网视听业务标准（H.324M和3G-324M） 236
8.3.6 视听系统的通信控制协议 238
8.3.7 H系列系统间的互通 241
8.4 会话发起协议和会话描述协议 242
8.4.1 会话发起协议（SIP） 242
8.4.2 SIP消息格式和会话描述协议（SDP） 245
8.4.3 SIP与H.323信令的比较 246
8.5 协同计算与组通信 246
8.5.1 协同计算的概念 246
8.5.2 组通信 247
8.5.3 应用共享控制 248
8.6 多媒体流式应用系统与终端 250
8.6.1 流媒体的概念 250
8.6.2 多媒体流式应用系统的结构 250
8.6.3 实时流协议（RTSP） 253
8.6.4 流媒体文件 254
8.6.5 流服务器 256
8.6.6 内容分发网络 260
8.6.7 3GPP分组交换流服务（PSS） 264
8.6.8 IPTV 265
8.7 对等网络（P-to-P）流式应用系统 270
8.7.1 工作原理 270
8.7.2 网络结构与数据传输 271
8.7.3 其他设计原则 272
8.8 动态自适应HTTP流式应用系统 274
8.8.1 HTTP流传输技术的发展 274
8.8.2 系统的工作原理 274
8.8.3 MPEG DASH标准 276
习题八 278
参考文献 278
第9章 视频数据的分组传输 280
9.1 概述 280
9.2 应用层拥塞控制 280
9.2.1 TCP拥塞控制 280
9.2.2 TCP流量模型和TCP友好性 281
9.2.3 基于速率的拥塞控制 282
9.2.4 拥塞检测 283
9.2.5 无线网络中的拥塞控制 285
9.3 传输层差错控制 286
9.3.1 自动重传技术（ARQ） 286
9.3.2 前向纠错码 287
9.3.3 前向删除复原码 291
9.3.4 数据交错 296
9.3.5 前向差错控制与ARQ的结合 296
9.4 编码层差错控制 297
9.4.1 误码和包丢失对已压缩视频信号的影响 297
9.4.2 抗误码编码 298
9.4.3 错误掩盖 305
9.4.4 编解码器交互差错控制 309
9.5 差错控制小结 311
习题九 312
参考文献 314
第10章 视频在异构环境中的传输 315
10.1 概述 315
10.2 可伸缩性编码 316
10.2.1 可伸缩性编码的概念 316
10.2.2 空间域可伸缩性编码 317
10.2.3 时间域可伸缩性编码 318
10.2.4 质量可伸缩性编码 320
10.2.5 可伸缩性编码的联合应用 321
10.2.6 基于小波变换的可伸缩性编码 322
10.3 视频转码 322
10.3.1 视频转码框架 323
10.3.2 运动向量的再利用 325
10.3.3 DCT域的运动补偿 327
10.3.4 转码的速率控制 328
10.4 多描述视频编码 330
10.4.1 多描述编码的概念 330
10.4.2 多描述的生成 331
10.4.3 视频多描述编码 335
习题十 336
参考文献 336