目录 2
第1章 视觉、图像与视频 2
1.1 人类视觉系统 2
1.1.1 人眼构造 2
1.1.2 颜色感知 3
1.1.3 颜色描述 5
1.1.4 视觉现象 8
1.2 图像与图像系统 14
1.2.1 图像表示 15
1.2.2 图像信息的特点 16
1.2.3 数字图像系统 16
1.2.4 图像质量评价 17
1.3 视频 19
1.3.1 视频信号的获取和显示 20
1.3.2 模拟视频信号 22
1.3.3 模拟彩色电视系统 24
1.3.4 数字视频 28
第2章 数字视频基础 35
2.1 线性移不变系统与离散傅里叶变换 35
2.1.1 线性移不变系统 35
2.1.2 离散傅里叶变换 38
2.1.3 视频信号的频谱特性 39
2.2 视频信号采样 42
2.2.1 采样网格 42
2.2.2 Nyquist采样定理 45
2.2.3 视频信号采样 48
2.3 视频信号量化 54
2.3.1 标量量化 55
2.3.2 矢量量化 57
2.4 采样率及格式转换 59
2.4.1 视频下采样 59
2.4.2 视频上采样 61
2.4.3 不同格式转换 65
3.1.1 视频编码的分类 71
3.1 视频编码基础 71
第3章 视频编码技术 71
3.1.2 图像的信息熵 73
3.1.3 信息论的几个定理 75
3.2 熵编码 79
3.2.1 霍夫曼编码 79
3.2.2 算术编码 81
3.2.3 游程编码 84
3.3.1 基本原理 85
3.3 变换编码 85
3.3.2 最佳正交变换——K-L变换 88
3.3.3 次最佳正交变换——DCT变换 92
3.4 预测编码 94
3.4.1 预测原理 94
3.4.2 最佳线性预测器 95
3.4.3 自适应预测 98
3.4.4 帧间预测 98
3.4.5 运动估计 101
4.1.1 连续小波变换 110
第4章 视频编码新技术 110
4.1 小波编码 110
4.1.2 离散小波变换 114
4.1.3 多分辨率分析 115
4.1.4 小波变换用于图像视频编码 117
4.2 基于区域和对象视频编码 121
4.2.1 形状编码 122
4.2.2 纹理编码 124
4.2.3 基于对象分析综合编码 126
4.3 分级视频编码 130
4.3.1 空间域可分级编码 131
4.3.2 时间域可分级编码 132
4.3.3 质量可分级编码 134
4.3.4 频率可分级编码 135
4.3.5 精细的可分级编码 136
4.4 多重描述编码 138
5.1 ITU-T与H.261/H.263 141
5.1.1 CCITT和ITU 141
5.1.2 H.261/H.263的发展历程 142
5.2 H.261 144
5.2.1 混合编码 144
5.2.2 图像格式和码流结构 145
5.3 H.263 148
5.3.1 H.263的基本编码模式 149
5.3.2 H.263图像类型 152
5.3.3 H.263宏块类型及其判断 155
5.3.4 非限制运动矢量模式 159
5.3.5 基于句法的算术编码 161
5.3.6 高级预测模式 162
5.3.7 PB 帧模式 165
5.4 H.263＋／H.263＋＋部分选项 169
5.4.1 增强图像头信息 169
5.4.2 更大范围的非限制运动矢量 170
5.4.3 高级帧内编码模式 171
5.4.4 去方块滤波器模式 172
5.4.5 辅助增强信息指示模式 174
5.4.6 改进的PB帧模式 175
5.4.7 参考帧重新采样模式 176
5.4.8 低分辨率更新模式 177
5.4.9 选择帧内／帧间VLC码表模式 177
5.4.10 修改量化步长模式 178
6.1 ISO/IEC与MPEG-X 180
6.1.1 ISO/IEC 180
第6章 国际标准MPEG-X中的视频编码 180
6.1.2 MPEG-1和MPEG-2 181
6.1.3 MPEG-4 182
6.1.4 MPEG-7和MPEG-21 183
6.1.5 MPEG标准的发展过程 184
6.1.6 MPEG标准的应用 185
6.2 MPEG-1视频 186
6.2.1 视频编码框图 186
6.2.2 视频格式和图像类型 187
6.2.3 视觉加权量化 188
6.2.4 视频流层次结构和组成 189
6.2.5 与H.261比较 190
6.3 MPEG-2视频 191
6.3.1 支持多种采样格式 192
6.3.2 档次和级别 193
6.3.3 编码可分级性 194
6.3.4 隔行扫描视频的图类型 197
6.3.5 基于场和基于帧的DCT 198
6.3.6 隔行扫描视频的运动补偿预测模式 199
6.3.7 其他改善措施 202
6.4 MPEG-4视频 203
6.4.1 系统层模型 204
6.4.2 视频对象编码 205
6.4.3 网格对象编码 208
6.4.4 人脸对象编码 208
6.4.5 视频比特流语法 208
第7章 最新视频编码国际标准H.264/AVC 211
7.1 H.264的主要特征 211
7.2 帧内预测编码 215
7.2.1 4×4亮度块帧内预测模式 215
7.2.2 16×16亮度块帧内预测模式 221
7.2.3 8×8色度块帧内预测模式 223
7.3 多模式高精度运动估计 224
7.3.1 多模式运动补偿技术 224
7.3.2 1/4像素精度插值 226
7.3.3 运动矢量预测 227
7.4 多参考帧预测 227
7.5 整数变换和量化 228
7.5.1 4×4残差数据块的整数变换和量化 229
7.5.2 4×4亮度DC系数的整数变换和量化 233
7.5.3 2×2色度DC系数的整数变换和量化 233
7.6 统一变长编码和基于内容的自适应算术编码 234
7.6.1 统一的变长编码 235
7.6.2 基于内容自适应的二进制算术编码 240
7.7 SP和SI帧 243
7.7.1 SP和SI帧基本概念 243
7.7.2 SP和SI帧编解码 245
第8章 视频通信中的差错控制技术 249
8.1 差错控制技术 249
8.1.1 网络特性对视频通信的影响 250
8.1.2 差错控制技术的分类 250
8.2 面向预防的差错控制 251
8.2.1 分级编码与多描述编码 251
8.2.2 错误隔离 252
8.2.3 前向纠错编码 254
8.2.4 可逆VLC编码 255
8.3 面向补救的差错控制 256
8.3.1 空间域插值 256
8.2.5 信源信道联合编码 256
8.3.3 时间域插值 257
8.3.4 最大平滑恢复 257
8.3.2 频率域插值 257
8.3.5 编码模式和运动矢量的恢复 258
8.3.6 基于模型的恢复 258
8.3.7 基于语法的恢复 259
8.4 面向交互的差错控制 259
8.4.1 重传机制 260
8.4.2 参考帧选择性编码 261
8.4.3 基于交互的参数自适应编码 261
8.5 MPEG-4的差错控制策略 262
第5章 视频编码国际标准H.261/H. 263
8.6 H.263＋／H.263＋＋和H.264的差错控制策略 264
第9章 视频通信中的码率控制技术 265
9.1 码率控制技术 265
9.2 后向码率控制 266
9.2.1 传统的缓存容量反馈控制算法 267
9.2.2 MPEG-2测试模型TM5中的码率控制 271
9.3 前向码率控制 272
9.3.1 基于编码单元预测的前向码率控制 273
9.3.2 基于视觉掩蔽特性调整量化参数 277
9.3.3 基于率失真模型的前向码率控制 279
9.3.4 MPEG-4校验模型VM5.1中采用的码率控制 282
9.4.1 H.263校验模型TMN5中采用的码率控制方案 283
9.4 前向和后向联合码率控制 283
9.4.2 H.263＋校验模型TMN8中采用的码率控制 284
9.4.3 TMN5和TMN8码率控制方法的比较 287
第10章 基于DSP的多媒体通信终端 290
10.1 多媒体通信终端 290
10.2 高速DSP简介 292
10.2.1 高速DSP芯片的基本结构 293
10.2.2 高速DSP的指令类型 294
10.3 高速DSP举例 295
10.3.1 Trimedia/Nexperia系列的结构 295
10.3.2 其他DSP系列 298
10.4 实时操作系统 300
10.4.1 实时操作系统基本功能 301
10.4.2 pSOS实时操作系统 306
10.5.1 H.324标准 308
10.5 高速DSP应用系统实例 308
10.5.2 多媒体通信终端的部件 310
10.5.3 H.324通信终端的状态及其转换 310
10.5.4 任务描述及其优先级 311
10.5.5 任务间通信 316
10.5.6 BSP结构 317
10.5.7 可视电话实例 318
第11章 基于Internet和无线网络的视频服务 321
11.1 视频在Internet上的传输 321
11.1.1 Internet 321
11.1.2 IPv6 322
11.1.3 Internet传输视频的限制 324
11.2 基于IP的H.323和SIP系统 325
11.2.1 H.323系统组成 326
11.2.2 终端结构及其协议栈 327
11.2.3 系统的分层结构 329
11.2.4 H.323终端通信过程 329
11.2.5 SIP系统 331
11.3 无线通信网络 334
11.3.1 GSM和GPRS技术 334
11.3.2 第三代移动通信3G 335
11.3.3 无线局域网 335
11.3.4 无线城域网 337
11.3.5 蓝牙技术 337
11.4 无线视频通信 338
11.4.1 无线视频通信要求 338
11.4.2 无线应用协议 339
11.4.3 无线视频通信发展 340
参考文献 341