Ⅰ 数字视频的描述 1
第1章 视频基础 1
1.1 模拟视频 1
1.1.1 模拟视频信号 1
1.1.2 模拟视频标准 3
1.1.3 模拟视频设备 7
1.2 数字视频 8
1.2.1 数字视频信号 8
1.2.2 数字视频标准 9
1.2.3 为什么需要数字视频 12
1.3 数字视频处理 13
参考书目 15
第2章 时变图像构成模型 17
2.1 三维运动模型 17
2.1.1 在笛卡尔坐标中的刚体运动 18
2.1.2 在齐次坐标中的刚体运动 22
2.1.3 变形体运动 24
2.2 几何图像的构成 25
2.2.1 透视投影 25
2.2.2 正交投影 27
2.3 光度学图像的构成 28
2.3.1 朗伯（Lambertian）反射模式 28
2.3.2 三维运动图像的光学效应 29
2.5 练习 30
2.4 观察噪声 30
参考书目 31
第3章 时空采样 33
3.1 模拟和数字视频的采样 33
3.1.1 模拟视频的采样结构 33
3.1.2 数字视频的采样结构 35
3.2 二维矩形采样 36
3.2.1 二维付里叶变换关系 37
3.2.2 采样信号的频谱 39
3.3 二维周期采样 40
3.3.1 采样的几何图形 40
3.3.3 采样信号的频谱 42
3.3.2 以矢量形式表示的二维付里叶变换关系式 42
3.4 三维结构上的采样 43
3.4.1 基于某个点阵的采样 43
3.4.2 基于某个点阵的付里叶变换 44
3.4.3 基于某个点阵的采样信号频谱 46
3.4.4 其他的采样结构 48
3.5 采样重构 50
3.5.1 正交采样重构 50
3.5.2 由某个点阵的采样值进行重构 52
3.6 练习 52
参考书目 53
第4章 采样结构的转换 54
4.1 一维信号采样速率的变化 54
4.1.1 一维信号的插入 55
4.1.2 一维信号的抽选 58
4.1.3 由有理因子来改变采样速率 60
4.2 采样点阵转换 61
4.3 练习 65
参考书目 67
Ⅱ 二维运动估算 68
第5章 光流分析法 68
5.1 二维运动与视在运动的比较 68
5.1.1 二维运动 68
5.1.2 对应场和光流场 70
5.2 二维运动估算 71
5.2.1 遮挡问题 72
5.2.2 孔径问题 73
5.2.3 二维运动场模型 74
5.3 使用光流方程的方法 75
5.3.1 光流方程 75
5.3.2 二阶微分法 76
5.3.3 块运动模型 76
5.3.4 Horn..Schunck法 77
5.3.5 梯度估算 78
5.3.6 自适应方法 80
5.4 例子 81
5.5 练习 84
参考书目 86
6.1.1 平移的块运动 88
第6章 基于块的分析方法 88
6.1 基于块运动模型 88
6.1.2 一般的／变形的块运动 89
6.2 相位相关法 90
6.2.1 相位相关函数 91
6.2.2 算法实现中的问题 92
6.3 块匹配法 93
6.3.1 匹配准则 94
6.3.2 搜索过程 95
6.4 分级运动估算 97
6.5 通用的块运动估算 98
6.5.2 变形的块匹配 99
6.5.1 改进运动补偿的后处理 99
6.6 例子 101
6.7 练习 104
参考书目 104
第7章 像素递归法 107
7.1 位移帧差 107
7.2 基于梯度的优化 109
7.2.1 最陡下降算法 109
7.2.2 Newton-Raphson法 110
7.2.3 局部与全局最小值比较 110
7.3 基于最陡下降的算法 110
7.3.1 Netravali-Robbins算法 111
7.3.3 块运动模型的推广 112
7.3.2 Walker-Rao算法 112
7.4 基于Wiener估算的算法 113
7.5 例子 115
7.6 练习 117
参考书目 117
第8章 贝叶斯法 119
8.1 优化法 119
8.1.1 模拟退火 119
8.1.2 迭代条件模式 122
8.1.3 平均场致退火 122
8.1.4 最高置信度优先 123
8.2 MAP运动估算的基础 123
8.2.2 先验模型 124
8.2.1 似然模型 124
8.3 MAP运动估算算法 126
8.3.1 具有不连续模型的公式 126
8.3.2 具有局部分离值舍弃的估算 132
8.3.3 带有区域标注的估算 133
8.4 例子 134
8.5 练习 134
参考书目 136
Ⅲ 三维运动估算和分割 138
第9章 点对应法 138
9.1 投影位移场的建模 138
9.1.2 透视位移场模型 139
9.1.1 正交位移场模型 139
9.2 基于正交模型的方法 140
9.2.1 取自两观察视图的两步迭代法 141
9.2.2 改进的迭代法 142
9.3 基于透视模型的方法 143
9.3.1 偏振约束条件和必要参数 143
9.3.2 必要参数的估算 144
9.3.3 E矩阵的分解 145
9.3.4 算法 148
9.4 三维平面情况 149
9.4.1 纯参数 149
9.4.3 运动估算和结构参数 150
9.4.2 纯参数估算 150
9.5 例子 151
9.5.1 数值模拟实验 152
9.5.2 两帧“美国小姐”图像的试验 156
9.6 练习 156
参考书目 158
第10章 光流法和直接法 160
10.1 投影速度场模型 160
10.1.1 正交速度场模型 161
10.1.2 透视速度场模型 161
10.1.3 透视速度及位移的模型比较 162
10.2 发散中心 163
10.3.2 仿射流 164
10.3.1 解的唯一性 164
10.3 使用光流的代数法 164
10.3.3 二次流 165
10.3.4 随机流 165
10.4 使用光流的优化法 167
10.5 直接法 169
10.5.1 基于光流法的扩展 169
10.5.2 Tsai-Huang法 169
10.6 例子 171
10.6.1 数值模拟 171
10.6.2 两帧“美国小姐”图像的试验 174
10.7 练习 175
参考书目 176
第11章 运动分割 178
11.1 直接法 179
11.1.1 变化检测的阈值 179
11.1.2 使用映射参数的算法 180
11.1.3 模型参数的估算 181
11.2 光流分割 182
11.2.1 改进的哈夫曼变换法 183
11.2.2 分层视频表示的分割 184
11.2.3 贝叶斯分割 184
11.3 同时进行估算和分割 187
11.3.1 运动场模型 187
11.3.2 问题阐述 187
11.3.3 算法 189
11.3.4 与其他算法的关系 190
11.4 例子 191
11.5 练习 191
参考书目 194
第12章 立体系统和运动跟踪 196
12.1 立体系统的运动和结构 196
12.1.1 静止帧立体图像 196
12.1.2 运动估算的三维特性匹配 198
12.1.3 立体运动合成 200
12.1.4 推广到多运动的情况 202
12.2 运动跟踪 204
12.2.1 基本原理 204
12.2.2 二维运动跟踪 206
12.2.3 三维刚体运动跟踪 209
12.3 例子 212
12.4 练习 214
参考书目 214
Ⅳ 视频滤波 219
第13章 运动补偿滤波 219
13.1 时空付里叶频谱 219
13.1.1 恒速的整体运动 220
13.1.2 带加速度的整体运动 222
13.2 亚奈奎斯特时空采样 223
13.2.1 仅对时间方向采样 223
13.2.2 在时空点阵上采样 223
13.2.3 临界速率 224
13.3 按运动轨迹滤波 227
13.3.1 任意运动轨迹 227
13.3.2 恒速整体运动 228
13.3.3 加速运动 228
13.4 应用 229
13.4.1 运动补偿噪声滤波 230
13.4.2 运动补偿重构滤波 230
13.5 练习 231
参考书目 233
第14章 噪声滤波 234
14.1 帧内滤波 234
14.1.1 LMMSE滤波 235
14.1.2 自适应（局部）LMMSE滤波 238
14.1.3 定向滤波 239
14.1.4 中值及加权中值滤波 241
14.2 运动自适应滤波 241
14.2.1 直接滤波 241
14.2.2 基于运动检测的滤波 242
14.3 运动补偿滤波 243
14.3.1 时空自适应LMMSE滤波 244
14.3.2 自适应加权平均滤波器 245
14.4 例子 246
14.5 练习 250
参考书目 250
15.1.1 平移不变空间模糊 253
第15章 图像复原 253
15.1 建模 253
15.1.2 平移变化空间模糊 254
15.2 帧内平移不变复原 255
15.2.1 伪逆滤波 255
15.2.2 带约束的最小方差和维纳滤波 257
15.3 帧内平移变化复原 258
15.3.1 POCS方法概述 259
15.3.2 利用POCS法来复原 259
15.4 多帧复原 261
15.4.1 互相关多帧滤波器 262
15.5 例子 263
15.4.2 运动补偿多帧滤波器 263
15.6 练习 264
参考书目 268
第16章 标准变换 270
16.1 下行变换 271
16.1.1 带有反混淆滤波的下行变换 272
16.1.2 无反混淆滤波的下行变换 272
16.2 实际的上行变换方法 273
16.2.1 帧内滤波 275
16.2.2 运动自适应滤波 279
16.3 运动补偿上行变换 282
16.3.1 基本原理 282
16.3.2 整体运动补偿去隔行 285
16.4 例子 287
16.5 练习 293
参考书目 293
第17章 超分辨率 295
17.1 建模 295
17.1.1 连续-离散模型 296
17.1.2 离散-离散模型 298
17.1.3 问题的相互联系 299
17.2 插入-恢复方法 300
17.2.1 帧内法 300
17.2.2 多帧法 300
17.3 一种频率域方法 301
17.4 一种统一的POCS方法 303
17.5 例子 305
17.6 练习 308
参考书目 308
Ⅴ 静态图像压缩 311
第18章 无损压缩 311
18.1 图像压缩基础 311
18.1.1 图像压缩系统的组成 311
18.1.2 信息论概念 312
18.2 符号编码 315
18.2.1 定长编码 315
18.2.2 霍夫曼编码 315
18.2.3 算术编码 318
18.3 无损压缩法 320
18.3.1 无损预测编码 321
18.3.2 位平面的游程编码 323
18.3.3 Ziv-Lempel编码 324
18.4 练习 325
参考书目 326
第19章 差分脉码调制（DPCM）及变换编码 328
19.1 量化 328
19.1.1 非均匀量化 329
19.1.2 均匀量化 329
19.2 差分脉码调制 332
19.2.1 最优预测 333
19.2.3 自适应量化 334
19.2.2 预测误差的量化 334
19.2.4 △调制 335
19.3 变换编码 337
19.3.1 离散余弦变换DCT 338
19.3.2 量化／比特分配 339
19.3.3 编码 341
19.3.4 变换编码中的块虚像 342
19.4 练习 343
参考书目 344
第20章 静态图像压缩标准 346
20.1 二元图像压缩标准 346
20.1.1 一维RLC 347
20.1.2 二维RLC 348
20.2 JPEG标准 350
20.1.3 JBIG标准 350
20.2.1 基本算法 352
20.2.2 JPEG的累进模式 355
20.2.3 JPEG的无损模式 356
20.2.4 JPEG分级模式 357
20.2.5 JPEG的实现 358
20.3 练习 358
参考书目 358
21.1 矢量量化 360
21.1.1 矢量量化器的结构 360
第21章 矢量量化、子带编码及其他方法 360
21.1.2 VQ码书设计 363
21.1.3 实用VQ的实现 363
21.2 碎片压缩 364
21.3 子带编码 365
21.3.1 子带分解 365
21.3.2 子带编码 367
21.3.3 与变换编码的关系 368
21.3.4 与小波变换编码的关系 368
21.4 第二代编码方法 369
21.5 练习 370
参考书目 370
第22章 帧间压缩方法 373
Ⅵ 视频压缩 373
22.1 三维波形编码 374
22.1.1 三维变换编码 374
22.1.2 三维子带编码 375
22.2 运动补偿波形编码 376
22.2.1 MC变换编码 377
22.2.2 MC矢量量化（MC-VQ） 378
22.2.3 MC子带编码 378
22.3 基于模型的编码 379
22.3.1 基于物体的编码 380
22.3.2 基于知识的编码和语义编码 380
22.4 练习 381
参考书目 382
第23章 视频压缩标准 385
23.1 H.261标准 385
23.1.1 输入图像格式 385
23.1.2 视频多路复用 386
23.1.3 视频压缩算法 387
23.2 MPEG-1标准 391
23.2.1 特点 391
23.2.2 输入视频格式 392
23.2.3 数据结构与压缩模式 393
23.2.4 帧内压缩模式 393
23.2.5 帧间压缩模式 395
23.2.6 MPEG-1编码器和解码器 398
23.3.2 隔行视频的编码 399
23.3 MPEG-2标准 399
23.3.1 MPEG-2宏块 399
23.3.3 可调节功能扩展范围 402
23.3.4 其他改进点 403
23.3.5 类和级的概述 404
23.4 软件和硬件的实现 404
参考书目 405
第24章 基于模型的编码技术 407
24.1 通用的基于物体的方法 407
24.1.1 带有三维运动的二维／三维刚性物体 407
24.1.2 带有二维运动中的二维弹性物体 409
24.1.3 带有三角形网格的仿射变换 411
24.2 基于知识的方法和语义方法 412
24.2.1 通用原理 413
24.2.2 MBASIC算法 417
24.2.3 利用一种弹性的线条框架模型进行估算 418
24.3 例子 423
参考书目 429
第25章 数字视频系统 433
25.1 视频会议 433
25.2 交互式视频和多媒体 434
25.3 数字电视 436
25.3.1 数字演播标准 436
25.3.2 混合型高级电视系统 437
25.3.3 全数字电视 438
25.4 低比特率的视频与可视电话 441
25.4.1 ITU建议H.263 443
25.4.2 ISOMPEG-4要求 443
参考书目 444
附录A 马尔科夫（Markov）和Gibbs随机场 447
A.1 定义 447
A.1.1 马尔科夫随机场（MRF） 447
A.1.2 Gibbs随机场（GRF） 449
A.2 MRF和GRF之间的等价关系 449
A.3 局部条件概率 450
参考书目 451
B.1 阈值法 452
附录B 分割的基础知识 452
B.1.1 寻找最佳阈值 453
B.2 聚类法 453
B.3 贝叶斯法 455
B.3.1 MAP方法 455
B.3.2 自适应MAP方法 457
B.3.3 矢量场分割 458
参考书目 459
附录C 卡尔曼滤波 460
C.1 线性状态空间模型 460
C.2 扩展卡尔曼滤波 461
参考书目 462
附录D 英汉专业词汇对照表 463