第1章 多维信号与系统 1
1.1 多维信号 2
1.1.1 有限域信号和周期信号 2
1.1.2 对称信号 5
1.1.3 特殊的多维信号 5
1.2 多维变换 8
1.2.1 连续信号的傅里叶变换 8
1.2.2 离散信号的傅里叶变换 12
1.2.3 离散傅里叶变换（DFT） 14
1.2.4 离散余弦变换（DCT） 18
1.3 多维系统 20
1.3.1 脉冲响应和2D卷积 20
1.3.2 频率响应 23
1.3.3 FIR滤波器及对称性 25
1.3.4 IIR滤波器及偏微分方程 27
1.4 多维采样理论 30
1.4.1 格上采样 30
1.4.2 格上采样信号的谱 34
1.4.3 格上采样中的奈奎斯特准则 36
1.4.4 格上采样信号重建 41
1.5 采样格式转换 42
参考文献 47
习题 48
问题集1 48
MATLAB习题 50
第2章 数字图像和视频 53
2.1 人类视觉系统和色彩 54
2.1.1 色觉及彩色模型 54
2.1.2 对比敏感度 57
2.1.3 时空频率响应 59
2.1.4 立体/深度感知 62
2.2 数字视频 63
2.2.1 空间分辨率和帧速 64
2.2.2 颜色、动态范围和位深 65
2.2.3 彩色图像处理 67
2.2.4 数字视频标准 70
2.3 3D视频 75
2.3.1 3D显示技术 75
2.3.2 立体视频 79
2.3.3 多视角视频 79
2.4 数字视频应用 81
2.4.1 数字电视 81
2.4.2 数字影院 85
2.4.3 互联网中的视频流 88
2.4.4 计算机视觉和场景/行为理解 91
2.5 图像和视频的质量 92
2.5.1 视觉效果损伤 92
2.5.2 主观质量评估 93
2.5.3 客观质量评估 94
参考文献 96
第3章 图像滤波 101
3.1 图像平滑 102
3.1.1 线性移不变低通滤波 102
3.1.2 双边滤波 105
3.2 图像重采样和多分辨率表示 106
3.2.1 图像抽取 107
3.2.2 图像内插 109
3.2.3 多分辨率金字塔表示 116
3.2.4 小波表示 117
3.3 图像梯度估计、边缘和特征检测 123
3.3.1 图像梯度估计 124
3.3.2 拉普拉斯估计 128
3.3.3 Canny边缘检测 130
3.3.4 Harris角检测 131
3.4 图像增强 133
3.4.1 基于像素的对比度增强 133
3.4.2 用于色调映射和图像锐化的空间滤波 138
3.5 图像去噪 143
3.5.1 图像和噪声模型 144
3.5.2 DFT域的线性空间不变滤波器 146
3.5.3 局部自适应滤波 149
3.5.4 非线性滤波：排序统计、小波收缩和双边滤波 154
3.5.5 非局部滤波：NL-Means和BM3D 158
3.6 图像复原 160
3.6.1 模糊模型 161
3.6.2 线性空间不变模糊图像的复原 165
3.6.3 盲复原——模糊识别 171
3.6.4 空间变化模糊图像的复原 173
3.6.5 图像修复 176
参考文献 187
习题 182
问题集3 182
MATLAB习题 185
MATLAB资源 189
第4章 运动估计 191
4.1 图像的形成 191
4.1.1 相机模型 192
4.1.2 3D运动的光学效果 197
4.2 运动模型 198
4.2.1 投射运动与表观运动 199
4.2.2 3D刚体运动投射模型 203
4.2.3 2D表观运动模型 206
4.3 2D表观运动估计 210
4.3.1 稀疏对应性、光流估计和图像配准问题 210
4.3.2 光流方程和法向流 213
4.3.3 帧间差 215
4.3.4 运动估计的病态性：遮挡与孔洞问题 216
4.3.5 分层运动估计 219
4.3.6 运动估计的性能衡量 220
4.4 差分法 221
4.4.1 Lukas-Kanade法 221
4.4.2 Horn-Schunk运动估计 226
4.5 匹配法 229
4.5.1 基本的块匹配 230
4.5.2 变尺寸块匹配 234
4.5.3 分层块匹配 236
4.5.4 扩展的块匹配——局部变形运动 237
4.5.5 特征对应的单应性估计 239
4.6 非线性优化法 241
4.6.1 像素递归运动估计 241
4.6.2 贝叶斯运动估计 243
4.7 变换域方法 245
4.7.1 相位相关法 245
4.7.2 空间-频率谱法 247
4.8 3D运动估计和结构估计 247
4.8.1 相机标定 248
4.8.2 仿射重建 249
4.8.3 投影重建 251
4.8.4 欧氏重建 256
4.8.5 平面视差和相关仿射结构重建 257
4.8.6 立体中的致密结构 259
参考文献 259
习题 264
问题集4 264
MATLAB习题 266
MATLAB资源 268
第5章 视频分割与跟踪 269
5.1 图像分割 271
5.1.1 阈值法 271
5.1.2 聚类法 273
5.1.3 贝叶斯法 277
5.1.4 图形法 281
5.1.5 主动轮廓模型 283
5.2 变化检测 285
5.2.1 镜头边界检测 285
5.2.2 背景差法 287
5.3 运动分割 294
5.3.1 主要运动分割 295
5.3.2 复杂运动分割 298
5.3.3 基于区域的运动分割：彩色与运动的融合 307
5.3.4 运动估计与分割的同时实现 309
5.4 运动跟踪 313
5.4.1 基于图形的空-时分割与跟踪 315
5.4.2 Kanade-Lucas-Tomasi跟踪 315
5.4.3 Mean-Shift跟踪 317
5.4.4 粒子滤波跟踪 319
5.4.5 主动轮廓跟踪 321
5.4.6 2D-Mesh跟踪 323
5.5 图像抠图和视频抠像 324
5.6 性能评估 326
参考文献 327
MATLAB习题 334
互联网资源 335
第6章 视频滤波 337
6.1 空-时滤波理论 338
6.1.1 视频的频谱 339
6.1.2 运动自适应滤波 341
6.1.3 运动补偿滤波 341
6.2 视频格式转换 345
6.2.1 降采样 347
6.2.2 去隔行 351
6.2.3 帧率转换 357
6.3 多帧联合噪声滤除 363
6.3.1 运动自适应噪声滤除 363
6.3.2 运动补偿噪声滤除 365
6.4 多帧联合复原 370
6.4.1 多帧联合建模 371
6.4.2 多帧联合维纳复原 371
6.5 多帧联合超分辨率重建 373
6.5.1 什么是超分辨率重建 374
6.5.2 低分辨率采样建模 377
6.5.3 频域超分辨率重建 382
6.5.4 空域多帧法 385
参考文献 390
习题 395
问题集6 395
MATLAB习题 396
第7章 图像压缩 397
7.1 图像压缩的基础 398
7.1.1 信息论概念 398
7.1.2 图像压缩系统的组成 401
7.1.3 量化 402
7.1.4 符号编码 405
7.1.5 Huffman编码 406
7.1.6 算术编码 410
7.2 离散余弦变换编码和JPEG 413
7.2.1 离散余弦变换 414
7.2.2 ISO JPEG标准 416
7.2.3 编码控制与压缩损伤 423
7.3 小波变换编码和JPEG 2000 424
7.3.1 小波变换和滤波器选择 425
7.3.2 ISO JPEG 2000标准 429
参考文献 435
习题 437
互联网资源 440
第8章 视频压缩 441
8.1 视频压缩方法 442
8.1.1 帧内压缩、运动JPEG2000和数字影院 442
8.1.2 3D变换编码 443
8.1.3 运动压缩变换编码 446
8.2 早期的视频压缩标准 447
8.2.1 ISO和ITU标准 447
8.2.2 MPEG-1标准 448
8.2.3 MPEG-2标准 456
8.3 MPEG-4 AVC/ITU-T H.264标准 463
8.3.1 视频输入格式和数据结构 464
8.3.2 帧内预测 465
8.3.3 运动补偿 466
8.3.4 变换 468
8.3.5 其他工具和改进 469
8.4 高效视频编码（HEVC）标准 471
8.4.1 视频输入格式和数据结构 471
8.4.2 编码树单元 472
8.4.3 并行编码/解码工具 473
8.4.4 其他工具与改进 475
8.5 可伸缩视频压缩 477
8.5.1 时间可伸缩性 478
8.5.2 空间可伸缩性 479
8.5.3 质量（SNR）分级 480
8.5.4 混合可伸缩 482
8.6 立体视频和多视角视频压缩 482
8.6.1 帧兼容的立体视频压缩 483
8.6.2 H.264/AVC标准中关于立体和多视角视频编码的扩展 484
8.6.3 多视角加深度信息的视频压缩 487
参考文献 492
习题 494
互联网资源 495
附录A 图像和视频处理中的病态问题 497
A.1 图像表示 497
A.1.1 确定性框架——函数/矢量空间 497
A.1.2 贝叶斯框架——随机场 498
A.2 图像模型概览 498
A.3 图像稀疏建模基础 500
A.4 病态问题的适定公式 501
A.4.1 条件优化问题 501
A.4.2 贝叶斯估计问题 502
参考文献 502
附录B Markov和Gibbs随机场 503
B.1 Markov随机场与Gibbs随机场的等价性 503
B.1.1 Markov随机场 504
B.1.2 Gibbs随机场 505
B.1.3 MRF和GRF的等价性 506
B.2 先验PDF模型的Gibbs分布 507
B.3 Gibbs分布中局部条件概率的计算 508
参考文献 509
附录C 优化方法 511
C.1 基于梯度的优化 512
C.1.1 最速下降法 512
C.1.2 Newton-Raphson法 513
C.2 模拟退火法 514
C.2.1 Metropolis算法 515
C.2.2 Gibbs抽样 516
C.3 贪婪法 517
C.3.1 条件递归法 517
C.3.2 平均场退火法 518
C.3.3 最高信任优先法 518
参考文献 519
附录D 模型拟合 521
D.1 最小均方拟合法 522
D.2 齐次线性方程组的LS解 522
D.2.1 交替推导法 523
D.3 总体最小均方拟合法 524
D.4 随机采样一致性（RANSAC） 526
参考文献 526
术语表 527