第1章 概述 1
1.1 什么是计算机视觉？ 2
1.2 简史 8
1.3 本书概述 16
1.4 课程大纲样例 21
1.5 标记法说明 22
1.6 扩展阅读 22
第2章 图像形成 25
2.1 几何基元和变换 26
2.1.1 几何基元 26
2.1.2 2D变换 29
2.1.3 3D变换 32
2.1.4 3D旋转 33
2.1.5 3D到2D投影 37
2.1.6 镜头畸变 46
2.2 光度测定学的图像形成 47
2.2.1 照明 48
2.2.2 反射和阴影 49
2.2.3 光学 54
2.3 数字摄像机 57
2.3.1 采样与混叠 60
2.3.2 色彩 63
2.3.3 压缩 71
2.4 补充阅读 72
2.5 习题 73
第3章 图像处理 77
3.1 点算子 78
3.1.1 像素变换 79
3.1.2 彩色变换 81
3.1.3 合成与抠图 81
3.1.4 直方图均衡化 83
3.1.5 应用：色调调整 86
3.2 线性滤波 86
3.2.1 可分离的滤波 89
3.2.2 线性滤波示例 90
3.2.3 带通和导向滤波器 91
3.3 更多的邻域算子 95
3.3.1 非线性滤波 95
3.3.2 形态学 99
3.3.3 距离变换 100
3.3.4 连通量 101
3.4 傅里叶变换 102
3.4.1 傅里叶变换对 105
3.4.2 二维傅里叶变换 107
3.4.3 维纳滤波 108
3.4.4 应用：锐化，模糊和去噪 111
3.5 金字塔与小波 111
3.5.1 插值 112
3.5.2 降采样 114
3.5.3 多分辨率表达 116
3.5.4 小波 119
3.5.5 应用：图像融合 123
3.6 几何变换 125
3.6.1 参数化变换 125
3.6.2 基于网格的卷绕 131
3.6.3 应用：基于特征的变形 133
3.7 全局优化 133
3.7.1 正则化 134
3.7.2 马尔科夫随机场 138
3.7.3 应用：图像的恢复 147
3.8 补充阅读 147
3.9 习题 149
第4章 特征检测与匹配 157
4.1 点和块 159
4.1.1 特征检测器 160
4.1.2 特征描述子 169
4.1.3 特征匹配 172
4.1.4 特征跟踪 179
4.1.5 应用：表演驱动的动画 181
4.2 边缘 182
4.2.1 边缘检测 182
4.2.2 边缘连接 187
4.2.3 应用：边缘编辑和增强 189
4.3 线条 190
4.3.1 逐次近似 191
4.3.2 Hough变换 191
4.3.3 消失点 194
4.3.4 应用：矩形检测 196
4.4 扩展阅读 197
4.5 习题 198
第5章 分割 205
5.1 活动轮廓 206
5.1.1 蛇行 207
5.1.2 动态蛇行和CONDENSATION 211
5.1.3 剪刀 214
5.1.4 水平集 215
5.1.5 应用：轮廓跟踪和转描机 217
5.2 分裂与归并 218
5.2.1 分水岭 218
5.2.2 区域分裂（区分式聚类） 219
5.2.3 区域归并（凝聚式聚类） 219
5.2.4 基于图的分割 219
5.2.5 概率聚集 220
5.3 均值移位和模态发现 221
5.3.1 k-均值和高斯混合 222
5.3.2 均值移位 224
5.4 规范图割 227
5.5 图割和基于能量的方法 230
5.6 补充阅读 234
5.7 习题 235
第6章 基于特征的配准 237
6.1 基于2D和3D特征的配准 238
6.1.1 使用最小二乘的2D配准 238
6.1.2 应用：全景图 240
6.1.3 迭代算法 241
6.1.4 鲁棒最小二乘和RANSAC 243
6.1.5 3D配准 245
6.2 姿态估计 246
6.2.1 线性算法 246
6.2.2 迭代算法 248
6.2.3 应用：增强现实 249
6.3 几何内参数标定 250
6.3.1 标定模式 250
6.3.2 消失点 252
6.3.3 应用：单视图测量学 253
6.3.4 旋转运动 254
6.3.5 径向畸变 256
6.4 补充阅读 257
6.5 习题 258
第7章 由运动到结构 263
7.1 三角测量 264
7.2 二视图由运动到结构 266
7.2.1 投影（未标定的）重建 270
7.2.2 自标定 271
7.2.3 应用：视图变形 273
7.3 因子分解 274
7.3.1 透视与投影因子分解 276
7.3.2 应用：稀疏3D模型提取 277
7.4 光束平差法 278
7.4.1 挖掘稀疏性 280
7.4.2 应用：匹配运动和增强现实 282
7.4.3 不确定性和二义性 283
7.4.4 应用：由因特网照片重建 284
7.5 限定结构和运动 287
7.5.1 基于线条的方法 287
7.5.2 基于平面的方法 288
7.6 补充阅读 289
7.7 习题 290
第8章 稠密运动估计 293
8.1 平移配准 294
8.1.1 分层运动估计 297
8.1.2 基于傅里叶的配准 298
8.1.3 逐次求精 300
8.2 参数化运动 305
8.2.1 应用：视频稳定化 308
8.2.2 学到的运动模型 308
8.3 基于样条的运动 309
8.4 光流 312
8.4.1 多帧运动估计 315
8.4.2 应用：视频去噪 316
8.4.3 应用：去隔行扫描 316
8.5 层次运动 317
8.5.1 应用：帧插值 319
8.5.2 透明层和反射 320
8.6 补充阅读 321
8.7 习题 322
第9章 图像拼接 327
9.1 运动模型 329
9.1.1 平面透视运动 329
9.1.2 应用：白板和文档扫描 330
9.1.3 旋转全景图 331
9.1.4 缝隙消除 333
9.1.5 应用：视频摘要和压缩 334
9.1.6 圆柱面和球面坐标 335
9.2 全局配准 338
9.2.1 光束平差法 338
9.2.2 视差消除 341
9.2.3 认出全景图 343
9.2.4 直接配准和基于特征的配准 345
9.3 合成 346
9.3.1 合成表面的选择 346
9.3.2 像素选择和加权（去虚影） 348
9.3.3 应用：照片蒙太奇 352
9.3.4 融合 353
9.4 补充阅读 355
9.5 习题 356
第10章 计算摄影学 359
10.1 光度学标定 361
10.1.1 辐射度响应函数 362
10.1.2 噪声水平估计 363
10.1.3 虚影 364
10.1.4 光学模糊（空间响应）估计 365
10.2 高动态范围成像 368
10.2.1 色调映射 374
10.2.2 应用：闪影术 380
10.3 超分辨率和模糊去除 381
10.3.1 彩色图像去马赛克 385
10.3.2 应用：彩色化 387
10.4 图像抠图和合成 388
10.4.1 蓝屏抠图 389
10.4.2 自然图像抠图 391
10.4.3 基于优化的抠图 394
10.4.4 烟、阴影和闪抠图 396
10.4.5 视频抠图 397
10.5 纹理分析与合成 398
10.5.1 应用：空洞填充与修图 400
10.5.2 应用：非真实感绘制 401
10.6 补充阅读 403
10.7 习题 404
第11章 立体视觉对应 409
11.1 极线几何学 412
11.1.1 矫正 412
11.1.2 平面扫描 414
11.2 稀疏对应 416
11.3 稠密对应 418
11.4 局部方法 420
11.4.1 亚像素估计与不确定性 422
11.4.2 应用：基于立体视觉的头部跟踪 423
11.5 全局优化 424
11.5.1 动态规划 425
11.5.2 基于分割的方法 427
11.5.3 应用：z-键控与背景替换 428
11.6 多视图立体视觉 429
11.6.1 体积与3D表面重建 432
11.6.2 由轮廓到形状 436
11.7 补充阅读 438
11.8 习题 439
第12章 3D重建 443
12.1 由X到形状 444
12.1.1 由阴影到形状与光度测量立体视觉 445
12.1.2 由纹理到形状 447
12.1.3 由聚焦到形状 448
12.2 主动距离获取 449
12.2.1 距离数据归并 451
12.2.2 应用：数字遗产 453
12.3 表面表达 454
12.3.1 表面插值 454
12.3.2 表面简化 455
12.3.3 几何图像 456
12.4 基于点的表达 456
12.5 体积表达 457
12.6 基于模型的重建 459
12.6.1 建筑结构 459
12.6.2 头部和人脸 461
12.6.3 应用：脸部动画 463
12.6.4 完整人体建模与跟踪 465
12.7 恢复纹理映射与反照率 469
12.7.1 估计BRDF 470
12.7.2 应用：3D摄影学 471
12.8 补充阅读 472
12.9 习题 473
第13章 基于图像的绘制 477
13.1 视图插值 478
13.1.1 视图相关的纹理映射 480
13.1.2 应用：照片游览 481
13.2 层次深度图像 482
13.3 光场与发光图 484
13.3.1 非结构化发光图 487
13.3.2 表面光场 488
13.3.3 应用：同心拼图 489
13.4 环境影像形板 490
13.4.1 更高维光场 491
13.4.2 从建模到绘制 492
13.5 基于视频的绘制 493
13.5.1 基于视频的动画 493
13.5.2 视频纹理 494
13.5.3 应用：图片动画 497
13.5.4 3D视频 497
13.5.5 应用：基于视频的游览 499
13.6 补充阅读 501
13.7 习题 503
第14章 识别 507
14.1 物体检测 509
14.1.1 人脸检测 509
14.1.2 行人检测 515
14.2 人脸识别 518
14.2.1 特征脸 518
14.2.2 活动表观与3D形状模型 525
14.2.3 应用：个人照片收藏 528
14.3 实例识别 529
14.3.1 几何配准 530
14.3.2 大型数据库 531
14.3.3 应用：位置识别 535
14.4 类别识别 537
14.4.1 词袋 539
14.4.2 基于部件的模型 542
14.4.3 基于分割的识别 545
14.4.4 应用：智能照片编辑 548
14.5 上下文与场景理解 550
14.5.1 学习与大型图像收集 552
14.5.2 应用：图像搜索 554
14.6 识别数据库和测试集 555
14.7 补充阅读 559
14.8 习题 562
第15章 结语 567
附录A 线性代数与数值方法 569
A.1 矩阵分解 570
A.1.1 奇异值分解 570
A.1.2 征值分解 571
A.1.3 QR因子分解 573
A.1.4 乔里斯基分解 574
A.2 线性最小二乘 575
A.3 非线性最小二乘 578
A.4 直接稀疏矩阵方法 579
A.5 迭代方法 580
A.5.1 共轭梯度 581
A.5.2 预处理 582
A.5.3 多重网格 583
附录B 贝叶斯建模与推断 585
B.1 估计理论 586
B.2 最大似然估计与最小二乘 589
B.3 鲁棒统计学 590
B.4 先验模型与贝叶斯推断 591
B.5 马尔科夫随机场 592
B.5.1 梯度下降与模拟退火 594
B.5.2 动态规划 595
B.5.3 置信传播 596
B.5.4 图割 598
B.5.5 线性规划 601
B.6 不确定性估计（误差分析） 602
附录C 补充材料 604
C.1 数据集 605
C.2 软件 607
C.3 幻灯片与讲座 615
C.4 参考文献 615
词汇表 617