第1章 绪论 1
1.1 图像工程的发展 1
1.1.1 基本概念和定义概括 1
1.1.2 图像技术发展情况回顾 3
1.2 图像理解及相关学科 7
1.2.1 图像理解 7
1.2.2 计算机视觉 8
1.2.3 其他相关学科 10
1.2.4 图像理解的应用领域 11
1.3 图像理解理论框架 12
1.3.1 马尔视觉计算理论 12
1.3.2 对马尔理论框架的改进 17
1.3.3 关于马尔重建理论的讨论 18
1.3.4 新理论框架的研究 20
1.4 内容框架和特点 22
总结和复习 25
第1单元 采集表达 29
第2章 摄像机成像 29
2.1 视觉过程 29
2.2 摄像机成像模型 31
2.2.1 基本摄像机模型 32
2.2.2 近似投影模式 36
2.2.3 一般摄像机模型 39
2.2.4 通用成像模型 41
2.3 摄像机标定 43
2.3.1 标定程序和参数 43
2.3.2 两级标定法 46
2.4 亮度成像 48
2.4.1 光度学和光源 49
2.4.2 从亮度到照度 50
总结和复习 53
第3章 压缩感知与成像 56
3.1 压缩感知概述 56
3.2 稀疏表达 58
3.3 测量矩阵及特性 60
3.3.1 采样/测量模型 60
3.3.2 测量矩阵特性 61
3.4 解码重构 63
3.4.1 重构原理 63
3.4.2 测量矩阵的校准 65
3.4.3 典型重构算法 66
3.5 稀疏编码与字典学习 71
3.5.1 字典学习与矩阵分解 72
3.5.2 非负矩阵分解 74
3.5.3 端元提取 75
3.5.4 稀疏编码 76
3.6 压缩感知的成像应用 78
3.6.1 单像素相机 78
3.6.2 压缩感知磁共振成像 79
总结和复习 80
第4章 深度信息采集 83
4.1 高维图像和成像方式 83
4.1.1 高维图像种类 83
4.1.2 本征图像和非本征图像 84
4.1.3 深度成像方式 85
4.2 双目成像模式 86
4.2.1 双目横向模式 86
4.2.2 双目会聚横向模式 90
4.2.3 双目轴向模式 92
4.3 深度图像直接采集 94
4.3.1 飞行时间法 94
4.3.2 结构光法 96
4.3.3 莫尔等高条纹法 98
4.3.4 深度和亮度图像同时采集 100
4.4 显微镜3-D分层成像 101
4.4.1 景深和焦距 101
4.4.2 显微镜3-D成像 102
4.4.3 共聚焦显微镜3-D成像 104
总结和复习 106
第5章 3-D景物表达 108
5.1 曲线和曲面的局部特征 108
5.1.1 曲线局部特征 108
5.1.2 曲面局部特征 111
5.2 3-D表面表达 114
5.2.1 参数表达 114
5.2.2 表面朝向表达 115
5.3 等值面的构造和表达 117
5.3.1 行进立方体算法 118
5.3.2 覆盖算法 120
5.4 从并行轮廓插值3-D表面 121
5.5 3-D实体表达 126
5.5.1 基本表达方案 126
5.5.2 广义圆柱体表达 128
总结和复习 129
第2单元 景物重建 133
第6章 立体视觉：双目 133
6.1 立体视觉模块 133
6.2 基于区域的双目立体匹配 135
6.2.1 模板匹配 135
6.2.2 立体匹配 138
6.3 基于特征的双目立体匹配 143
6.3.1 基本步骤 144
6.3.2 尺度不变特征变换 146
6.3.3 加速鲁棒性特征 148
6.3.4 动态规划匹配 153
6.4 视差图误差检测与校正 154
总结和复习 157
第7章 立体视觉：多目 159
7.1 水平多目立体匹配 159
7.1.1 水平多目图像 159
7.1.2 倒距离 160
7.2 正交三目立体匹配 163
7.2.1 基本原理 163
7.2.2 基于梯度分类的正交匹配 167
7.3 多目立体匹配 170
7.3.1 任意排列三目立体匹配 170
7.3.2 正交多目立体匹配 173
7.4 亚像素级视差计算 175
总结和复习 178
第8章 景物恢复：多图像 181
8.1 单目景物恢复 181
8.2 光度立体学 182
8.2.1 景物亮度和图像亮度 182
8.2.2 表面反射特性和亮度 185
8.2.3 景物表面朝向 186
8.2.4 反射图和亮度约束方程 187
8.2.5 光度立体学求解 190
8.3 从运动求取结构 192
8.3.1 光流和运动场 193
8.3.2 光流方程求解 195
8.3.3 光流与表面取向 199
8.3.4 光流与相对深度 201
总结和复习 202
第9章 景物恢复：单图像 204
9.1 从影调恢复形状 204
9.1.1 影调与形状 204
9.1.2 亮度方程求解 207
9.2 纹理与表面朝向 212
9.2.1 单目成像和畸变 212
9.2.2 由纹理变化恢复朝向 214
9.2.3 检测线段纹理消失点 219
9.2.4 确定图像外消失点 220
9.3 由焦距确定深度 222
9.4 根据三点透视估计位姿 224
总结和复习 226
第3单元 场景解释 231
第10章 知识表达和推理 231
10.1 知识基础 231
10.2 场景知识 232
10.2.1 模型 233
10.2.2 属性超图 234
10.2.3 基于知识的建模 235
10.3 过程知识 237
10.4 知识表达 238
10.4.1 知识表达要求 239
10.4.2 知识表达类型 239
10.4.3 图像理解系统中的知识模块 240
10.4.4 基本知识表达方案 241
10.5 逻辑系统 243
10.5.1 谓词演算规则 243
10.5.2 利用定理证明来推理 245
10.6 语义网 248
10.7 产生式系统 251
总结和复习 253
第11章 广义匹配 255
11.1 匹配概述 255
11.1.1 匹配策略和类别 256
11.1.2 匹配和配准 257
11.1.3 匹配评价 258
11.2 目标匹配 259
11.2.1 匹配的度量 259
11.2.2 对应点匹配 261
11.2.3 字符串匹配 262
11.2.4 惯量等效椭圆匹配 262
11.2.5 形状矩阵匹配 263
11.3 动态模式匹配 264
11.4 关系匹配 266
11.5 图同构匹配 269
11.5.1 图论简介 269
11.5.2 图同构和匹配 271
11.6 线条图标记和匹配 273
总结和复习 277
第12章 场景分析和语义解释 279
12.1 场景理解概述 279
12.2 模糊推理 281
12.2.1 模糊集和模糊运算 281
12.2.2 模糊推理方法 283
12.3 遗传算法图像解释 285
12.3.1 遗传算法原理 285
12.3.2 语义分割和解释 286
12.4 场景目标标记 289
12.5 场景分类 292
12.5.1 词袋/特征包模型 292
12.5.2 pLSA模型 294
12.5.3 LDA模型 298
总结和复习 300
第4单元 研究示例 305
第13章 多传感器图像信息融合 305
13.1 信息融合概述 305
13.2 图像融合 307
13.2.1 图像融合的主要步骤 307
13.2.2 图像融合的三个层次 309
13.2.3 图像融合效果评价 310
13.3 像素级融合方法 313
13.3.1 基本融合方法 313
13.3.2 融合方法的结合 315
13.3.3 小波融合时的最佳分解层数 318
13.3.4 压缩感知图像融合 319
13.3.5 像素级融合示例 319
13.4 特征级和决策级融合方法 322
13.4.1 贝叶斯法 322
13.4.2 证据推理法 324
13.4.3 粗糙集理论法 326
总结和复习 329
第14章 基于内容的图像和视频检索 331
14.1 图像和视频检索原理 331
14.2 视觉特征的匹配和检索 335
14.2.1 颜色特征匹配 335
14.2.2 纹理特征计算 336
14.2.3 多尺度形状特征 337
14.2.4 综合特征检索 338
14.3 基于运动特征的视频检索 340
14.3.1 全局运动特征 340
14.3.2 局部运动特征 341
14.4 视频节目分析和索引 342
14.4.1 新闻视频结构化 343
14.4.2 体育比赛视频排序 345
14.4.3 家庭录像视频组织 350
14.5 语义分类检索 354
14.5.1 基于视觉关键词的图像分类 354
14.5.2 高层语义与气氛 355
总结和复习 357
第15章 时空行为理解 360
15.1 时空技术 360
15.2 时空兴趣点 362
15.3 动态轨迹学习和分析 364
15.3.1 自动场景建模 364
15.3.2 学习路径 366
15.3.3 自动活动分析 368
15.4 动作分类和识别 370
15.4.1 动作分类 370
15.4.2 动作识别 371
15.5 活动和行为建模 375
15.5.1 动作建模 375
15.5.2 活动建模和识别 379
15.6 主体与动作联合建模 382
15.6.1 单标签主体-动作识别 383
15.6.2 多标签主体-动作识别 383
15.6.3 主体-动作语义分割 384
总结和复习 387
附录A 视觉和视知觉 389
A.1 视知觉概述 389
A.2 视觉特性 391
A.2.1 视觉的空间特性 391
A.2.2 视觉的时间特性 393
A.2.3 视觉的亮度特性 394
A.3 形状知觉 396
A.3.1 轮廓 396
A.3.2 图形和背景 397
A.3.3 几何图形错觉 401
A.4 空间知觉 404
A.4.1 非视觉性深度线索 404
A.4.2 双目深度线索 405
A.4.3 单目深度线索 406
A.5 运动知觉 408
部分思考题和练习题解答 413
参考文献 418
主题索引 433