第1章 绪论 1
1.1 机器人视觉控制 1
1.1.1 机器人视觉的基本概念 1
1.1.2 机器人视觉控制的作用 3
1.2 机器人视觉控制的研究内容 4
1.2.1 摄像机标定 4
1.2.2 视觉测量 5
1.2.3 视觉控制的结构与算法 6
1.3 机器人视觉系统的分类 6
1.3.1 根据摄像机与机器人的相互位置分类 7
1.3.2 根据摄像机数目分类 8
1.3.3 根据是否自然测量分类 8
1.3.4 根据控制模型分类 9
1.4 视觉控制的发展现状与趋势 10
1.4.1 视觉系统标定研究进展 10
1.4.2 机器人的视觉测量研究进展 15
1.4.3 机器人的视觉控制研究进展 17
1.4.4 机器人视觉控制的应用现状 20
1.4.5 机器人视觉测量与控制的发展趋势 26
参考文献 29
第2章 摄像机与视觉系统的标定 35
2.1 摄像机模型 35
2.1.1 小孔模型 35
2.1.2 摄像机内参数模型 36
2.1.3 镜头畸变模型 38
2.1.4 摄像机外参数模型 40
2.2 单目二维视觉测量的摄像机标定 40
2.3 Faugeras的摄像机标定方法 42
2.3.1 Faugeras摄像机标定的基本方法 42
2.3.2 Faugeras摄像机标定的改进方法 45
2.4 Tsai的摄像机标定方法 47
2.4.1 位姿与焦距求取 48
2.4.2 畸变矫正系数与焦距的精确求取 51
2.5 手眼标定 51
2.6 基于消失点的摄像机内参数自标定 56
2.6.1 几何法 57
2.6.2 解析法 59
2.7 基于运动的摄像机自标定 66
2.7.1 基于正交平移运动和旋转运动的摄像机自标定 66
2.7.2 基于单参考点的摄像机自标定 71
2.8 基于运动的立体视觉系统自标定 80
2.8.1 相对测量视觉模型 80
2.8.2 自标定原理与过程 87
2.9 畸变校正与非线性模型摄像机的标定 88
2.9.1 基于平面靶标的非线性模型摄像机标定 88
2.9.2 基于平面靶标的大畸变非线性模型摄像机的标定 94
2.10 结构光视觉的参数标定 103
2.10.1 基于立体靶标的激光平面标定 104
2.10.2 主动视觉法激光平面标定 106
2.10.3 斜平面法结构光视觉传感器标定 112
参考文献 116
第3章 视觉测量 118
3.1 视觉测量中的约束条件 118
3.1.1 特征匹配约束 118
3.1.2 不变性约束 121
3.1.3 直线约束 123
3.2 单目视觉位置测量 124
3.2.1 垂直于摄像机光轴的平面内目标的测量 125
3.2.2 平面内目标的测量 127
3.3 立体视觉位置测量 129
3.3.1 双目视觉 129
3.3.2 结构光视觉 131
3.4 基于PnP问题的位姿测量 132
3.4.1 P3P的常用求解方法 133
3.4.2 PnP问题的线性求解 138
3.5 基于矩形目标约束的位姿测量 149
3.5.1 基于立体视觉的位姿测量 149
3.5.2 基于矩形的位姿测量 150
3.5.3 基于P4P方法 155
3.6 基于目标模型的测量 155
3.6.1 点的交互矩阵 156
3.6.2 直线的交互矩阵 158
3.6.3 基于CAD模型的测量 163
3.7 基于消失点的位姿测量 164
3.7.1 基于消失点的单视点三维测量 164
3.7.2 基于消失点的单视点仿射测量 166
3.8 移动机器人的视觉定位 170
3.8.1 基于单应性矩阵的视觉定位 171
3.8.2 基于非特定参照物的视觉定位 178
3.9 移动机器人的视觉全局定位 184
3.9.1 基于非特定参照物的视觉全局定位 184
3.9.2 视觉定位与里程计推算定位的信息融合 187
3.10 基于天花板的视觉推算定位 191
3.10.1 天花板的视觉特征 192
3.10.2 视觉系统构成 194
3.10.3 视觉推算定位 194
3.10.4 实验与结果 200
3.11 MEMS装配中的显微视觉测量 202
3.11.1 显微视觉系统的构成 202
3.11.2 显微视觉系统的自动调焦 205
3.11.3 显微视觉测量 208
3.11.4 实验与结果 211
参考文献 214
第4章 视觉控制 217
4.1 基于位置的视觉控制 217
4.1.1 位置给定型机器人视觉控制 217
4.1.2 机器人的位置视觉伺服控制 219
4.1.3 基于位置的视觉控制的稳定性 222
4.1.4 基于位置的自标定视觉控制 224
4.1.5 基于位置视觉控制的特点 225
4.2 基于图像的视觉控制 226
4.2.1 基于图像特征的视觉控制 226
4.2.2 基于图像的视觉伺服控制 231
4.2.3 基于图像的视觉控制的稳定性 232
4.2.4 基于图像的视觉控制的特点 234
4.3 混合视觉伺服控制 234
4.3.1 2.5D视觉伺服的结构 235
4.3.2 2.5D视觉伺服的原理 235
4.4 直接视觉控制 243
4.4.1 直接视觉控制的结构 243
4.4.2 visual-motor函数的实现 244
4.5 基于姿态的视觉控制 247
4.5.1 姿态测量 247
4.5.2 基于姿态估计的视觉控制系统的结构与基本原理 249
4.5.3 实验与结果 253
4.6 基于图像雅可比矩阵的无标定视觉伺服 258
4.6.1 动态牛顿法 258
4.6.2 图像雅可比矩阵的估计 260
4.7 基于极线约束的无标定摄像机的视觉控制 262
4.7.1 基本原理 262
4.7.2 视觉伺服控制 263
4.7.3 实验与结果 269
4.8 基于视觉测量信息的智能控制 271
4.8.1 角焊缝跟踪的自调整模糊控制 271
4.8.2 实验与结果 275
参考文献 277
第5章 应用实例 279
5.1 开放式机器人控制平台 279
5.1.1 多层次结构的开放式机器人控制平台 279
5.1.2 本地机器人的实时控制 280
5.1.3 图形示教实验与结果 282
5.2 具有焊缝识别与跟踪功能的自动埋弧焊机器人系统 283
5.2.1 焊接小车与视觉系统 283
5.2.2 结构光焊缝图像的处理 287
5.2.3 焊缝测量实验结果 291
5.3 基于结构光的机器人弧焊混合视觉控制 293
5.3.1 图像空间到机器人末端笛卡儿空间的雅可比矩阵 293
5.3.2 混合视觉控制 295
5.3.3 实验与结果 297
5.4 薄板对接窄焊缝视觉跟踪系统 299
5.4.1 视觉跟踪系统构成 300
5.4.2 焊缝视觉测量 301
5.4.3 焊缝初始点定位 307
5.4.4 控制系统设计 308
5.4.5 实验与结果 312
5.5 基于视觉系统自标定的机器人趋近与抓取 315
5.5.1 机器人系统构成 316
5.5.2 基于自标定的视觉控制系统原理 316
5.5.3 实验与结果 320
5.6 基于天花板的移动机器人导航与定位 323
5.6.1 基于天花板自然路标的定位 323
5.6.2 基于天花板的导航 326
5.6.3 实验与结果 326
5.7 打乒乓球机器人 330
5.7.1 打乒乓球机器人系统构成 331
5.7.2 并行处理的高速视觉系统 333
5.7.3 乒乓球飞行轨迹测量 335
5.7.4 后续飞行轨迹与击球参数预测 336
5.7.5 基于球拍位姿的乒乓球旋转估计 338
5.7.6 机器人运动规划与控制 340
5.7.7 实验与结果 343
5.8 大口径光栅拼接 351
5.8.1 系统构成 351
5.8.2 拼接位姿偏差测量 353
5.8.3 实验与结果 356
参考文献 357
附录 摄像机标定工具箱与标定函数 360