利用被摄对象的多幅图像获取三维几何模型, 是摄影测量和计算机视觉最重要的目的之一。近年来, 迅猛发展的CAD/CAM技术为建立物体的三维模型提供了几何描述基础, 因而如何利用CAD数据作为参考来评价产品的几何精度成为近年来的研究热点。工业零件大多具有较为规则的形状, 一般可以看作由若干点、线、面组合而成。为此, 设计并实现了一套利用点、线信息进行混合摄影测量, 结合CAD设计数据对工业零件进行高精度三维重建以检测其尺寸制造误差的视觉检测系统[1]。
粗差观测值的存在将会破坏平差系统的稳定性, 甚至导致系统发散。而现有的大部分平差理论如抗差估计等都是在平差阶段进行粗差的剔除, 如何有效地剔除粗差观测值并获得稳定可靠的平差结果一直是研究的重点和难点问题。由于视觉检测所用的观测值是影像上提取的点和直线段等的特征信息, 但是其中存在着数量较大的粗差观测值, 如果处理不当, 这些粗差观测值势必会影响整体平差及视觉检测系统的精度。
基本矩阵和三视张量分别表示两张和三张像片之间的内部投影几何关系, 与场景结构无关, 由摄像机内方位元素和像片间摄像机的相对姿态唯一确定[2]。本文提出采用基本矩阵和三视张量进行点、线粗差观测值的剔除, 在平差前剔除绝大部分粗差观测值, 从而保证平差系统的精度和稳定性。
1 双视几何及基本矩阵的计算
双视几何 (Two-view Geometry) 也称为极线几何 (Epipolar Geometry, 摄影测量中称为核线几何, 为了与下文的三视张量保持一致, 本文均采用计算机视觉界通用的术语) , 是两张像片之间的内部投影几何关系, 它与场景结构无关[2,3,4], 由摄像机内方位元素和两张像片间摄像机的相对姿态唯一确定。该几何关系由基本矩阵F (Found amental Matrix) 来表达。
双视几何实质上是以摄影基线为轴的平面束与像平面的交线构成的几何关系, 而这些交线即为摄影测量界广为人知并已成功地应用到影像匹配中的核线。假设X是三维空间的一个点, 对应的左像点为x, 右像点为x'。如图1所示, 影像点x、x'、空间点X和摄影中心间是共面的, 该面称为外极平面π。显然, 从两个摄站与对应像点发出的两条射线相交于空间点X。假设我们只知道空间点X所对应的左像点x, 则同名右像点x'不必到整个影像上去寻找, 如图2所示, 从左摄站和像点x发出的射线以及摄影基线构成的平面即为外极平面π, 假设外极平面与右像片的交线为l', 由于右片的同名点一定位于外极平面上, 因而它一定位于交线l'上。直线l'称为左像点x对应的外极线, 右像片的同名像点只需有在该直线上进行搜索即可。当然, 由于误差的影响, 实际匹配时一般需选择外极线附近的区域进行一维相关匹配。
基本矩阵是双视几何关系的代数表达。对于任何一对同名点, 它都满足:
F为3×3秩2矩阵, 具有7个自由度, 许多学者对如何稳定地计算进行了深入的研究[2,5]。由F的定义 (1) 式可知, 基本矩阵最少可以通过7对同名点计算。如果同名点超过7对, 则可以通过最小二乘法求解。
需要注意的是F只能在相差一个比例因子的情况下确定, 因而计算时可首先令f33=1, 从而将 (2) 式变为AX=B的形式进行最小二乘求解。如果已知双摄像机的内外方位元素, 则基本矩阵可以直接利用双摄像机的内外方位元素进行计算。
将两个摄像机的投影方程λx=PX改写为:
其中, X为空间点P在世界坐标系下的齐次坐标, x和x'分别为左右像点的齐次坐标, 投影矩阵1P与2P左边的3×3部分记为M1和M2, 右边的3×1部分记为1m和m2, 并定义3×1向量m:
则基本矩阵F可由下式获得:
其中[m×]为向量m的反对称矩阵。
2 三视几何及三视张量的计算
三视张量 (Trifocal Tensor) 在三张像片中扮演与基本矩阵在两张像片中类似的角色[1,2,6], 它包含了三张像片全部的透视几何关系 (即三视几何, Three-view Geometry) , 并且也独立于场景结构, 由摄像机内方位元素及三张像片间摄像机的相对运动唯一确定。
如图3所示, 假设一条空间直线L同时对应于三张像片上的三条像片直线l、l'和l", 则三个解译面必然相交于同一条空间直线——直线L。
由前述可知, 三视张量独立于场景结构, 也即我们可以任意选择物方坐标系, 而且在三个投影矩阵同时乘以一个透视变换矩阵时, 三视张量是不变的。若取用特殊的投影关系, 使第一张像片的投影矩阵为P=[I|0], 并分别记第二和第三张像片的投影矩阵为P'=[A|a4]和P"=[B|b4]。由于三个解译面相交于同一条空间直线L, 则空间直线上的任何一点X都同时位于三个解译面上, 即有
由此可以得出[1]:
上述的三个3×3矩阵即为三视张量的数学定义 (i=1, 2, 3) , 即:
上面讨论了第一个投影矩阵为P=[I|0]时三视张量的计算方法。我们知道, 物方坐标系常常是事先选定的, 因而第一个投影矩阵一般不是P=[I|0]。假设我们已通过某种方法获得三个一般投影矩阵1P, 2P, 3P, 为利用上述的方法计算三视张量, 需要将它们转换为P1'= (I|0) P2'= (A|a) , P3'= (B|b) 的形式。由于三维投影变换矩阵有15个自由度, 而P1只有12个元素, 我们必须选择一个特殊的投影变换矩阵。现取用如下的变换矩阵:
利用矩阵H即可将1P转化为P1'=[I|0]的形式, 即有P1'=P1⋅H成立计算出投影变换矩阵H后, 2P和3P可通过下式进行转换:
则三视张量可利用P1', P2', P3'通过 (7) 式进行计算。事实上, 三视张量并不只对三条直线对应关系进行约束, 还存在点、线、线对应约束;点、线、点对应约束及点、点、点对应约束等, 但大都作为同名特征的搜索条件。
3 实验与分析
视觉检测系统所用的硬件设备如图4所示, 包括一台CCD摄像机、一个水平转盘、一张置于转盘上的平面格网和照明设备, 其中转盘可通过500线/转的步进电机手动控制进行旋转。平面格网可作为摄像机标定的控制场, 也可在视觉检测时提供摄像机的外方位元素初值, 此时待检测工业钣金件置于格网上, 摄像机在转盘旋转的过程中保持固定, 从而获取序列图像。
视觉检测系统所用的格网点空间坐标及零件点设计坐标均为已知, 摄像机参数初值可以通过二维DLT方法获得[1], 则影像匹配时可直接在以初值为中心一定范围的窗口内进行最小二乘模板匹配, 但匹配结果可能会存在较多的粗差观测值。
在计算机视觉界, 基本矩阵一般作为影像匹配的约束条件, 而本文主要利用它判断匹配后的特征是否为确实为同名特征, 并以此进行格网点或零件点粗差观测值的剔除。
同名点通过基本矩阵映射后是一条直线, 理想情况下, 右同名点应该位于左同名点的对应外极线上。事实上由于匹配误差等的影响, 右同名点一般不会位于外极线上, 但也不会离外极线太远, 因而可将右 (左) 同名点到左 (右) 同名点对应外极线的“距离”作为粗差判据。对于同一格网点的所有像片点, 首先进行两两组合, 并根据相应的摄像机参数计算基本矩阵。当距离大于某个阀值时, 将同名点标记为可能的粗差点。循环完毕后, 找出距离最大的点, 并删除该点, 然后再进行下一轮迭代。
如图5所示, 黑色标志为格网点的预测值, 白色标志为匹配值。由于摄像机参数及畸变差等的影响, 第一张图像左上角的格网点产生了误匹配, 其影像点与中间的格网点接近重合, 而其他几张像片上该点的匹配点都正确。利用基本矩阵可成功地将该粗差点剔除, 而且实际图像数据的实验结果表明, 该方法可以剔除90%以上的粗差点观测值[1]。
由于影像噪声等的影响, 直线段的端点往往不能精确定位, 两条像片直线的端点也不是同名点, 端点之间不存在极线约束, 因而基本矩阵虽然可以有效地剔除点特征的粗差, 但无法剔除粗差直线, 而三视张量可通过格网提供的摄像机参数直接计算出, 因此本文将三视张量用于检验匹配后的零件直线是否满足约束条件, 以剔除粗差直线。
对于同一空间直线的所有对应像片直线段, 当像片直线数目大于三条时, 进行三三组合, 并根据相应的摄像机参数计算三视张量。式 (6) 表示第二、三张像片上的直线段经过三视张量映射后在第一张像片上的对应直线, 理想情况下, 该映射直线应该与实际匹配的直线段重合, 但事实上由于匹配误差等的影响, 二者一般不会重合。由于匹配直线段的端点是已知的, 因而本文将端点到映射直线的距离作为粗差判据。对于每一组同名直线段, 当距离大于某个阀值时, 将直线段标记为可能的粗差线段, 循环完毕后, 找出距离最大的直线段并删除, 然后再进行下一轮迭代。
如图6所示, 第一幅图中间的白色直线段本应该匹配到零件的边缘, 由于初值不准确匹配到了格网线上, 从而产生粗差, 但是在其他几张像片上该边缘的直线段都匹配正确, 利用所述的粗差剔除方法可以成功地将该粗差直线段剔除。实际图像数据的实验结果表明, 该方法可以剔除80%以上的粗差线段观测值[1]。
实验表明结果, 利用基本矩阵和三视张量可以在平差前剔除绝大部分粗差观测值, 可以有效地保证点、线混合摄影测量及视觉检测的精度。
4 结语
现有的大部分平差理论都是在平差时进行粗差观测值的探测与剔除, 如何有效地剔除粗差观测值并获得稳定可靠的平差结果一直是研究的重点和难点问题。本文采用基本矩阵和三视约束张量在平差前成功的进行了绝大部分点、线观测值粗差的剔除, 尽可能地减少了整体平差时粗差观测值的数量, 保证了整体平差结果的精度与稳定性。
摘要：论述了基本矩阵及三视张量的几何意义, 推导了简单实用的计算方法, 并提出采用基本矩阵和三视张量在混合摄影测量前进行点、线粗差观测值的剔除。该方法可以在平差前剔除绝大部分粗差观测值, 有效地保证了点、线混合摄影测量及视觉检测的精度。
关键词：多视几何,基本矩阵,三视张量,点、线混合摄影测量,粗差剔除
参考文献
[1] 张永军.基于序列图像的工业钣金件三维重建与视觉检测[D].学位论文, 武汉:武汉大学, 2002.
[2] Richard Hartley and Andrew Zisserman.Multiple View Geometry in Computer Vision.Cambridge University Press, 2000.
[3] 马颂德, 张正友.计算机视觉—计算理论与算法基础[M].北京:科学出版社, 1998.
[4] Camillo Ressl.An Introduction to the Relative Orientation using the Trifocal Tensor.IAPRS, Vol.XXX III, Amsterdam, 200.