视觉伺服范文（精选5篇）
视觉伺服 第1篇
近年来在气动控制技术上特别引人注目的发展趋势之一是实现气,电一体化和气,机一体化。因为气动伺服定位技术一出现,就受到工业界和学术界的高度重视,为气动机器人、气动输送机大规模进入工业自动化领域开辟了十分宽广的前景[1]。视频图像通常由摄像机采集,经过图像处理程序得到目标的特征向量,再将这些特征向量转变为气动推杆的控制量,从而构成一个闭环视觉伺服控制系统。视觉作为人最主要的获取信息的感官,也被认为是机器人最重要的感知能力. 利用视觉传感器得到的图象作为反馈信息,可构造机器人的位置闭环控制,即视觉伺服( Visual Servoing)[2]。本文通过搭建一个气动视觉伺服系统,能够实现对目标的快速跟踪定位,伺服系统的动作时间明显比电动伺服系统更快,满足伺服系统的实时性要求,为后续的果实采摘机器人的直动关节控制研究打下基础。
1 气动视觉伺服定位系统的结构
本文选用FESTO公司生产的伺服定位系统,该系统由24V开关电源、伺服定位控制器CPX-CMAXC1-1、总线节点CPX-FB13、三位五通比例方向控制阀VPWP、传感器接口CASM及标准气缸DNCI等组成。如图1 所示,为使标准气缸能够成功应用于采摘机器人直动关节,搭建以下实验平台用以验证气动伺服定位系统的快速性和准确性。
如图1 所示,USB摄像头固定于气缸推杆顶端,方向与推杆垂直,可随气缸左右水平运动,在摄像头正前方放置一幅垂直气缸移动方向的苹果图片( A3彩印图片) ,通过实时的图像处理计算出目标苹果的中心位置与摄像机成像平面的中心位置之差,将偏差值转变为气缸需要移动位移的控制量,写入控制器,实现摄像头对该苹果的实时定位跟踪。
2 视觉系统
2. 1 图像采集
对目标图像的采集是采摘机器人研究工作的基础,图像采集包括静态图像采集与动态图像采集,静态图像采集作为视觉系统研究的基础,可以确定图像分割适合的颜色空间以及对应的分割策略,还可以验证视觉系统的可行性、实时性等[3]。本文采用的视觉伺服系统为基于图像的视觉伺服系统,如图2 所示。
本文采用CMOS摄像头作为采摘机器人的图像采集设备,通过VFW( Video For Windows) 软件包提供的应用程序编程接口,可以非常方便地实现视频捕捉、编辑及播放等通用功能,满足视觉图像处理的实时性,同时,还可以利用回调函数实现更加复杂的视频应用程序。使用VFW播放不需要专用的硬件,使用者可以直接通过发送消息或者设置相关属性实现视频的处理,还可在不生成中间文件的情形下直接访问视频缓冲区[4]。
2. 2 图像处理
在彩色图像处理技术中,RGB( 红、绿、蓝) 模型是面向硬件的最通用的模型,彩色监视器和绝大多数彩色摄像机均使用该模型; 该颜色系统通过改变红、绿、蓝三基色的数量混合出其他种种颜色。RGB颜色模型直接采用与硬件相同的颜色系统,因此采集的数据不需要经过颜色空间转换即可直接使用,但RGB颜色模型不能提供有效的颜色信息,R、G、B之间存在高度相关性[5],处理颜色分离时容易产生误分离。
本文采用HIS模型,从人的视觉系统出发,直接用色调( Hue) ,饱和度( Saturation) 和亮度( Intensity) 来描述颜色,HIS的彩色空间可以用一个圆锥空间模型来描述,如图3 所示。
经过观察果园果实图片如图4 所示,得知苹果果实与背景存在较大的颜色差异,因此本文选取基于颜色特征的图像分割处理方法。选取色差R-G作为图像分割的颜色特征值,下面就R-G作为图像分割因子对图像的分割效果,如图5 所示。从中可以得出,分割效果均可以满足对果实识别要求,因此,选择简单且快速的方法进行分割,有利于提高图像处理的快速性及实时性。
从R-G分割因子分割后的图片可以看出,所有苹果基本都能与树枝树叶分离出来,不过一些距离较远的苹果我们暂时不需要,因此可以通过获得连通域的中心,计算连通域中像素点到连通域边缘的距离,限制连通域的半径可以将距离较远,图中苹果较小的连通域都去除掉。改进后的分割效果如图6所示。
3 通讯控制
3. 1 PROFIBUS-DP通信
由气动视觉伺服系统的结构框图可以看出现场总线节点用于实现轴控制器与上位机之间的通信。现场总线的通讯状态由PROFIBUS特定的“故障”LED显示。
PROFIBUS是一种具有国际化,开放化以及不依赖生厂商的现场总线标准,它广泛应用于全集成自动化的工业,是目前世界上最成功的现场总线之一[6]。总线的连接是通过一个针脚分布符合PROFIBUS协议( 符合EN 50170 标准) 的9 针Sub-D插座来实现的[7]。通过集成在插头上的DIL开关可使具有主控能力的站点连接到系统上。CPX-FB13 支持符合EN 50170 标准的PROFIBUS-DP协议,可实现同步I/O交换、参数设定以及同步诊断功能( DPV0) 。CPX-FB13 的地址空间为64 字节输入和64 字节输出。图7 为现场总线节点CPX-FB13 示意图。
3. 2 伺服定位控制器
伺服定位控制器,通过FCT( FESTO配置软件)或现场总线完成调试。伺服定位控制器主要通过两组8 个字节的数据来实现对气缸的实时控制,分别是输出数据和输入数据。字节1 和字节2 用来设置控制器工作模式的,本文所使用的工作模式为直接工作模式。字节3 到字节8 由所选择的工作模式决定。要实现对目标的跟踪定位,就要为控制器写入正确的控制字节,只有正确的设置了控制字节,才能使气缸完成跟踪定位。
4 跟踪定位实验
搭建好整个气动视觉伺服系统平台后,需要对通讯卡进行初始化,同时还要利用FCT( FESTO配置工具) 进行配置组态,最后在Visual C ++ 6. 0 软件平台下进行控制实验。让气缸末端摄像头对准目标苹果中心位置,接着水平移动380mm的距离,实验结果为气缸同时跟着移动了380mm左右,完成一次对苹果中心位置的定位,精度完全满足控制要求。将采集到的数据点制作为表格1,如表1 所示。本文希望能够看到气缸移动时的阶跃响应曲线,将采集到的数据拟合成最终的阶跃响应曲线,如图8 所示。
从最终的曲线图可以看出,气缸从位置0 增加到380mm所用时间仅为0. 9s,稳态几乎没有超调,完全满足控制要求。
在上位机中编写的跟踪定位软件客户端可以实时查看到对目标的定位识别图像,如图9 所示,图中红色的十字标识为图像的中心位置,黑色十字标识为识别到的所有苹果中心位置,蓝色十字标识为最大苹果的中心位置。
5 结束语
以上验证了气动视觉伺服控制器的控制精度,速度完全满足实时控制要求,加上快速的图像处理算法,经过改进后的图像处理,处理一帧图像的时间在50ms左右。整个系统能够很好地实现实时跟踪目标,精确定位任务。
摘要：针对以往采摘机器人的电动推杆关节伸缩过程缓慢,文中采用气动伺服控制系统代替原来的电动推杆,提高伺服系统的快速性。视觉系统采用VFW图像采集系统,可以直接访问视频缓冲区,不需要生成中间文件,实时性高。通过单目视觉系统实现气缸对果实中心位置的跟踪控制实验,验证了气动伺服定位系统的快速性和准确性。
关键词：气动伺服,视觉系统,跟踪控制,定位系统
参考文献
[1]黄长艺.机械工程测试技术基础[M].北京:机械工业出版社,1984.
[2]Hill J,Park W T.Real time control of a robot with a mobile camera[C]∥Proc of the 9th International Symposium on Industrial Robots,Washington,DC,USA:SME,1979:233-246.
[3]王勇.棉花收获机器人视觉系统的研究[D].南京:南京农业大学,2007.
[4]张星明.基于VFW视频捕获的运动检测技术[J].计算机工程与设计,2002,23(6):29-31,41.
[5]陶霖密,徐光祐.机器视觉中的颜色问题及应用[J].科学通报,2001,46(3):178-190.
[6]张晓刚.基于PROFIBUS现场总线控制系统的研究与开发[D].杭州:浙江大学,2003.
基于视觉伺服的手部跟踪仿真研究 第2篇
传统的飞行模拟器通常采用与实际座舱外观尺寸一样的实物座舱来进行模拟,训练人员所接触的都是实物界面。虚拟现实技术的发展,提供了一种全新的人机交互方式,它可以借助于一定的设备,使体验者进入到数据空间中,与其中的各种物体交互,由此发展出了基于虚拟现实的飞行模拟器[1,2]。该类模拟器通常采用头盔式显示器(HMD)显示座舱环境和外部视景,同时采用数据手套实现训练人员的手部人机交互如操作按钮、旋钮、手柄等。数据手套虽然可较准确捕捉手部运动,但其价格昂贵,而且通常有侵入感和束缚感,不能提供逼真的力反馈和触觉[3],会影响飞行学员的训练效果。
近年来视频技术快速发展,基于计算机视觉的手部跟踪定位技术逐渐成为一个研究热点,得到更多的应用,其优点在于:基于计算机视觉的非接触式交互不但不会影响触觉的逼真,还能提供令人满意的反馈效果,更符合人的习惯,它使得交互过程更加自然,也充分体现了虚拟现实中“以人为中心”的交互特征,且成本较低,在便利性、性价比等方面为人机交互的方式提供了另外一种更优的选择。
手部的视觉运动跟踪大多是基于固定单摄像头或双目摄像机设计的算法。手具有多关节高自由度的特点,仅仅利用各种图像处理的方法,都会存在自遮挡的问题[4],使得手部姿态重建的效果受到较大的影响。解决这一问题的方法,一种是采用多摄像机的方法,通过多个摄像机不同方向的布置使得视场死区尽量小,得到大部分特征来重构手姿态[5];另一种是采用视觉伺服的方法,增加摄像头的运动自由度来消除自遮挡的影响[6]。传统的主动视觉是采用pan-tilt-zoom的摄像头[7],可在方位和俯仰两个自由度方向进行运动,还可以进行变焦。由于手的运动为六个自由度,所以采用pan-tilt-zoom摄像头并不能很好地消除手部自遮挡。Ste-wart平台是一种并联六自由度机器人系统[8],如果在其末端安装摄像头,将能很好地进行手部运动的跟踪,因此有必要对这种类型的主动视觉手跟踪系统进行深入系统的研究。
本文提出了一种基于视觉伺服的手部运动跟踪技术,为这类座舱操作虚拟现实模拟提供非接触式的手部跟踪定位方法。首先讨论了基于视觉伺服的特征跟踪技术,然后采用近似图像雅克比矩阵和逆动力学方法,设计了基于图像的视觉伺服控制器,最后对手部运动视觉跟踪进行了仿真实验研究。
1 基于视觉伺服的特征跟踪技术
1.1 视觉伺服技术分类
为了使现代工业机器人能胜任一些更加复杂的工作,如焊缝跟踪等,一种名为基于视觉反馈的机器人控制技术引起了机器人专家们的关注。视觉伺服的准确定义[9]是由Hill和Park首先提出的:视觉伺服控制技术是指利用视觉系统作为空间位置传感器,将采集的视觉信息经过图像处理,提取出所需的反馈信息,构成机器人末端的位置闭环的控制技术。该技术涉及研究领域众多,包括有机器人学、图形图像学、计算机视觉、控制理论等。视觉伺服技术在控制和视觉的问题上和主动视觉相当类似,因此常被用于解决一些主动视觉方面的问题。
视觉伺服系统有着多种分类方式[10]。
从视觉系统相对机器人系统的位置,可分为末端开环与末端闭环两种视觉伺服控制方式。前者中视觉系统只能观测到目标物体,即摄像机位于机器人执行器的末端;而后者中视觉系统可同时观测到目标物体与执行器的末端,即摄像机位于机械手工作区,而非执行器上。
根据视觉系统反馈的信号的表示形式,机器人视觉伺服系统通常分为基于位置[11](position-based)的视觉伺服系统和基于图像[12,13](image-based)的视觉伺服系统以及混合视觉伺服系统。前者的视觉信息是一个三维笛卡尔坐标;而后者的视觉信息则是二维图像平面的图像特征。
根据视觉系统的反馈信息能否直接用于控制机器人关节,可分为动态的look-and-move系统与直接视觉伺服(direct visual servo)系统;前者向关节控制器提供关节角的目标位置信息,而由内环的控制器控制末端执行器的运动,而后者是用视觉伺服控制器取代机器人的关节控制器,来直接控制各个关节的运动。事实上,目前视觉系统的图像采集和处理速度较低,无法与关节传感器的高速数据采样频率相匹配,大多的视觉伺服技术的研究还是基于动态的look-and-move方式。
另外,根据执行任务的类型不同,还可以分为定位(fixation)、抓取(grasping)和跟踪(tracking)三种方式。
1.2 基于图像的视觉伺服技术
基于图像的视觉伺服系统的基本结构如图1所示。
目前,视觉伺服系统大多还是采用基于位置的控制方式,该方式在三维的笛卡尔空间中定义任务,比较符合机器人的操作习惯,但需要大量的实时计算,且需要进行精准的手眼标定,否则目标位姿的估计精度不高会严重影响系统的伺服精度[14]。
而基于图像的视觉伺服则是直接在二维的图像平面上进行伺服控制,计算出当前图像特征和期望图像特征之间的图像误差并将其变换到机器人的关节运动空间中,由关节控制器控制关节运动,从而完成伺服任务,此种方式控制精度高,计算延时少,在很大程度上减少了摄像机标定的误差对定位精度的影响[15]。
为了将图像特征参数的变化同机器人位姿变化联系起来,该方法需要计算图像雅克比矩阵(Image Jacobian Matrix)及其逆矩阵。本文主要利用基于图像的视觉伺服技术来研究手部跟踪问题。
1.2.1 图像雅克比矩阵
Sanderson和Weiss等在文献[13]中提出图像雅克比矩阵的概念,用于描述机器人空间的运动与图像特征空间中的运动之间的关系。机器人末端执行器位姿变化率
其中,雅克比矩阵J可表示为:
图像特征变化率
其中,
上式是图像雅克比矩阵的两种表示形式,反映了图像特征变化量与关节角(或空间位姿)变化量之间的关系,这也是当前机器人学界研究基于图像反馈的手眼视觉伺服系统的研究基础。
1.2.2 基于近似图像雅克比矩阵的视觉跟踪
基于图像雅克比矩阵的视觉伺服方法的关键是获得图像雅克比矩阵,计算图像雅克比矩阵的方法主要有在线估计法,经验法和学习方法等。在线估计图像雅克比的方法,无需事先标定,但存在雅克比的初值选择问题;经验法可以通过先验模型知识或标定得到;学习方法主要有神经网络方法和离线示教法等[17]。不管哪种方法,要想精确地计算出图像雅克比矩阵都比较困难。因此,下文介绍一种得到近似图像雅克比矩阵的方法:设表示目标点(xo,yo,zo)是在三维空间坐标系下的坐标,(xc,yc,zc)用于表示其在摄像机坐标系下的坐标,(x,y)用于表示目标点在二维图像平面上的图像坐标,f是摄像机的有效焦距。设T=(Tx,Ty,Tz)T和R=(Rx,Ry,Rz)T分别为摄像机在摄像机坐标系下的平移和旋转向量。目标点在摄像机运动后的摄像机坐标系下的坐标为(x′c,y′c,z′c),图像坐标为(x′,y′)。摄像机的运动引起目标像点坐标的变化,令(u,v)表示图像坐标的变化量。分析摄像机坐标系在不同方向微小运动 (平移/旋转)与像点坐标变化量之间的关系后可以得出方程:
整理得到:
得到近似图像雅克比矩阵为:
可见,视觉定位的任务就是计算出目标点在图像平面上的成像位置与理想成像位置之差,然后求解出摄像机在摄像机坐标系内的运动分量,作为运动控制指令发给机器人控制器,经过多次调整,使得目标点达到理想的成像位置。
得到准确的雅克比矩阵的最大难度在于,很难从二维的图像平面中获取目标的深度信息,目前的主要方法有:使用双目视觉系统,根据立体视觉原理计算出目标的深度信息或者取固定的离线计算好的深度信息。
2 用于手部跟踪的视觉伺服系统的设计
2.1 视觉伺服系统结构
对手部进行主动视觉跟踪,就是以一个可多自由度运动的摄像机对场景图像进行采集,然后将采集到的图像序列作运动检测,将运动的手部与背景和其他可能的运动分割开,抽取手部特征并保持手部在视线正中,利用机器人的末端运动调整摄像机的运动,并实时反馈回监控过程。这一系列图像采集到目标锁定跟踪的过程是动目标识别的第一步,利用从摄像机采集的图像信号分析运动目标的方位和速度,并将这些信息进行处理使其反过来控制摄像机的运动,这就形成了一个视觉反馈环。视觉伺服的理论即将视觉传感器也包含在闭环反馈控制中,如图2所示,建立手部特征的几何模型,应用摄像机与手部特征的相互关系来确定任务函数和跟踪决策。
2.2 手部特征的提取
基于视觉的手势识别方法主要有裸手识别和基于标记的识别两类。前者则具备非侵入式、便捷和自然的优点,是目前研究的趋势。后者主要借助在手背或指尖做特定的标记,便于手部特征的分割与提取。根据识别技术的不同,主要可分为两类:基于二维表观和基于手的三维模型[18]。由于建立三维模型复杂,且计算代价也较高,实际应用中基于二维表观模型的手势识别更广泛。
手部特征提取的难度主要集中在于:选择何种特征作为手部特征,如何从背景中完整准确地提取出光滑的手部轮廓。本文中的手部运动采用在手背上贴彩色标记的方法进行特征提取和视频定位。通过实验分析发现,在手部区域识别中YIQ彩色空间模型优势明显,而HSV模型则更接近人眼对颜色的感知,更适合于用做标记识别处理的基础。对同种颜色属性的物体,H具有比较稳定,且数值变化范围较窄,可以将其作为主识别参数。但有时噪声点的H值也能够满足要求,因此H值不能作为唯一的识别依据,需要进一步限定S饱和值,所以识别的参数还应该包括S。最终确定采用HSV模型作为颜色识别处理基础,并选取其中的参数H和S作为识别处理的判别依据。
同时考虑拍摄角度的不同,选用圆形颜色标记点,利用数字图像区域一阶矩计算圆形颜色标记点的质心,并作为跟踪目标。为计算标记点的质心,首先需要识别出标记点的整体区域。传统方法是逐行扫描图像,识别一种颜色标记点就需要扫描一遍图像,效率不高,为提高算法效率,本文采用区域增长的算法。区域增长法是用于检测连通区域的一种逐点扫描递归算法,该算法由任意点开始,向其周围4邻域(或8邻域)依次搜索,若相邻点的某一特征量满足阈值条件(如颜色、灰度等),就将当前点压入栈,并建立索引序列,将符合阈值条件的相邻点作为当前点继续搜索,如若未达到阈值要求则判断其他相邻点,如若相邻点均不满足阈值条件,则弹出栈顶元素,判断栈顶元素的其他相邻点。重复这一过程,直至找出所有满足阈值条件的连通区域为止,如图3所示。
视觉伺服控制器的核心任务是通过比较当前摄像机中的手部特征与期望手部特征,计算它们之间的误差,并将其反馈作为输入驱动六自由度并联机器人,减小跟踪误差。
本文采用基于图像的基本视觉伺服架构,并考虑了并联机器人动力学特性用于提高控制器的动态性能。
2.3 视觉伺服控制系统的设计
2.3.1 基于图像的视觉伺服系统的基本架构
将机器人作为被控对象,利用运动学逆解的方法由Stewart机器人的目标运动位置反解出各驱动分支的目标位置,向机器人关节控制器输出直角空间或关节空间的位置或速度运动指令,对每个驱动分支进行单独的PID控制,不考虑其动态特性,则依据视觉反馈误差e可建立PID控制律,在大多数情况下,直接根据误差e,进行坐标变换和轨迹规划后送入机器人控制器,这其实就是纯比例控制。
令S为当前的图像特征,S*为目标的图像特征,则有:e(t)=S-S*,
微分后得到:
由
其中,Ls=Le,被称为特征雅克比矩阵。选用比例控制率
2.3.2 考虑并联机器人动态特性的逆动力学控制系统设计
由于未考虑机器人动态特性,Stewart机器人各个关节间的高耦合度导致在驱动分支上的载荷随机器人运动变化幅度较大,再加上由于制造误差、摩擦力及外部扰动等会影响传统PID控制器的控制性能,这就导致该方案在机器人高速运动或复杂运动、存在设计误差或存在外在扰动时控制性能会比较糟糕,从而无法提供理想的视觉伺服性能。因此,考虑并联机器人动态特性的逆动力学控制器设计是很有必要的。
Stewart平台并联机器人可以采用如下的动力学方程表示[19]:
其中
Stewart平台采用PMSM电机和滚珠丝杠机构作为分支驱动杆,分支驱动力F与电机驱动力τm之间的比值由滚珠丝杠的导程pb决定,可表示为:
PMSM电机带有自己的驱动器,内部有自己的电流闭环,所以电机的动力学方程将不再考虑,仅仅考虑电机输入电压Uin和输出力矩τm之间有一个比值:
τm=CUin
所以整个动力学方程可表示为:
根据PID控制率设计跟踪误差动态为:
其中,e=Xref-X,K=⎣KpKIKD」为PID控制器的增益矩阵,
所以,考虑并联机器人动态特性的逆动力学控制器可表示为:
联合视觉伺服控制器和机器人的动力学模型,可以得到:
考虑Stewart机器人动力模型后的控制如图4所示。
3 仿真实验
仿真实验中,Stewart平台采用的模型为文献[19]中所建立的动力学模型,并联机器人的参数如下。
下平台的坐标:
平台向量:
上平台的坐标:
上下连杆的质量:mup=1.025;mdn=1.363;
上下连杆的中心位置:
ru0=[-0.189;0.000;0.000];rd0=[0.017;0.02;0.000]
上下连杆的惯性矩阵:
平台和载荷的质量:M=0.358;
平台的惯性矩阵:
平台的重心位置:R0=[0.03;0;-0.036];
重力加速度向量:g=[0;0;-9.81]
摄像机焦距均为1000mm,摄像机的图像坐标中心点为(256,256),像素尺寸为512×512。视觉伺服的跟踪目标为手部,取手背的上表面的六个点为特征点,初始坐标分别为(0 0 0),(0.25 0.25 0),(-0.25 0.25 0),(-0.25 -0.25 0),(-0.25 0.25 -0.2),(-0.2 -0.2 0.1)。假设手部从初始位置每0.01秒按照固定的旋转和位移量移动一次,三个方向的旋转角度均为0.001rad,三个方向的位移量均为0.001m,化为旋转矩阵即为:
当手部运动时,装置在并联机器人末端的摄像机能平滑跟踪手部的运动,使得手部的特征点能保持在摄像机的视野正中,摄像机与物体的x-y平面平行,z轴重合,方向相反。
实验中选取的控制器参数如下:KP=0.375,KI=0.01,KD=0,初始位置的选择必须保证各个特征点能够在摄像机的成像平面上有真实的成像,雅克比矩阵的深度信息取值为跟踪时需保持的目标距离,并一直保持不变。
从图5-8的仿真结果中可以看出:无论手部如何变换位姿,放置在Stewart机器人末端的摄像机都能够快速地跟踪手部,使得手部的重要特征 保持在摄像机的视野正中,并保持距离不变,且在跟踪过程中,手部的关键部位并未出现自遮挡现象,达到了很好的视觉跟踪效果。
4 结束语
本文研究了基于图像雅克比矩阵的机器人视觉定位问题,采用小移动量近似方法得出了近似图像雅克比矩阵,并基于该矩阵设计了一套逆动力学控制系统,并针对Stewart机器人的运动学模型进行了仿真实验,结果表明该方法能够完成利用主动视觉进行手部跟踪的任务,解决手部跟踪过程中自遮挡的问题。实际上,图像处理,例如计算图像雅克比矩阵、估计深度信息等等,是影响视觉伺服系统性能的主要瓶颈。另外,如果能够精确得到图像雅克比矩阵中的深度信息,该视觉伺服系统的定位精度会有更好的性能。
视觉伺服 第3篇
关键词：模糊控制,控制规则,视觉伺服
1 引言
机器人视觉伺服系统是一个多输入多输出的非线性系统,具有时变性、强耦合和非线性的动力学特性,用传统的控制方法难以有效的控制[1][3]。模糊控制则是根据操作人员操作经验,不依赖对象的数学模型,具有较强的鲁棒性,对被控对象参数的变化不敏感,能够克服非线性、时变、耦合等因素的影响。将模糊PID控制用于机器人的视觉伺服控制,利用模糊控制的优点来提高机器人视觉伺服系统的性能。
PID参数模糊自整定是找出PID中3个参数与e和ec之间的模糊关系,在运行中通过不断检测e和ec,根据模糊控制原理来对3个参数进行在线修改,以满足不同e和ec时对控制参数的不同要求,从而使被控对象有良好的动态性能和稳态性能。
在基于位置的视觉伺服控制中,图象特征被提取出来和目标的几何模型一起用来估计目标相对于摄像机的位姿,一旦目标的位置被确定,就可以通过求解逆运动学问题,得出关节角,输送给传统的具有关节位置和速度指令接口的机器人。图3给出了一个坐标示意图[2]。图中基坐标系被定义世界坐标系w,为不失一般性,目标轨迹定义在基坐标系下的xy平面,其位置可以表示为wPo。摄像机坐标系位于基坐标系的wp c处,其关于基坐标系的旋转矩阵为wRc。
首先,可以由摄像机的针孔模型的逆变换求出目标在摄像机坐标系下位置:
然后,可以通过摄像机坐标系相对于机器人基坐标系的齐次变换得到目标在机器人基坐标系下的位置:
3 模糊自整定PID控制器设计
PID参数的整定必须考虑在不同时刻3个参数的作用以及相互之间的互联关系。模糊自整定PID是在PID算法的基础上,通过计算当前系统误差e和误差变化ec,利用模糊规则进行模糊推理,进行参数调整。
3.1 模糊化
将系统误差e和误差变化率ec变化范围定义为模糊集上的论域:
误差e:[-3,3]
误差变化率ec:[-3,3]
比例系数Kp:[-0.3 0.3]
积分系数Ki:[-0.06,0.06]
微分系数Kd:[-3,3]
其模糊子集为e,ec={NB,NM,NS,Z,PS,PM,PB},子集中元素分别代表负大,负中,负小,零,正小,正中,正大。按如上模糊化定义,比例、积分、微分系数需加附加增益100。
3.2 规则库
根据已定义的输入输出模糊语言变量,所有的可能控制规则都要考虑到,并给出最佳动作。表1是针对Kp参数自整定的控制规则表。在此不一一列举KI、KD参数的模糊规则表了。
4 机器人定点控制和轨迹跟踪仿真
本文以二自由度机器人视觉伺服系统为研究对象,仿真配置及参数选定如下:
手眼配置采取eye-in-hand方式,摄像机与机械手末端相对位姿为单位阵,即认为机械手末端坐标系与摄像机坐标系重合,摄像机的光轴垂直于工作表面。摄像机系统参数:f=0.008m,x轴和y轴方向的分辨率均为80000pixels/m。采样周期为0.05s,图像特征为点特征。
二连杆机器人的杆长分别为0.45m和0.55m,初始位置为(0,pi/2)。目标在工作平面的运动轨迹为直线和圆周。
图5为该二连杆机器人跟踪直线轨迹的仿真结果,其中红色直线为目标运动轨迹,绿色的为二连杆机器人跟踪的曲线,初始的偏差比较大,但是经过2s左右的时间,便很快以较小的误差跟踪上了目标的运动轨迹。
图6是二连杆机器人跟踪目标圆周运动的轨迹,其中红色的目标运动轨迹,蓝色的为二连杆机器人跟踪圆周运动的轨迹,从图中可以看出经过10个周期就已经能较好的跟踪上目标运动轨迹了。
5 结束语
通过二连杆的定点控制、直线轨迹跟踪和圆周轨迹跟踪的控制效果,都可以看出该模糊控制的优越性能。但还存在一定的误差,主要有以下几个原因:
1.机器人臂连杆的具有一定的重力影响,这个影响在控制系统中不可能完全消除。
2.在转动的过程中,受外力影响实际的转速小于理论值。
3.由于参数的设定与理想值有一定的差距,使系统在开始阶段有一定震荡。
参考文献
[1]李士勇.模糊控制,神经网络和智能控制论[M].哈尔滨:哈尔滨工业大学出版社,1996.
[2]周远清,张再兴.智能机器人系统[M].北京:清华大学出版社,1989.
视觉伺服 第4篇
关键词：立体视觉,视觉伺服,运动估计,弯道控制
0 引言
智能车环境感知系统的一个重要任务就是实时地提供车辆在行使过程中的位置信息。机器视觉因其有信号探测范围宽、获取信息完整、符合人类认知习惯、维护成本低、不产生环境污染等多优点, 已在智能车环境感知系统中广泛采用[1⁃3]。机器视觉车辆环境感知系统中的主要任务是完成道路及目标的识别和跟踪, 为智能车行使提供必须的本车位置信息和周围环境距离信息。
对于现实情况下的道路, 一般可以将其分为两大类, 即:结构化道路和非结构化道路。结构化道路上有明显的道路标记, 且这些标记具有较强的几何特征, 道路路面主要是由这些标记界分确定的, 如高速公路上道路中间黄色的连续标志线或白色的间断标志线以及两旁白色的连续标志线;非结构化道路上没有明显的道路标记, 在二维图像中道路路面与非路面主要依靠纹理与色彩而区分的, 如没有标记的水泥路、野外土路或石板路等[4]。
弯道图像包含丰富的道路信息和环境信息, 解释了道路周围场景。弯道检测是从道路图像中检测出弯曲车道线的边界, 这也是对弯道理解的基础[5]。建立弯道模型;提取车道线像素点;拟合车道线模型属于目前较常采用的认知方法, 并在特定的结构化道路体现出较好的检测效果。文献[6]介绍了弯道检测在车道偏离预警、弯道限速以及弯道防碰撞预警等领域的应用情况, 并提出了弯道检测应该建立三维车道线模型, 提高适用性。文献[5⁃6]均采用的Hough变换求出车道线直线方程, 从而确定对应直线段上的最低点和最高点, 然后根据相应准则判断曲线道路的弯曲方向, 最后分段拟合车道线的直线段和曲线段实现车道线的二维重建。
弯道检测不仅需要识别出道路边界线, 还需要判断道路弯曲方向, 确定转弯的曲率半径。常用的车道检测方法可分为2大类:基于道路特征[7]和基于道路模型[8]的方法。目前国外主要常用基于道路模型的方法, 即将弯道检测转化为各种曲线模型中数学参数的求解问题。省略弯道曲线模型建立和数学参数的复杂求解过程, 本文采用立体视觉感知环境的三维信息, 利用它的视差原理对所获取室内道路周边环境图像中角点特征的位置恢复其三维信息来判断车体的弯道转向和偏航角度。建立了视觉信息直接控制车体驱动偏离角与偏离距离视觉伺服控制系统, 初步采用了BP控制策略, 利用Simulink仿真环境实现了针对未知弯道曲率的智能车转弯控制运动。
1 室内道路环境信息的视觉感知
1.1 立体视觉系统模型
采用针孔成像模型将图像中任何点的投影位置与实际点的物理位置建立连线关系, 摄像机光心O与空间P点间的连线OP与图像平面的交点即为图像投影的位置 (u, v) 。用齐次坐标和矩阵表示上述透视投影关系为:
式中:s为以比例因子;p为透视投影矩阵。
本文采用的双目平行相机的模型如图1所示, C1与C2摄像机的焦距相等, 各内部参数也相等, 而且两个相机的光轴互相平行, x轴互相重合, y轴互相平行, 因此, 将第一个摄像机沿x轴平移一段距离b后与第二个摄像机完全重合。假设C1坐标系为O1x1y1z1, C2坐标系为O2x2y2z2, 则在上述摄像机配置下, 若任何空间点P的坐标在C1坐标系下为 (x1, y1, z1) , 在C2坐标系下为 (x1-b, y1, z1) 。由中心摄影的比例关系可得:
其中 (u1, v1) , (u2, v2) 分别为P1与P2的图像坐标。由P1与P2的图像坐标 (u2, v2) , (u2, v2) 可求出空间点P的三维坐标 (x1, y1, z1) 。
1.2 室内环境特征向量的提取与匹配
由于噪声、光照变化、遮挡和透视畸变等因素的影响, 空间同一点投影到两个摄像机的图像平面上形成的对应点的特性可能不同, 对在一幅图像中的一个特征点或者一小块子图像, 在另一幅图像中可能存在好几个相似的候选匹配。因此需要另外的信息或者约束作为辅助判据, 以便能得到惟一准确的匹配。最近邻法是一种有效的为每个特征点寻找匹配点的方法。最近邻点被定义为与特征点的不变描述子向量之间的欧氏距离最短的点[9]。
假定参考图像P的SIFT特征点集合为:FP={FP (1) , FP (2) , ⋯, FP (m) }, m为图像P的特征点的个数;待匹配图像Q的特征点的个数为N, SIFT特征点集合为FQ={FQ (1) , FQ (2) , ⋯, FQ (m) }。当在建立参考图像中的特征点和待匹配图像的特征筛选对应匹配关系时, 应按照图2所示的算法进行对称性测试, 只有当两个匹配集中的对应点完全一致时, 才视为有效匹配。
SIFT特征向量生成后, 利用特征点向量的欧式距离来作为两幅图像中特征点的相似性判定度量。最近邻法是一种有效的为每个特征点寻找匹配点的方法。最近邻点被定义为与特征点的不变描述子向量之间的欧氏距离最短的点。对特征点集合FP中的每个点, 逐一计算其与特征点集合FQ中每个点的距离, 得到特征点之间的距离集合D。将距离集合D中的元素进行排序, 得到最近邻距离dmin和次近邻距离dn-nim。SIFT算法通过判断最近邻和次近邻距离的比值:
来区分正确匹配对和错误匹配对。
对于正确的匹配对, 其最近邻距离dmin要远远小于次近邻距离dn-nim, 即Distance Ratio≪1;而错误的匹配对, 由于特征空间的维数很高, 其最近邻距离dmin与次近邻距离dn-nim差距不大, 即Distance Ratio≈1。所以可取一个距离比阈值Threh∈ (0, 1) 来区分正确匹配对和错误匹配对。
1.3 运动估计
进行特征点立体匹配和跟踪匹配如图2所示, 对当前时刻t获得图像对 (Img L1和Img L2) 进行SIFT特征匹配之后获得道路环境匹配特征点Ni个, 再对相邻时刻t+1获得的Ni+1个特征点计算欧式距离, 寻找t与t+1时刻获取图像中相同的特征点, 得到一系列匹配点在车体运动前后的三维坐标。
本文实验环境是在室内, 在假定室内环境为理想的水平面的基础上, 同一特征点三维坐标中y坐标保持基本不变, 即车体运动参数仅在x⁃z坐标平面内发生变化。
图3中点P (x1, y1, z1) 为所提取环境特征点, 在t时刻立体匹配后得到其在摄像头坐标系下的三维坐标, 由于摄像头固定安装在小车上, 因此通过坐标系的旋转与平移变换可将点P的三维坐标转换到小车坐标系∑Bt下表示。同理, t+1时刻所获取的图像中相同点P的 (u, v) 二维坐标发生变化, 经坐标转换后可得到小车坐标系∑Bt+1下表示。
小车t时刻位于位置A时, 特征点P在坐标系∑Bt为参考位置的三维坐标是[x1, y1, z1]T, 当经过t+1时刻后移动到空间位置B时, 同一特征点P在以B为参考位置的三维坐标为[xt+1, yt+1, zt+1]T, 所以得到:
继续将上式进行简化:
将两个方程相加得到如下:
当这些位置满足3个及以上相同的匹配特征点时, 小车所在坐标系间的平移与旋转向量就可以通过以上方程获得。
2 车体的转弯控制
2.1 车体定位参数计算
环境特征点投影到车体坐标系下表示后, 即为所有的环境坐标均统一在世界坐标系下的表示。如图4所示, 其中小车前进方向为zw轴, xw水平垂直于zw, 方向向右, 其交点为原点Ow。直线为lmid为道路中间线, lmid与zw的夹角为φ, 即为车辆的偏航角。点Ow到左车道线lL的距离为DL, 到右车道线lR的距离为DR, 可行驶区域的道路宽度为w=DL+DR。
2.2 弯道控制策略
2.2.1 控制策略
机器人的底层运动控制是非常重要的一个环节, 机器人运动控制的好坏直接决定了能否有效执行决策意图, 准确无误地沿着预定轨迹行进, 完成导航任务。传统的定位控制中, PI、PID是广泛采用的控制方法, 这些方法比较成熟, 但却具有一定的局限性。对被控系统的参数变化比较敏感, 难以克服系统中非线性因素的影响。本文采用BP神经网络控制器在行使过程中经学习对网络进行训练, 以适应当前的环境路况来调整车的左右轮速控制量。智能车左右轮速的大小, 和车体偏离道路中间线lmid的距离d和车运动时方向偏离中间线的角度φ有关。小车控制输入为d, φ, 输出为VL, VR。
基于双目立体视觉获取得到的三维信息, 即为经左右图像SIFT特征点匹配, 在摄像头坐标系中获取前景环境中各关键点的坐标信息。选取关键点中与机器人基坐标系原点高度靠近的点, 并且该点的个数需大于3, 之后, 采用最小二乘法拟合可得行驶区域的边界直线, 即确定了车体定位参数中左、右车道线lL、lR。直线与图像右边界存在交点, 即可判断出弯道转向。同时, 拟合确定的左车道线与图像下边缘的交点Pl0为第一个控制点;以图像右边界与拟合直线的交点处为第二个控制点Pln。图5表示为前景环境中对特征点的匹配结果图和判断可行驶区域。
对序列图像进行实时处理时, 由于摄像机采集系统速度为30帧/s, 车速在不超过33 cm/s的情况下, 采集一帧图像智能车向前行驶约小于1 cm, 连续采集的两帧图像中所判断的车道左右车道线和弯道方向偏差不会太大。
2.2.2 控制仿真实验
实验采用BP神经网络作为控制对偏离角φ进行仿真实验。在Simulink环境下搭建的系统模型中BP神经网络的搭建如图6所示。U为经由视觉信息得到的偏航角φ作为系统输入量, 输出Y为小车质心速度V。小车左、右轮速可在判断弯道转向的前提下, 由两轮速差VD经计算得出。若如图5所示, 弯道转向向右:
利用Simulink库中Signal Builder产生变化的Signal仿真实际环境中视觉系统得到的当前车体的偏移量。小车经左右轮差速转弯运动中质心位置实际偏转角度作为网络的输入, 经训练学习反馈回系统的控制输入端。图7为控制仿真结果图, 由图示可知该方法基本完成了对信号的控制跟踪, 由此说明了利用双目立体视觉所获得的信息, 并采用BP网络自学习对道路的变化可适用于不同弯道的道路, 避免了传统PID控制方法因弯道曲率变化使得小车转弯控制失败。
3 结论
借助机器视觉系统判断小车可行驶区域, 同时还可清晰地判断出弯曲线路的走向, 避免了弯道方向的复杂判别方法, 且该方法普遍适用于不同的道路环境, 特别是非结构化的道路环境, 也增强了算法的实用性和鲁棒性。但目前对双目摄像机进行精确匹配和标定仍然是个技术难题;神经网络训练方法在选取训练样本数据和精确定位车辆位置方面也比较困难, 这将是进一步研究的主要关键问题。
参考文献
[1]刘俊承, 王淼鑫, 彭一准.一种基于视觉信息的自主搬运机器人[J].科学技术与工程, 2007, 7 (3) :314-319.
[2]董吉文, 杨森, 鲁守银.基于单目视觉的移动机器人导航方法[J].山东大学学报:理学版, 2008, 43 (11) :1-5.
[3]杨森, 董吉文, 鲁守银.变电站设备巡检机器人视觉导航方法[J].电网技术, 2009, 33 (5) :11-13.
[4]张莹.视觉导航系统中道路检测算法的研究[D].长春:长春理工大学, 2007.
[5]郭烈, 黄晓慧, 刘宝印, 等.基于道路模型的弯道检测研究与应用[J].交通信息与安全, 2012 (3) :114-116.
[6]杨喜宁, 段建民.基于改进Hough变换的车道线检测技术[J].计算机测量与控制, 2010, 18 (2) :292-294.
[7]CHIU K Y, LIN S F.Lane detection using color based segmen tation[C]//Proceedings of IEEE Intelligent Vehicles Sympo sium.LasVegas, Nevada, USA:IEEE, 2005:706-711.
[8]WANG Y, SHEN D G, TEOH E K.Lane detection using Cat mull Rom spline[C]//Proceedings of the-1998 IEEE Interna tional Conference on Intelligent Vehicles.Piscataway, NJ, USA:IEEE, 1998:51-57.
[9]戚世贵, 戚素娟.基于特征点的最近邻配准算法[J].许昌学院学报, 2008, 27 (2) :67-71.
视觉伺服 第5篇
关键词：机器人视觉伺服系统,单应性矩阵,图像雅克比矩阵,摄像机针孔模型
0 引言
近年来,机器人系统为智能控制、人工神经网络、现代控制理论的发展提供了重要的空间,特别是引入视觉信息后,在很大程度上扩大了机器人的应用范围并提高了其灵活性。机器人视觉伺服在未来机器人发展方向中具有广阔的应用前景。机器人视觉伺服是指通过光学的装置和非接触的传感器自动地接收和处理目标物体图像,通过图像反馈的信息让机器人对目标物体做进一步控制或相应的自适应调整的行为。视觉信息不仅包含了极其丰富的信息量,而且能够实现非接触地感知周边环境,在机器人的视觉伺服、海洋开发、国防军事以及航空器等应用领域具有重大的研究意义。机器人视觉伺服系统有很多种不同的分类方法,根据反馈信息不同可分为:基于图像的视觉伺服控制(IBVS)、基于位置的视觉伺服控制(PBVS)以及基于位置和图像的混合视觉伺服控制(HVS)[1],等等。
基于图像的视觉伺服控制,其控制误差定义在图像空间中,避开了机器人的位姿估计,有效地克服了计算延迟,忽略了摄像机定标模型点估计误差,具有较强的稳定性[2,3]。因此,本研究采用基于图像的视觉伺服控制系统,该系统采用双闭环结构,其中外环为机器人视觉伺服控制,控制机械臂关节角的设定;内环为机器人关节伺服控制,对机械臂末端执行器进行轨迹跟踪;该系统将从图像中提取的视觉信息特征作为反馈环节,对机械臂末端执行器进行位姿闭环控制[4]。
然而,基于图像的视觉伺服控制系统需要实时估算图像雅可比矩阵(表示图像特征与机械手位姿变换关系的矩阵),并计算其逆矩阵;而且,图像雅克比矩阵方法在视觉伺服过程中需要对目标深度信息进行估计,还可能会出现奇异点及其他局部线性化缺陷等等,解决这些问题具有很大的难度。
在基于图像的控制方式的前提下,本研究设计一种基于单应性矩阵的视觉控制器,在Matlab/Simulink环境下建立系统仿真模型,并完成机械手末端执行器对目标物体的定位仿真试验。
1 视觉控制器的构建
1.1 单应性矩阵的原理
本研究构建的摄像机几何成像图如图1所示,称为摄像机针孔模型[5,6,7,8],P为空间平面S上的一点,C,C*分别是当前位置和期望位置的摄像机坐标系,Lp,Lp′是采用物理单位(如:mm)表示的成像平面坐标系,L,L′是采用像素单位表示的图像坐标系。设点P在C中的坐标为Γ=[XCYCZC],在Lp中的齐次坐标为p=[x y 1],在L中的像素坐标为x=[u v 1],用Γ*,p*,x*表示当摄像机到达期望位置时点P在各期望坐标系中的坐标。
设空间中平面S的方程为:
式中:d—摄像机光心O到平面S的距离,n—平面S的单位法向量。
令R,t分别表示摄像机坐标系C,C*之间的旋转和平移矩阵,则Γ*,Γ有如下关系式:
根据摄像机成像原理可以知道:
式中:K—摄像机的内部参数矩阵,;λ—摄像机焦距。
由式(1~4)可得:
令:
则式(7)等价为:
式中:σ—一未定的比例常数,H—一个3×3的矩阵,称为两幅图像平面之间的单应性矩阵。
由式(5~8)可得到如下关系式:
其中:M=KHK-1,并且也是一个3×3的矩阵,称为两幅图像平面之间的映射单应性矩阵,为了求取M,需要知道图像平面上的4个点,求解方法如下:
令,m33=1,取特征点(u1,v1),可以得到以下关系式:
将式(12)分别乘以u1*、v1*后,代入式(10)和式(11)中,可得:
运用同样方法可求得u2*、v2*、u3*、v3*、u4*、v4*的表达式如下:
写成矩阵的形式为:
根据式(17)可求出M,再由关系式:
可求出H为:
通过对单应性矩阵H进行奇异值分解就可以得到表示两幅图像平面之间变换关系的旋转矩阵R和平移矩阵t。
1.2 单应性矩阵的奇异值分解
本研究求出了单应性矩阵H=R+tnT/d,对其进行奇异值分解[9]:
式中:Σ—m×n对角矩阵,U—m阶正交矩阵,V—n阶正交矩阵,称对角矩阵Σ的元素σi为H的奇异值。
根据定义知道,设HTH的特征值为d1 d2 d3>0,则(i=1,2,3)。式(20)也可以表示为:
其中,R,t,n和R′,t′,n′之间的对应关系为:
本研究把n′表示为n′=x1e1+x2e2+x3e3(e1,e2,e3为标准正交基),根据式(22)可得到3个方程:
略去t′,可得:
其中,i=1,2,3,i≠j,因为R′具有向量范数的性质,由式(24)可得到:
该线性方程组可以把x12,x22,x32作为未知数,若使其有非零解,则需满足:
根据单应性矩阵H的奇异值σ1,σ2,σ3之间的关系,作如下考虑:
(1)d1≠d2≠d3且d′=±d2;
(2)d1=d2≠d3或者d1≠d2=d3,且d′=±d2;因为d1=d2与d2=d3是对称的,这里只考虑一种情况即可;
(3)d1=d2=d3且d′=±d2。
如果d1≠d3,可从式(25)中解得x1,x2,x3为:
根据实际情况,摄像机到物体的距离均是大于零的,而且目标物体的特征点都要在摄像机的视场范围内,据此对应以上3种情况:
(1)根据式(23)可得:
式中:R′—绕e2轴的旋转矩阵。
所以可求出矩阵R′为:
根据式(24,27)可得:
将式(29)代入式(23),可得:
(2)此时,x1=x2=0且x3=±1。因此有:
{R′=It′=(d3-d1)n′(31)
(3)此时x1,x2,x3均为0,可以不予考虑,根据式(23,24)得:
在摄像机能够到达的视场范围内,要满足nTP(i)>0,依据以上这些条件,只有两组合适的解。
上面求出了两摄像机之间的旋转矩阵R和平移向量t,本研究把它们变换到机器人坐标空间,从R中提取回转角ϕ、俯仰角θ和偏转角φ,由这3个参数组成向量Φ=[φ,θ,ϕ]T,定义Ω=[wx,wy,wz]T为摄像机的角速度,则有关系式:
其中:
由此得到角速度Ω,再由T=[Tx,Ty,Tz]T=t可求出摄像机的平移速度,从而得到控制量u=k[Tx,Ty,Tz,wx,wy,wz]T(k为增益系数),将u作为机器人控制器的输入,以实现机器人的视觉伺服控制。
2 基于图像的视觉伺服系统仿真
2.1 摄像机针孔成像模型
本研究采用的线性摄像机模型如图2所示。在摄像机坐标系中,O点为摄像机的光心,Z轴与成像平面坐标系垂直,称为摄像机的光轴,OW(XW,YW,ZW)为世界坐标系,用来描述空间中目标物体的位置[10]。
它们之间的关系用矩阵方程描述如下:
式中:αx,αy—u轴和v轴上的尺度因子,或称为u轴和v轴上的归一化焦距,αx=f/d X,αy=f/d Y,αx,αy,u0,v0只与摄像机内部参数有关;P1—摄像机内部参数矩阵;P2—摄像机外部参数矩阵,P2中的旋转矩阵和平移矩阵由摄像机相对于世界坐标系的方位决定;P—3×3的矩阵,称作投影矩阵。
确定某一摄像机的内外参数的过程称为摄像机标定,其作用是将二维图像坐标变换到三维空间坐标。
2.2 仿真模型的构建
本研究利用Matlab/Simulink仿真软件并结合机器人工具箱[11](Robotics Toolbox for Matlab)中提供的PU-MA560机器人仿真实例,采用基于单应性矩阵的视觉控制器构建的仿真模型如图3所示。
当机械臂末端执行器(摄像机)到达期望位置时目标特征点在图像上的理想特征称为期望输入,笔者根据理想的图像特征与当前目标物体在像平面的图像特征之差计算出误差信号,通过误差信号可以反映出目标特征点的运动情况。为了方便抓取与控制,研究者通常选取特征点、线、圆、图像矩等作为目标物体的图像特征。试验中取一长方体表面上的4个角点作为特征点。
定义图像特征误差e为:
式中:f—图像特征点的当前向量,freq—图像特征点的期望向量。
模型中,uv=camera(p,C,T)模块的功能是将目标物体特征点由三维世界坐标变换到相应的二维图像特征矢量坐标。
3 仿真试验及结果
本研究构建的PUMA560机器人与摄像机结构模型如图4所示。目标物体上4个特征点的初始空间坐标(单位:m)分别为:(2.01,0.32,0.21),(2.01,0.32,-0.21),(2.01,-0.32,-0.21),(2.01,-0.32,0.21),变换成图像特征矢量坐标之后表示为:(166,380),(336,382),(340,128),(170,128)。
仿真过程中采用的手眼摄像机参数如下:镜头的焦距为8.20 mm,像素为512×512,感光阵列为6.4 mm×6.4 mm,则每个像素对应的图像尺寸为px=py=6.4/512=0.012 5 mm。在图像坐标系中,本研究设定成像平面坐标系的原点坐标为u0=v0=256。另外,期望位置的图像特征矢量坐标为:(256,408),(456,408),(456,108),(256,108)。
摄像机移动过程中,在图像平面上目标特征点u,v的运动轨迹如图5所示。其中“*”代表初始位置,“+”代表最终位置,“○”代表期望位置。由结果可以看出,图像特征点从最初位置最终移动到期望位置。
图像特征点的误差变化曲线如图6所示。
4种不同的线形代表了目标物体表面4个特征点,由此可以看出,图像特征点的误差最终收敛于零,收敛效果较好。机械臂末端执行器从初始位置运动到了期望位置。
4 结束语
采用基于图像的视觉伺服控制系统,本研究设计了一种基于单应性矩阵的视觉控制器,运用机器人工具箱并结合Matlab/Simulink仿真软件,构建了基于图像的视觉伺服系统仿真模型,并进行了仿真实验。
研究结果表明,该方法避开了图像雅克比矩阵方法中目标深度信息求取的问题,较好地完成了机器人的抓取实验,并为解决图像雅克比矩阵方法中存在的局部线性化缺陷等问题提供了很好的借鉴依据。但在实际系统中由于受到环境噪声及处理延时等因素的影响,可能会使得该视觉系统图像特征点的误差扩大,进而影响整个系统的控制精度和控制效果,因此该方法还需做进一步的完善。
参考文献
[1]宗晓萍,淮小利,王培光,等.基于图像的PUMA560机器人视觉伺服系统仿真[J].机床与液压,2007,35(10):161-164,154.
[2]王其磊,杨逢瑜,关红艳,等.基于图像的PUMA560机器人视觉伺服控制分析[J].兰州理工大学学报:自然科学版,2009,35(1):90-93.
[3]CHESI G,VICINO A.Visual servoing for large camera dis placements[J].IEEE Transaction on Robotics and Au tomation,2004,20(8):724-735.
[4]淮小利.机器人视觉伺服控制研究[D].保定:河北大学电信学院,2008:38-43.
[5]BENHIMANE S,MALIS E.Homography-based2D Visual Servoing[C]//Proceedings of2006IEEE International Con ference on Robotics and Automation,2006:84-88.
[6]YANG Xing-fang,HUANG Yu-mei,GAO Feng.A Simple Camera Calibration Method Based on Sub-pixel Comer Ex traction of the Chessboard Image[C]//IEEE International Conference.[s.l.]:[s.n.],2010:688-692.
[7]MALIS F E.21/2D Visual Servoing:a Possible Solution to Improve Image-based and Position-based Visual Servoing[C]//Proceeding of IEEE International Conference on Ro botics and Automation.[s.l.]:[s.n.],2000:630-635.
[8]刘嵩,叶玉堂,孙强,等.基于单应性矩阵的棋盘格角点检测研究[J].电子设计工程,2012,20(6):114-117.
[9]MALLS B.Homography-based2D Visual Servoing[C]//Pro ceedings of the2006IEEE International Conference on Ro botics and Automation Orlando,Florida:[s.n.],2006.
[10]PARKI W,KIMJ Y,CHOB K.Control hardware integration of a biped humanoid robot with an android head[J].Ro botics and Autonomous Systems,2008,56(1):95-103.