双目立体视觉测量仿真系统开发

徐豪杰，张丽艳

(南京航空航天大学机电学院，江苏 南京 210016)

传统双目立体视觉测量设备由于采用手动调整的方式，导致测量效率低、数据冗余较多，因此产生了以工业机器人作为运动载体的自动化测量单元。通过计算机控制多自由度机器人调整姿态以改变测量位置，能够大大提高批量检测的效率和生产自动化程度。然而，由于被测物体外形的不同和设备成像范围的限制，测量机处于什么位置和姿态时能获得较好的测量数据，需要多少次测量可以获得被测物体的完整外形，这些问题仍有待深入研究。

关于测量位置规划(也称“视点规划”)[1]的研究，按照是否借助于被测物数模，可以分为不基于模型和基于模型的方法两类。不基于模型的方法通常借助于前一次测量所获取的信息来寻找下一个最佳测量位置 (Next Best View)[2－3]。基于模型的方法又可以分为产生－测试法[4]、综合法[5]等。上述方法均能得到量化的视点位置，但没有直观可视的效果，而且往往计算过程复杂费时。一种解决办法是通过虚拟现实技术对测量场景进行仿真，如State等人[6]为远程外科手术开发的仿真系统，可以直接将测量设备的可视区域投影在被测模型上。这种方法计算量小，效果直观可见，但只能显示，而不能记录每次相机视场覆盖的目标区域，无法用于测量规划和对多次测量结果的综合仿真。因此探索一种能够模拟并直观显示测量设备在给定视点下的可测区域，记录每次相机视场覆盖的目标区域，通过动态仿真实现产品外形检测之前的测量位置的离线规划方法，从而让用户对测量现场的布局、设备运动干涉等情况有一个全局的掌握，就显得非常重要。

1 系统概述

本文以双目立体点云测量设备和工业机器人构成的测量单元为对象，设计并开发了一款测量仿真系统，简称SPI(Sensor Planning for Inspection)。SPI系统以1台ATOSII－400双目立体视觉测量机和1台KUKA KR150－2工业机器人组成的测量单元为蓝本，以VC++为开发平台，借助OpenGL图形库实现三维模型的显示、仿真测量结果显示和机器人动画仿真。

系统界面主要包括工具栏、功能区、3D模型显示区等，如图1所示。

图1 系统界面一览

3D模型显示区可以显示包括机器人、安装在机器人末端的测量机、被测物等在内的整个测量场景的三维模型，显示机器人动画和仿真测量效果。功能区包括3个子页面，模型页面显示了三维模型的名称、类型等基本信息;显示页面可以实现模型包围盒的显示或隐藏，改变模型表面的颜色或材质等;机器人页面可以实现机器人姿态的量化调整。工具栏提供了一系列快捷按钮，视图操作按钮可以实现场景平移、旋转、缩放等功能;测量操作按钮可以控制测量机模型对被测物模型进行仿真测量。

2 主要功能模块

SPI系统主要包含5个模块:输入输出、三维图形、用户界面、测量仿真和机器人仿真，组织结构如图2所示。其中三维图形模块是整个系统的基础。系统的两大主要功能——测量仿真和机器人仿真分别在独立的模块中运行。

图2 各模块结构示意图

2.1 测量仿真模块

测量仿真模块是SPI的核心功能模块，负责对双目立体视觉测量机成像过程的模拟。

双目立体视觉测量机由2个面阵式图像传感器及系统软件组成。面阵式图像传感器是由镜头、CCD等元件组成的光学系统。物体反射的光线透过镜头投射在感光元件上，物体的影像就被捕捉下来。每个相机都有一定的可视区域范围，由相机参数决定。特定相对位置下，被测物体上哪些部分能够在相机中成像是测量仿真的关键。而双目立体测量是利用左右两个相机获取2幅图像，然后根据立体视差恢复物体的三维轮廓。

根据这一原理，在测量仿真模块中建立并维护2个相机的内外参数，通过成像约束算法模拟相机在特定视角下的可测区域。当用户点击测量按钮后，算法计算出两相机可测区域的交集，直观效果图如图3(a)所示。

2.2 机器人仿真模块

机器人仿真模块是系统的另一大功能模块，负责实现机器人运动学仿真及动画显示，并且具备碰撞检测功能。

6自由度工业机器人由7根杆、6个旋转关节串联而成。控制机器人使其末端到达想要的位姿有2种途径:一种是输入机器人各关节转角，分别使各杆运动;另一种是直接输入末端的位置和姿态参数。这2种方式在机器人运动学上分别对应于正解和逆解。本文采用 Denavit－Hartenberg方法[7－8]实现机器人运动学正解和逆解2种解算方式，通过OpenGL实现机器人运动的实时动画和鼠标操作。相应地，既可以分别操作机器人6个关节单独运动，也可以直接操作机器人末端使所有关节随之运动。

图3 仿真测量视觉效果

机器人运动过程中若碰到被测物体，或者机器人各杆之间发生碰撞，则说明该位置不可达。本文采用基于方向包围盒的层次包围盒法[9]，通过分离轴测试[10]实现碰撞检测。这样能够对机器人运动过程中的碰撞进行快速检测并报警，增加了仿真结果的可靠性和实际测量过程的安全性。

3 系统工作模式

使用SPI系统进行仿真测量规划的过程采用所见即所得的直观交互模式。用户将测量单元、被测物及定位组件的模型分别载入系统后，可以借助鼠标拖动(或对话框输入)实现机器人6个自由度的灵活变换，从而带动末端的测量机进行空间位置和姿态的调整。图3(b)中测量机前方半透明物体即图右侧的物体，称为“测量框”，它指示了测量机的有效测量范围。用户只需用鼠标拖动机器人末端，改变测量框与被测物之间的相对位姿，将测量框大致覆盖要测量的区域，即可判断测量机已到达较为合适的位置。

点击工具栏“测量”按钮后，当次所测到的部分会在被测物模型上以不同颜色显示，相应的信息也会在模型页面的树形目录显示。若用户觉得当次测量结果不理想，可以从树形目录删除当次测量，然后调整机器人，再次测量，直到所有要测的部分都被测量到为止。对于每个视角下的测量，系统自动记录机器人6个关节的角度值，测量规划完成后可将角度序列以文件形式输出，用于驱动真实机器人工作。

用仿真系统进行测量规划的整个过程与真实测量系统的使用过程类似，但是在软件平台上的仿真操作比用真实测量单元进行规划便捷高效得多。

4 结束语

本文通过对双目立体视觉测量原理及机器人运动学原理的研究，开发了一款测量仿真系统，该系统具有较好的仿真效果和良好的操作便捷性。使用该系统对产品外形检测过程进行离线仿真和测量视点规划，能够有效减少实际测量时寻找最佳视点的时间以及人力物力消耗，大大提高批量检测的效率。

另外，本文开发的系统不仅适用于文中所采用的测量机和机器人，对于其他基于双目立体视觉原理的测量设备和6自由度工业机器人同样有效，具有一定的通用性。

[1] Chen S Y，Zhang J W，Li Y F，et al.Active Sensor Planning for Multiview Vision Tasks[M].Heidelberg:Springer－Verlag，2008.

[2] Connolly C I.The determination of next best views[C]//Proceedings of the IEEE International Conference on Robotics and Automation，March，25－28，1985，St.Louis，USA:Robotics and Automation，1985:432－435.

[3] Haner S，Heyden A.Covariance propagation and next best view planning for 3D reconstruction[C]//12th European Conference on Computer Vision.Florence，Italy:Centrer for Mathematical Sciences，2012:545－556.

[4] Trucco E，Umasuthan M，Wallace A M，et al.Model－based planning of optimal sensor placements for inspection[J].IEEE Transactions on Robotics and Automation，1997，13(2):182－194.

[5] Tarabanis K A，Tisa R Y，Allen P K.The MVP sensor planning system for robotic vision tasks[J].IEEE Transactions on Robotics and Automation，1995，11(1):72－85.

[6] State A，Welch G，Ilie A.An interactive camera placement and visibility simulator for image－based VR applications[C]//Proceedings of the SPIE，January，2006，San Jose，California:Stereoscopic Displays and virtual reality systems，2006:640－651.

[7] Denavit J，Hartenberg R S.A kinematic notation for lower－pair mechanisms based on matrices[J].Journal of Applied Mechanics，1955(22):215－221.

[8] 蔡自兴.机器人学[M].北京:清华大学出版社，2000.

[9] Gottschalk S，Lin M C，Manocha D.OBBTree:a hierarchical structure for rapid interference detection[C]//SIGGRAPH ＇96 Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques.NewYork:ACM，1996:171－180.

[10] 埃里克森.实时碰撞检测算法技术[M].刘天慧，译.北京:清华大学出版社，2010.