港口拆锁机激光与视觉融合案例分析*

2024-05-31陈锦乾

港口装卸 2024年1期

陈锦乾

上海振华重工(集团)股份有限公司

1 引言

港口自动化拆装锁销机研发的难点之一为锁销的空间定位,通常做法是将集装箱放至在固定框架内部,从而保证集装箱位于各个传感器的感应范围内,实现集装箱的位置定位。由于全自动拆装锁销机(以下简称拆锁机)为机器人作业,要求对集装箱的位置定位感知精度为毫米级,考虑到港口户外环境对各种传感器的恶劣影响,定位系统无法通过简单的传感器达到精度要求。采用单一技术,如3D相机技术、单点激光传感器技术,实现集装箱的位置定位过程中存在不足之处[1]。为此采用较低精度视觉传感器与点激光测距结合的方式,提升集装箱锁销的定位精度。

2 单一技术方案不足分析

2.1 3D相机

(1)视距有限。相机距离目标物质越远,定位精度越差。双目相机需要1～2 m的视距,误差在5 mm左右;2D线扫描激光相机与结构光相机需要0.1～1 m的视距,误差在1 mm以内。单台相机的检测范围为0.35 m,而拆锁机待检测点有12个,每个检测点又有0.5 m的活动区间,所以需大量铺设相机来进行视野覆盖,导致成本大幅上升。为了减少相机的数量配置,可以将其搭载在拆锁机内的机械手臂上,使得相机可以移动,从而扩大相机的视距,每次检测时,机械手臂会将相机运送到待检测点附近进行取样。这种情况下,拆锁机仅需安装等同于机械手臂数量的视觉传感器,但是需解决机械结构干涉问题,而且3D相机移动拍摄时更容易产生误差。

(2)相机移动拍摄误差较大。相机待自动识别对象就位后,或者根据外界的指令,瞬间拍照从而捕捉目标图像进行计算。当集装箱锁销进入视距后,从运动到静止的这段时间内,双目相机和结构光相机按拍摄快门时间设置得到不同数量的照片,取其一进行计算。受制于工作节拍影响,在大多时候,无法等锁销完全静止后再进行取图计算,从而产生较大的误差,会导致获取的照片较模糊,影响识别精度。

当外界提供一个触发信号给相机后,搭载相机的机械手运动到指定位置拍照,这期间,锁销的位置往往发生变化,且每次拍照时,相机的初始位置不一定绝对相同,导致该误差进一步加大。为了保证初始位置即视觉坐标原点相同,需要机械手臂稳定停止,这样会增加节拍时间。

(3)光线对相机成像影响大。为了方便将图像直接转化成数据,3D相机对图像质量要求很高。港口户外环境,除了雨雾等恶劣天气影响,各个角度的太阳光照射,对视觉系统的稳定性也会产生较大影响。这就要求在本来空间有限的情况下,为拆锁机加装额外的挡光措施,增加了设计和生产成本。

2.2 单点激光传感器

各种类型的光电感应传感器,比如红外传感器、光敏传感器、超声波传感器、激光传感器等,均可以用于测距场景,考虑到硬件成本和软件开发成本,可以采用点激光测距。点激光传感器进行定位时,若待检测物形状不规则,例如锁销,则无法确保测量点照射到指定的位置,可能探测到非锁销特征区域的距离信息。在其他的作业场合提供定位机等辅助设施,将待检测对象放置在特定位置,保证点激光照射在正确的位置上,从而获知距离参数。但是锁销不具备安装定位机的条件,且锁销表面不规则,点激光探知特征点困难。

3 激光与视觉融合识别方案设计

3.1 方案整体思路

锁销安装在集装箱箱角下,机械手需要将该锁销拆除。由于集装箱的摆放由机械结构定位,不会发生较大的移动,锁销在集装箱箱角的锁销孔内会发生小范围的移动。将该移动位置区分为6个自由度。设立一个空间坐标系,锁销位置有三维方向的X、Y、Z坐标值和绕轴旋转的Rx、Ry、Rz。

锁销外表很不规则,且锁销种类很多。所以定位装置必须首先提供对象的种类信息S,从而确定该种锁销的特征位置,方便稍后的单点激光点进行探知。当采用机械手的其中一个工具坐标系去处理不同的S时,机械手需要的6个自由度值会因为不同的S而发生变化[2]。所以针对不同的S,需要设置不同的坐标系。

拆锁机的定位系统首先经过2D相机取图,通过与提前录制的模板进行匹配,获知种类S与大概的位置信息,确保后续点激光将激光点打到特征区域。再依靠机械手的移动,多次由一枚点激光定位点深度信息,另一枚激光负责确认,最终利用多个活动点的数据计算出目标的精确位置。由于采用2D相机,可以通过添加自适应光源自动调节曝光等措施,从而克服户外自然环境因素的影响。

3.2 平面视觉的模板匹配

视觉图像需要转变成数字信息,才能给上位机或机械手使用。提前录制视觉模板后,需要对模板图像进行处理,得到模板内对象的3项位置姿态信息(X,Y,Rz),再进行种类设定。以后每次拍照取图,都要与模板图像进行匹配计算,从而找出相似度最高的模板,即为种类S的信息[3]。

视觉的计算方法如下。相机是红蓝绿3通道像素相机,首先将彩色图像转变为只有像素亮度变化的灰度图像,利用阈值法设立阈值,进而将灰度图像转变为只有全黑和全白两种像素的黑白二值化图像[4]。再通过预设算法,得到原点的位置,因为是平面相机,所以只可计算Rz值。

图像被拆解成每个像素上的0、1信号,模板图像和待检测图像可以进行差值计算,利用平方差累计求和的方法,可以计算出两者之间的相似度。图像的计算量是较大的,所以在方案的实施过程中,不仅需要考虑到计算结果与实际对比的准确性,还需要考虑系统运行的时间。可以通过归一化平方差求和、图像金字塔等方法来优化算法,其中阈值的设定值,需要依靠多次的测试来得出每种模板的合理值。

业内常使用基于深度神经网络结构的卷积计算来进行图像分析,但由于本方案的侧重点是适应港口室外环境并不完全依靠视觉,所以依靠简单的视觉算法,便能实现功能。

3.3 点激光制导机械手臂运动

利用以上步骤能够得到目标锁销的大概位置(X,Y,Z)与Rz值。此时机械手逐渐向目标锁销靠近,搭载的2枚激光传感器会探照到锁销的特征位置上,对激光传感器的数据传输实时性要求较高。针对每种特征S,机械手所需要寻找的目标位是不同的。在机械手逐渐靠近锁销的过程中,把传感器信号作为数据源,转换为机器人的6关节值或3笛卡尔位置值再加上3欧拉角值,就可以得出目标锁销的位置姿态。

计算锁销位置的(X,Y,Z,Rx,Ry,Rz)值时,使用机械手的四元数和轴角进行插值,分别计算位移和旋转。假定一枚模拟量激光值为egmID1,另一枚激光值为egmID2,egmID2用于反馈调整。在计算过程中,可以利用机械手自带的位置引导(EGM)功能来承担部分逻辑计算。遵循以下步骤:①调用EGM;②EGM从运动控制中读取输入数据egmID1;③检查UDP通信序列,调用新数值或沿用旧数值。由于是渐进计算进行动态补偿,解决了锁销的自身晃动问题。