一种适用于强辐射场的单目视觉系统
2020-11-11王铁
王 铁
(中国原子能科学研究院,中国 北京 100000)
0 引言
视觉技术可以分为单目、双目和结构光等形式。双目体视的图像获取是由不同位置的两台摄像机拍摄同一幅场景获取立体图像,通过计算空间点在两幅图像中的视差,获得该点的三维坐标值,再经过特征点提取、立体匹配和三维重建得到目标物位姿[1]。结构光三维视觉是基于光学三角法原理,光学投射器将一定模式的结构光投影于物体表面,在表面上形成由被测物体表面形状所调制的光栅光条三维图像,该三维图像由处于另一位置的摄像机探测,从而获得光栅光条的二维图像,当光学投射器与摄像机之间的相对位置一定时,由畸变的光条图像坐标便可以重现物体表面形廓,即构成了三维视觉[2]。单目视觉一般需要利用物体模型上的已知结构特征,常用的特征包括点、直线、平面、二次曲线等,其中研究最多的是应用点特征进行位姿解算。Fischler M A等人[3]提出著名的PnP(Persp ective-n-Point)问题,即只利用一幅图像,通过n个控制点及其在图像上的对应关系进行位姿视觉解算,该问题得到广泛关注和研究,并获得大量应用,如航天器对接等[4]。
强辐射场环境大多空间狭窄,在事故场景下机器人面对未知环境,需视觉引导系统实时快速反馈目标信息,而且强γ辐射会对辐照敏感电子元器件造成损伤,导致视觉引导系统失效。双目视觉引导系统需要两个摄像头配合,体积较大,后端控制电路复杂,辐照敏感元件较多,容易受辐照失效,而且其运算量大,视觉引导效率低,不适合在强辐射场下使用;结构光视觉引导系统是光学投射器与摄像头配合工作,虽然精度较高,但其控制系统更为复杂,辐照敏感元件更多,更容易受辐照失效,也不适合在强辐射场下使用;单目视觉引导系统相比其他两种视觉引导系统,具有结构简单,更容易做抗辐射加固设计的特点,更适合在强辐射场中工作。
因为凭借一个摄像头单次获得的一帧图像无法计算目标的深度信息,故基于单摄像机的测量系统需要增加距离传感器,或借助不同位置的多帧图像获得深度信息,其中,Henry P[5]就是利用激光测距仪,配合单目摄像机实现了三维测量,黄凤山等[6]以不具测距功能的激光束代替激光测距仪,提出了一种基于“共线三点透视问题(P3CP)”的目标定位方法,基于该方法的系统具有很好的便携性与灵活性。Aroca R V等[7]提出了一种激光笔与单目结合的测距方法,该方法以极为廉价的硬件设备实现了距离测量,但是该方法无法获取目标的三维坐标信息。
本文设计了一种三条激光束与单目结合的三维定位测量方法,此目标测量方法所需的硬件成本极其低廉,可以为定位系统构建节省大量成本。本方法无需在多个位置测量,使得手眼可以在狭窄的空间中工作,同时本方法采用单目视觉,更适合在强辐射环境。
1 摄像头耐辐照性能研究
摄像头是单目视觉系统的核心硬件,其中图像传感器是摄像头的核心部件,图像传感器的耐辐照性能决定了整个系统的耐辐照性能。常见的图像传感器有两种,分别为CMOS图像传感器和电荷耦合器件(CCD)。CMOS图像传感器是一种硅固态成像器件,相比于电荷耦合器件(CCD),它具有抗空间辐射能力强、动态范围宽、功耗低、接口简单,集成度高等特点。由于其耐辐照性能较强,本研究的单目摄像头采用CMOS图像传感器。
CMOS图像传感器在经过γ射线辐射后产生了电离损伤,并在显示器画面中随机产生众多白色的不规则形状噪点。噪点随着剂量率的增大而增多,并且图像灰度值也随之增大,它们是呈非线性存在。若CMOS图像传感器没有进行任何抗辐射加固时,将其直接曝露与γ射线辐射环境下工作,输出图像会在短时间内产生噪点,辐射剂量率越高则现象越快、越明显,甚至在某个时刻开始出现坏点直至传感器被彻底破坏。当输出图像中的噪点布满整个屏幕时CMOS图像传感器作为设备监控器来说已经没有实际工作意义。
通过对以往研究分析可知,不同CMOS生产工艺、不同CMOS像元结构等方面都会影响CMOS抗辐射性能。同时不同摄像机商用CMOS集成和PCB板载的元器件不同也会影响摄像机整体抗辐射性能。目前针对CMOS总剂量的研究多是针对抗辐射加固芯片设计后的CMOS,而此类CMOS往往造价高昂,且产量较少,不利于在核工业领域的推广使用。因此开展摄像机商用CMOS抗辐射筛选是十分有必要的。本研究通过对商用CMOS摄像机开展抗辐射筛选,筛选出抗辐射性能较强并满足视觉引导需求的摄像头。
1.1 摄像头耐辐照性能测试
本实验选择索尼、镁光、豪威这三种较为常用CMOS图像传感器进行,三种传感器尺寸近似相等,其中,索尼、镁光两种为国外品牌,豪威为国产品牌。实验时将摄像头固定后放入辐射场中,其视频信息经加长线缆传入钴源房外计算机中,人员在辐射场外观察并存储视频录像。实验在100Gy/h剂量率下进行,当图像不可视情况下,视其完全损坏。实验结果如表1所示。
由实验结果可知,六款图像传感器中,5号图像传感器耐辐照性能可以达到1500Gy。由于实验数据量较少,为检验5号图像传感器耐辐照数据是否存在偶然性,进一步做了补充验证实验。
补充实验场所为中国原子能科学研究院内原子高科钴源房,实验时,将编号为5的CMOS图像传感器置于剂量率200Gy/h位置进行辐照。辐照5h后,三个5号摄像头均未损坏,且可视程度良好。
两次实验结果证明,5号摄像头可耐总剂量超过1000Gy,可以用于大部分强辐射场中。
2 降噪技术研究
强辐射场下,通过摄像头所获得的视频图像受到辐射影响不可避免,辐射剂量越高,图像受影响程度越大,图1为在200Gy/h剂量率的辐射场中,摄像头提供的图像。从图像中可以看出,在强辐射场中,图像质量可能对视觉引导准确度造成重大影响,因此本章将对图像降噪技术进行研究,提高视觉引导精度。
表1 摄像头耐辐照实验结果
图1 噪声图像
辐射环境下噪声包括暗电流噪声、脉冲噪声和高斯噪声。暗电流噪声是指在没有画面输入即没有任何光线的情况下,由于暗电流的存在使得系统输出的画面仍有一些空间分布不均匀的噪声;脉冲噪声又称椒盐噪声是由于单位时间内光敏区产生的电子数量发生波动而引起的,因其持续时间短、幅度大、很像尖峰脉冲而得名;热噪声是由自由电子的无规则热运动所形成的,这种噪声多为无规则的随机噪声,分布在每个像素点上,频谱宽,幅度不等,其效果是使得图像边缘模糊,对比度降低,层次感减弱。由于这种噪声分布符合高斯分布,所以称为高斯噪声。
图像去噪的一种常用操作是对图像进行滤波。在处理图像之前,在成像时或者前期其他操作中引入了噪声,例如提取候选区域时。为了提高图像的质量,先对其中的噪声进行滤波,同时保证有效信息如边缘不被破坏。
图2 多帧合成效果图
滤波去噪方法主要包括空间域、变换域和时域几种,空间域去噪方法是直接在原空域中对图像进行去噪,即直接处理原图像的灰度值。变换域去噪则是将图像进行某种变换操作,将空域信号转化成变换域信号,再处理变换域中的相应系数以去除噪声,最后逆变换回到原空间域中即得到去噪后的图像。时域去噪则是利用多帧图像的时间相关性进行降噪。本研究采用基于时域去噪的多帧合成方法对图像进行去噪处理。
互联网给高校学生管理工作提供了便捷,提升了辅导员的工作效率;但互联网具有双刃剑效应,我们要以正确的态度看待互联网,充分利用互联网优势来创新学生管理工作。
此方法常用于天文观测领域,本课题将其借鉴并应用于强辐射场中图像处理中,实验使用静止状态参照物,连续拍摄30帧图像进行合成,实验结果较好,基本消除图像噪声,如图2所示。
3 建立单目视觉系统
本文设计一套在强辐射下基于激光的单目视觉引导系统,该系统硬件由载CMOS图像传感器的摄像头、三组半导体激光器、电源、摄像头和激光器控制电路等几部分组成,系统结构简图如图3所示。其中,摄像头及其控制电路和激光器位于系统前端,直接面对辐射照射,电源和激光器控制电路位于机器人本体中,受机器人屏蔽设计保护。
图3 系统结构简图
图4 系统前端架构实物
本研究对系统前端硬件架构进行了设计,将三个激光器呈等腰三角形分布于摄像头周围。为简化位姿解算算法,提高视觉定位速度,各激光器与摄像头距离近似相等,同时根据测距算法需要,保证激光器所发射激光射线与摄像头主光轴平行,将激光器与摄像头保持平行状态。系统前端架构实物如图4所示。
本研究需对目标平面位姿进行测算,根据相机成像模型,建立一套位姿测算算法,利用激光器在目标平面构造三个特征点,通过激光点与摄像头中心点距离的变化判断目标平面位姿。单个摄像头只能提供特征激光点二维信息,因此需要计算激光点与摄像机光心为原点的摄像机坐标系x-y平面之间的垂直距离,得到激光点z坐标,距离计算原理如图5所示。
该测距方法必须满足两个基本条件:(1)激光束与单目光轴平行。(2)工作环境:激光束在目标物体上的落点在环境中是可以通过亮度或颜色辨识的。第一个条件可通过人为设置满足;但第二个条件限制了该系统的工作环境,导致该测距方法不适于超长距离测距,也不适合在光线极强的环境下进行测量。
h/H=f/L
其中,H为激光点与图像中心点之间的距离,h为图像上激光点中心点与图像中心点的距离,f为标定得到的相机焦距,L为所求距离。单位均为mm。
激光点与图像中心点之间的距离由实际测量得到,图像上激光点中心点与图像中心点的距离,是相机标定得到图像中心点坐标与特征提取到的激光点中心点坐标之差乘像元尺寸得到,相机焦距也由相机标定得到。
通过以上方法得到目标平面上三个激光点三维坐标,进而确定目标平面位姿。
4 测距算法验证实验
图5 距离计算原理图
本研究设计实验验证测距算法准确性。实验为验证实验,在摄像头和激光器与目标平面垂直情况下进行,分别在从100 mm到700mm共13个距离下进行实验验证。实验参数为图像中心点坐标(376,255)、焦距与像元尺寸f/dx比值519.6、激光点中心点与图像中心点距离分别为激光点1为44.50mm、激光点2为43.70mm,激光点3为44.12mm,实验结果如表2所示。
通过实验数据可以看出,在远距离时,测距误差较大,且误差波动较大,但在近距离时,测距误差较小,误差波动较小。在150mm内,误差在3mm以内。
5 总结
本文对单目视觉系统在强辐射场中的适用性进行了详细阐述,并对系统关键硬件摄像机进行耐辐照测试,筛选出一款抗辐照性能较好的摄像头;通过对降噪技术研究,采用多帧合成方式消除辐射引起的噪声点;通过建立测距算法,获取激光点深度信息,完成对目标的位姿测量,且测距结果表明,在近距离内,其误差较小。
表2 测距验证实验结果