非充分光照下的单目合作目标提取算法

张逸舟,许 睿,曾庆化,2,3,李一能,罗怡雪

（1.南京航空航天大学导航研究中心,南京 211106;2.南京航空航天大学先进飞行器导航、控制与健康管理工业和信息化部重点实验室,南京 211106;3.南京航空航天大学江苏省物联网与控制技术重点实验室,南京 211106)

0 引言

计算机视觉方案以其智能化、自主性、多场景的应用优势成为了辅助自动化设备工作的重要手段。单目视觉系统则以其结构简单、获取信息丰富、空间占用小等特点成为了研究领域的热门,如使用地面合作标记获取相对位姿信息辅助飞行器完成近地着陆引导[1],在飞行器空投作业过程中结合靶标实现重物的精准投放,或者在集装箱搬运过程中结合箱体表面纹理获取位姿信息以完成自动抓取操作等。合作目标能否准确识别将直接影响到求解位姿信息的精准度以及作业效率,而非充分光照条件是增加识别难度的首要因素。

目前,已有许多结合单目合作目标的视觉提取算法设计。西北工业大学的聂烜等[2]构造了一种三层嵌套式 “回”字合作目标,避免了单层黑框结构识别失败导致解算不可用的情况,但该算法中缺少对使用时光照条件的讨论。广东电网有限责任公司的谭家祺等[3]设计了一种双层式红蓝相间的箭头形合作目标,该方案易受环境色温的影响且需在光线充足的条件下使用。南京航空航天大学的王小洪[4]设计了二次Otsu算法,实现了合作目标与背景的分离,但该算法近距离时会因同色上的光照差异反而容易丢失识别目标。

以上学者的研究对光照条件均有一定要求,在诸如光照不足（阴天、昏暗室内场景)及光照不均（阳光阴影、光线遮挡)等非充分光照条件下使用,其鲁棒性亟待提高。因此,本文针对此类算法进行研究和改进,提出了一种自适应光照变化的单目视觉合作目标提取方案。方案结合自适应局部阈值二值化、形态学约束与Douglas-Peucker算法拟合边缘,能实现在非充分光照条件下的合作目标精准跟踪,具有一定工程应用价值。

1 视觉小孔成像模型介绍

合作目标为已知尺寸、形状与结构的图案标记。单目视觉在非合作目标条件中使用时需要进行初始化操作[5],若存在合作目标且已知图案的结构关系,则可使用较为成熟的多点透视（Perspective-n-Point,PnP)算法直接完成相机与目标间的位姿解算。提取合作目标特征点坐标是该算法求解位姿的关键所在,视觉图像中点的坐标通常可以用像素/图像坐标、相机坐标和世界坐标进行表示,由于相机存在畸变,故首先需要对捕获图像中点的坐标进行换算。小孔成像模型的表达式为

畸变矫正过程的表达式为

式（1)、 式（2)中, （u0,v0)为光心像素坐标偏置, （u,v)为像素坐标, （xc,yc,1)、 （xd,yd,1)为对应点畸变矫正前后的相机坐标,dx、dy、f为两轴分辨率与镜头焦距,M为相机内参数矩阵,k1、k2、k3、p1、p2为径向和切向畸变参数,r为中心距常量。分辨率、镜头焦距、畸变参数以及光心偏置均为待标定相机参数,本文参考张正友标定法使用棋盘格进行快速标定[6],标定棋盘格如图1所示。

图1 标定用棋盘格Fig.1 Diagram of checkerboard for calibration

2 非充分光照的合作目标提取方案设计

本文研究的单目合作目标定位算法流程框图如图2所示。本章节首先介绍双层四边形结构合作目标的设计思路,并对自适应局部阈值化、形态学约束、边界拟合算法进行具体说明。

图2 单目合作目标算法流程框图Fig.2 Flowchart of monocular cooperative target algorithm

2.1 合作目标设计思路

合作目标的形状特征容易影响角点的提取精度和解算结果,因此需要根据实际测量对象选择适合的合作目标图形[7]。在PnP问题中,三个特征点的P3P问题将产生四组可能解,而特征点大于等于四的P4P问题可以获得唯一解[8]。综合以上考虑,本文设计合作目标为双层四边形结构,并且定义外轮廓的四个直角顶点作为特征角点。

合作目标设计原则如下:目标图案由具有高对比度的深浅两色构成（以黑白色为主)且具备内外轮廓,内外轮廓为边长比例相同的同心四边形,内外轮廓对应边长比例为R,并预留宽度为L的浅色外框区域,R、L、四边形形状以及图案实际尺寸的选择应遵循合作目标易于辨识的设计初衷。本文实验用箱体如图3（a)所示,则可设计如图3（b)所示的合作目标图案。图案形状采用较为通用的正方形,内外轮廓边长比例R为0.65,合作目标外轮廓边长为40cm,内轮廓边长为26cm,预留白色外框区域宽度L为5cm。

图3 实验箱体与合作目标设计图Fig.3 Experiment box and the design of cooperative target

2.2 自适应局部阈值二值化

HSV色彩空间依据色调（Hue)、饱和度（Saturation)、明度（Value)对图片色彩信息进行划分,考虑到视图明暗特征最容易被感知,本文算法依据明度通道进行图像灰度化。当使用场景中出现光照不足、光照不均等非充分光照情形时,合作目标的黑色区域将会因漫反射而呈现出不同明度,使用诸如大津法等全局阈值进行二值化,目标将难以被识别。针对上述问题,本文提出一种改进的自适应局部阈值二值化方案,常规局部阈值二值化首先计算像素点（i0,j0)的独立阈值thre（i0,j0),计算方法如下

式（3)中,S为采样窗口边长,C为门限值常数,N为处于图像范围内的采样窗口中的像素点集,V（i,j)为采样窗口中像素点的灰度。对于每个像素点,使用独立阈值进行二值化代替全局单一阈值方案,可有效解决光照不均时的二值化问题,但此方案仍有不足:当采样窗口选取过小时,局部阈值二值化效果类似于Canny边缘检测而不能获得可用连通域;当采样窗口选取过大,光照不足条件下局部阈值的优势将被削弱,黑色标记易与背景混淆而出现连通域断裂,如图4所示。在变化光照条件下使用,或在光照条件较弱、光线存在遮挡的情况下使用时,常规局部阈值法所设置的单一采样窗口、门限值常数无法适应环境变更,亟待对算法作出相应的改进,寻找一种恰当的自适应调节方式。

图4 局部阈值二值化局限性Fig.4 Limitations of conventional local threshold binarization

本文充分考虑结合环境的整体明度值,自适应控制局部阈值采样窗口大小,且在非充分光照条件下降低门限值常数避免低对比度条件下有效像素点过少的情况。修改采样窗口和门限值参数如式（4)所示,Vm为环境明度均值,表示向下取整数。该算法可保证常规光照条件下连通域的完整性,在非充分光照条件下也能使得连通域保持完整且避免和背景混淆。

2.3 自适应局部阈值二值化形态学约束方案

自适应局部阈值二值化获得的二值图像中存在大量的冗余轮廓,为保证算法效率并降低合作目标的误判率,结合合作目标形态结构,本文算法制定如下三条约束规则:

1)为了保证合作目标角点提取具有较高的精度,需要控制目标轮廓的面积达到图像总像素数目的一定比例阈值m1,从而筛选掉图中的小点状噪声轮廓,并排除合作目标距离过远时的失效判断。本文中,比例阈值m1选取为0.02%。

2)根据所设计的合作目标可知,内外轮廓面积比例有一定限制,正确的目标轮廓一定具有子轮廓且子轮廓与目标轮廓的面积之比不可低于比例阈值m2,从而筛选掉单层闭合轮廓以及错误的双层嵌套轮廓组。此面积之比在正视情况下的理论最小值为R2,因此比例阈值m2需要设置略微小于该值。本文中,比例阈值m2选取为0.35。

3)为包容非充分光照条件下自适应局部阈值二值化可能产生的次子轮廓,需要对三层嵌套轮廓组进行判别。由算法原理产生的次子轮廓面积通常偏小,因此可控制次子轮廓面积不超过目标轮廓面积的一定比例阈值m3,当比值达到本阈值时则认为次子轮廓的出现并非由算法原理产生,进而排除该组嵌套轮廓,如图5所示。本文中,比例阈值m3选取为0.25。

图5 包容非充分光照条件下的额外连通域Fig.5 Toleration of the extra connected regions under inadequate illuminated conditions

2.4 合作目标轮廓的精细化提取方案

经过上述步骤后,将筛选出合作目标粗轮廓。由于粗轮廓边缘存在大量毛刺,对于角点的提取精度会有较大影响,因此需要对合作目标轮廓进行精细化提取。本文算法中使用具有较好鲁棒性和精度的Douglas-Peucker算法[9]进行直线拟合,该算法原理如图6（a)所示:对于任意一条不规则曲线,连接该曲线的端点并遍历曲线上所有点至该弦的距离,若距离全部小于算法预设阈值,则判定该弦为曲线的拟合线段,否则取距离该弦的曲线上最远点将曲线段分割,重复前述步骤直至拟合完毕。若该阈值设置过大,会导致非合作目标轮廓被拟合成四边形而产生误计算;若该阈值设置过小,算法将无法处理常规的噪声干扰。当采集图像分辨率为640×480时,设置该阈值为10像素左右效果良好。算法的实测效果如图6（b)所示。

图6 轮廓精细化提取方法示意图Fig.6 Schematic diagram of contour refinement extraction method

3 自适应局部阈值二值化算法实验验证

本章节通过Jetson TX2开发板搭建视觉平台进行合作目标召回率（指正确提取合作目标图片数目与测试图片总数目之比)测试,评估算法对目标提取的鲁棒性与实时性。

3.1 单目视觉实验平台搭建

实验用图像采集设备为小觅双目相机深度版（MYNT EYE-D)右侧摄像头,算法代码运行于配置了OpenCV 3.3.1环境的Ubuntu 16.04系统,运行设备为使用NVIDIA Pascal GPU架构的Jetson TX2图形处理器,如图7所示。

图7 Jetson TX2搭建的实验平台Fig.7 Experiment platform built by Jetson TX2

3.2 合作目标提取结果与性能分析

实验以大津法二值化、常规局部阈值二值化算法作为对照参考,在非充分光照条件下测试本文算法的效果。以合作目标表面的部分图像为对象建立图像直方图,如图8所示。

图8 正常光照、光照不足、光照不均直方图说明Fig.8 Histogram descriptions of normal illumination,insufficient illumination and uneven illumination

本文实验中,对于光照条件的定义如下:设光照不足明度范围为α1～α2,在直方图中确定像素数目最多和次多的双峰灰度值坐标,以该坐标为中心建立宽度为β的区域并设该区域为固有双峰区域（图中标红)。

1)正常光照:全体像素点灰度均值大于α2,除固有双峰区域外不存在最大宽度同为β的连续区域像素点数目达到或超过像素总数的15%（对应直方图面积不超过总面积的15%)。

2)光照不足:全体像素点灰度均值处于α1～α2范围,除此之外的条件与正常光照情况相同。

3)光照不均:全体像素点灰度均值大于α2,除固有双峰区域外仍存在最大宽度为β的连续区域像素点数目达到或超过像素总数的15%（图8（c)中标蓝部分)。本文中,定义α1为30灰度刻度、α2为60灰度刻度、区域宽度β为30灰度。

以上述非充分光照条件为前提,采集两类场景下的各65张独立照片进行测试,测试用部分原始图像如图9所示。该实验过程中,通过调节灯光强度、使用物体遮挡等方式模拟在实际使用场景中可能遭遇的光照变化状况。

图9 测试用部分原始图像Fig.9 Schematic diagram of some original images used for testing

获得的光照不足、光照不均条件下合作目标召回率统计数据如表1、表2所示。

表1 光照不足条件下的召回统计信息Table 1 Recall statistics under insufficient illumination

表2 光照不均条件下的召回统计信息Table 2 Recall statistics under uneven illumination

由表1、表2可知,本文算法在这两类情况下均有高于90%的标记召回率,偏差与误检测率低,且单帧的解算耗时为10-4ms数量级,可以满足在采集图像的同时进行位姿估计。

图10为本文算法与其他二值化算法的效果对比示例,此处仅给出了图9中第一张图片（左一)的处理效果。由图10可知,使用大津法二值化、常规局部阈值二值化均无法检测出目标（属于无响应检测),而使用本文提出的结合形态学约束、Douglas-Peucker算法的自适应局部阈值目标提取算法则能够准确提取目标轮廓,实用性良好。

图10 二值化效果对比示例Fig.10 Comparison examples of binarization effect

4 结论

本文结合单目合作目标位姿解算需求,设计了具有四个特征角点的双层四边形（文中以双层黑白方形为例)合作目标,提出了具有形态学约束的自适应局部阈值目标提取算法,有效解决了在非充分光照条件下单目视觉合作目标的提取困难问题,可以很好地应用于需要使用合作目标的视觉定位场合。本文算法在光照不足、光照不均条件下的使用效果明显优于大津法二值化和常规局部阈值二值化,具有高达92.3%的标记召回率,单帧解算耗时不超过2×10-4ms,兼顾了鲁棒性与实时性的使用需求,具有良好的工程应用前景。