面向单目立体视觉的立方镜图像处理技术

（北京卫星环境工程研究所，北京100094）

0 引言

航空航天领域对精密部件进行相对姿态测量时往往借助于立方镜，利用立方镜相邻之间严格垂直的镜面，通过高准确度的电子经纬仪对其自准直测量即可建立该立方镜坐标系，从而确定其相对于其他坐标系的姿态关系［1］。在对实际立方镜进行准直测量时，通常是利用两台电子经纬仪对立方镜的相邻两个反射面进行自准直测量，得到立方镜的两个相邻反射镜面的法线矢量［2］。

现有的光电自准直经纬仪作为高精度测量仪器，测角精度高，但测量范围较小 （约±17′），因此需要辅助准直手段来引导目标进入准直仪视场。辅助准直可采用手动与自动两种方式，手动方式就是人工观察引导目标进入准直仪视场，自动方式是采用辅助的测量手段自动引导目标进入准直仪视场，自动方式具有更高的测量效率。

单目视觉测量是指仅利用一台视觉传感器采集图像，对物体的几何尺寸或者物体在空间的位置、姿态等信息进行测量［3］。因为仅需一台视觉传感器，所以该方法的优点是结构简单、相机标定方便，同时还避免了立体视觉中的视场小、立体匹配难等不足［4］。

相较于准直仪，视觉测量具有较广的视场范围，容易将目标设置在相机的视场范围内。立方镜通常为正方体，具有相互垂直的棱边与面，理论上通过单目立体视觉测量即可得到立方镜的空间位置和姿态。对于具有3条相互垂直直线几何体的单目位姿估计，已有相关的研究成果［5］。因此，可利用单目视觉测量估计立方镜的位置姿态，进而可以自动引导使立方镜进入光电自准直经纬仪的视场范围，提高准直效率。

本文面向对立方镜单目视觉测量的需求，研究立方镜图像处理技术，即从立方镜图像中获取立方镜棱边、角点等特征在图像中的位置信息，为进一步的立方镜位姿计算提供基础数据。

1 图像处理技术流程

通过视觉传感器采集得到的立方镜照片如图1所示。由于实际立方镜的角点并不是理想的尖角，且在图像中特征不明显，因此在图像处理中未直接采用角点识别的方法。研究中采用的方案为：提取图像中立方镜的棱边，对棱边进行直线拟合，进而获得棱边在图像中的角度及位置信息，对棱边对应直线求交点获得立方镜角点在图像中的位置信息，这些信息可用于后续立方镜空间位姿的计算。

图1 立方镜照片Fig.1 Image of a cubic prism

图像处理的主要流程如图2所示。首先通过边缘提取获取图像中的边缘特征，对获得的边缘进行轮廓分析，将立方镜棱边对应的直线特征较为显著的轮廓提取出来。而后根据立方镜棱边的空间角度及位置特点，对提取得到的直线按照角度、位置进行划分聚类与排序。最后按照聚类排序结果，对直线进行配对计算角点位置。

图2 图像处理流程Fig.2 Flow of image processing

2 图像处理方法

2.1 边缘检测

边缘为图像中灰度发生急剧变化的区域边界，边缘点能够给出目标轮廓的位置。边缘检测是图像处理与理解的重要部分，最终的结果对图像分析和图像理解有重要影响。边缘检测的本质是利用各种算法得到图像中对象与背景之间的相交线，常见的边缘检测算子有 Roberts算子［6］、Sobel算子［7］、 Prewitt 算 子［8］、 Laplacian 算 子［9］、 LOG 算子［10］、 Canny 算子［11］等。

研究中，边缘检测采用Canny算子。Canny算子具有很好的信噪比和检测精度，对含有白噪声的阶梯型边缘检测图像效果最好。Canny算子得到的边缘与真实边缘间的偏差很小，检测到的虚假边缘较少，漏检率较小。该算法的主要步骤包括：Gauss平滑、梯度检测、沿梯度方向的非极大值抑制和双阈值边缘检测连接算法。Canny算子检测的边缘是闭合的、单像素宽的，能比较精确地定位图像中的边缘。边缘检测结果如图3所示。

图3 Canny边缘检测结果Fig.3 Result of Canny edge detector

2.2 轮廓分析

如图3所示，边缘检测的结果中除立方镜棱边对应的边缘外，还得到了其他边缘，这些对立方镜特征的识别测量造成了干扰。从图3中容易看出，立方镜棱边边缘与其他边缘的主要特征区别在于：立方镜棱边直线程度明显，而其他干扰边缘为曲线。因此，可以直线检测算法分析边缘检测结果中轮廓的直线程度，利用边缘直线程度的不同将立方镜棱边对应的边缘提取出来。常用的直线检测算法有最小二乘法、最小距离法、Radon 变换法及 Hough 变换法等［12］。

研究中，采用Hough变换法进行直线检测。Hough变换是将图像的空间域变换到参数空问，使原图上给定形状的几何曲线上的点，经过变换以后都集中到变换空间的某些位置，在变换空间上形成峰点，通过检测变换空间中的峰值点，来找出原图中给定形状曲线的参数方程［13］。Hough变换将Descartes空间上满足特定参数的数据在参数空间上以累加器的形式反映出来［14］，对于区域边界被噪声干扰或因其他目标引起边界发生某些间断的情况，具有很好的容错性和鲁棒性。

轮廓分析借助于Hough变换进行，分析的主要任务是对每条轮廓包含的直线信息进行分析统计，剔除直线特征不明显的轮廓，得到立方镜棱边对应的直线信息。轮廓分析的主要步骤如下：

1）对Canny边缘检测的结果图像中每一条连续的轮廓，单独进行Hough直线检测，为Hough直线检测设定一个与直线特征强弱程度相关的阈值，高于该阈值的认为是直线。

2）对相近位置处检测到多条直线的情况，按直线偏角和位置进行聚类，并对同类的直线求平均合并为1条直线。

轮廓按直线程度强弱的分类结果如图4所示，红色部分为直线特征明显的轮廓，而蓝色部分为直线特征不明显的部分。可以看到，立方镜棱边对应的轮廓很好地被区分出来，对应的检测到的直线如图5所示。

图4 轮廓按直线程度强弱的分类结果Fig.4 Result of edges classified by straightness

图5 立方镜轮廓直线检测结果Fig.5 Result of straight-line features

2.3 直线聚类排序

由图5可以看到，轮廓分析得到了立方镜棱边对应的6条直线，包括3条横线以及3条竖线。立方镜角点位置可以通过对应位置相交的直线求交点获得，但得到的直线中任意两条的交点不一定是立方镜的角点，例如图5中最上方横线与最左侧竖线的交点实际并不在立方镜上。因此，需要对检测得到的直线按照角度及位置进行聚类排序，而后根据先验知识获取立方镜实际角点在图中对应的配对相交直线，进而求交点得到角点位置。

对直线聚类排序的步骤如下：

1）对所有直线按偏角进行聚类，得到立方镜平行棱边对应的两组直线。以图5为例，一组为“横线”，即图中接近横向的3条直线归为一类；另一组为 “竖线”，即图中接近竖直的3条直线归为一类。

2）对同类直线按截距进行排序，并按顺序编号。以图5为例，“横线”由上至下排序，“竖线”由右到左排序。

经过直线的排序、求交点后的图像结果如图6所示。黄色直线为聚类得到的横线，红色直线为聚类得到的竖线。

图6 立方镜顶点计算结果Fig.6 Calculation result of vertices of the cubic prism

2.4 角点计算

根据立方镜顶点的位置，在两类直线中找出在该点相交的直线，求出两条直线的交点坐标作为立方镜顶点坐标。以图6为例，最上的横线与最右的竖线求交点可以得到立方镜右上后方的顶点坐标，第二条横线与第二条竖线求交点可以得到立方镜右上前方的顶点坐标。

图6中蓝色的点标记为通过直线排序、对应、求交点得到的立方镜顶点，顶点在图像中的像素坐标如表1所示。

表1 立方镜顶点的图像坐标Table 1 Image pixel coordinates of the vertices of the cubic prism

3 结论

光电自准直经纬仪测量范围较小，手动引导立方镜进入准直仪视场的效率较低，通过单目视觉对立方镜位姿进行测量，可以自动引导立方镜进入准直仪视场。本文面向单目视觉辅助光电准直仪对立方镜进行准直的需求，研究针对立方镜图像的数字图像处理技术。

1）研究中采用Canny边缘检测方法得到灰度图像中的边缘信息，借助Hough变换按照直线程度的强弱对边缘信息进行分类提取，有效排除了不需要的边缘，得到图像中立方镜棱边对应的边缘及直线信息。进一步按照偏角与截距对棱边直线进行分类排序，结合先验知识得到了立方镜角点对应的配对相交直线，对配对直线求交点最终得到了立方镜角点在图像中的位置。

2）研究得出的立方镜处理方法实用有效，得到的立方镜棱边及角点信息为后续的立方镜位姿计算提供了基础数据。

［1］杨振，李广云，范百兴，等.多种互瞄条件下立方镜准直传递方法研究［J］.宇航计测技术， 2013，33（6）：10-12.YANG Zhen， LI Guang-yun， FAN Bai-xing， et al.Cubic prism collimation vector delivery methods under various aiming conditions［J］.Journal of Astronautic Metrology and Measurement， 2013， 33 （6）： 10-12.

［2］Kumar H N S， Nataraju B S， Joseph P G， et al.Precise alignment of spacecraft antenna using theodolite based hardware and software interface［J］.IETE Technical Review， 2003， 20 （5）： 471-476.

［3］Marr D.Vision： a computational investigation into the human representation and processing of visual information［M］.The MIT Press， 1982.

［4］王鹏，孙长库，张子淼.单目视觉位姿测量的线性求解［J］. 仪器仪表学报， 2011， 32 （5）： 1126-1131.WANG Peng， SUN Chang-ku， ZHANG Zi-miao.Linear pose estimation with a monocular vision system ［J］.Chinese Journal of Scientific Instrument， 2011， 32 （5）：1126-1131.

［5］刘昶，朱枫，欧锦军.基于三条相互垂直直线的单目位姿估计［J］.模式识别与人工智能， 2012，25（5）：737-744.LIU Chang， ZHU Feng， OU Jin-jun.Monocular pose determination from three perpendicular lines［J］.Pattern Recognition and Artificial Intelligence， 2012， 25 （5）：737-744.

［6］Roberts L G.Machine perception of three-dimensional solids［D］.Massachusettes Institute of Technology， 1963.

［7］Sobel I.Camera models and machine perception［D］.Stanford University，1970.

［8］Prewitt J M.Object enhancement and extraction［M］.New York： Academic Press， 1970.

［9］Gonzalez R C.数字图像处理 （第2版）［M］. 北京： 电子工业出版社，2003.Gonzalez R C.Digital image processing （2nd）［M］.Beijing： Electronics Industry Press， 2003.

［10］Marr D， Hildreth E.Theory of edge detection［C］.Proceedings of the Royal Society of London（Biological Sciences）， 1980， 207 （1167）： 187-217.

［11］Canny J.A computational approach to edge detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986， 8 （6）： 679-698.

［12］Xu L， Oja E.Randomized Hough transform （RHT）：basic mechanism，algorithms，and computational complexities［J］.CVGIP： Image Understanding， 1993， 57 （2）：131-154.

［13］许强，陈震，危水根.图像序列直线提取和匹配时Hough变换的应用研究［J］.南昌航空工业学院学报（自然科学版）， 2007， 21 （1）： 43-47.

XU Qiang， CHEN Zhen， WEI Shui-gen.Application study of Hough transform when image array straight line is extracted and mating［J］.Journal of Nanchang Hangkong University （Natural Sciences）， 2007， 21 （1）： 43-47.

［14］Jiang T Z.Ma S D.Geometric primitive extraction using tabu search［C］.Proceedings of the 13thInternational Conference on Pattern Recognition， 1996： 266-279.