曲面仿生复眼测速技术研究

刘 韬，郭文阁，朱帅民，张远杰，许黄蓉，武登山，周晓军，鱼卫星

（1.西安石油大学 理学院，陕西 西安 710065；2.中国科学院西安光学精密机械研究所 中国科学院光谱成像技术重点实验室，陕西 西安 710072；3.中国科学院大学 光电学院，北京 100049）

引言

基于视觉成像的传统测速主要以单目测速和双目测速为主，利用视频测速技术记录运动目标在运动位置上的变化以及所用时间，从而计算出目标的运动速度。2013 年，林柏林通过对路面标定和车辆特征识别实现了单目视觉对道路车辆的测速功能[1]，但是该测速系统存在安装方式单一、道路标定困难以及场景要求高等弊端。东北大学常子霆[2]在单目视觉测速的基础上，结合一种空间位置的匹配区域对齐算法和基于模板匹配的空间位移计算方法，实现了基于双目视觉测速的功能，实验上验证了运动目标速度控制在10 km/h～20 km/h 的速度测试，误差控制在5%以内。

近几十年来，不少学者对仿生复眼相机成像技术进行了不断探索，并利用仿生复眼的成像优势，不断探索发掘实质性的应用[3-8]。在曲面仿生复眼相机良好的成像效果基础上，为了突显对运动目标敏感的视觉优势，利用曲面仿生复眼相机实现对高速运动目标测速的相关研究也得到了重视。2017 年，西安光机所鱼卫星团队研制了一种小型曲面仿生复眼系统，结合每个子眼不同视角的成像原理，对不同子眼测速分量进行分析，提出利用速度分量计算目标实际速度的方法[9]。2020 年，该课题组研制出一款长工作距离的曲面仿生复眼相机[10-12]，通过一块图像传感器对127 个子眼进行数据采集，保证了数据采集的同步性，并将该曲面仿生复眼相机搭载在无人机上实现了对运动目标的探测。与此同时，服务于复眼图像信息提取的相关算法也得到了重视和发展。2019 年，天津大学韩宇等[13]对基本的SIFT(scale invariant feature transform)算法进行了改进，在曲面仿生复眼测速系统中该方法可以快速、有效地解决特征点匹配的问题，提高了测速的准确性和稳定性。2020 年，谭中慧[14]团队利用opencv 的车速测量算法和SIFT 等图像算法对运动车辆进行目标角点检测，根据图像像素与实际距离的对应关系得到汽车运动的实际距离。该方法相比传统车辆测速算法具有更好的鲁棒性，能够得到更好的测量结果。

为了进一步探索曲面仿生复眼成像系统在测速方面的技术优势，本文采用127 个子眼曲面仿生复眼相机对运动目标的速度进行了测试研究，建立了基于曲面仿生复眼的多目标速度测试模型，设计了相关测速实验，得到了准确的速度测试结果。同时为了突出复眼测速的优势，采用成像性能相近的单孔径相机进行了测速实验，并进行了比对，结果表明，曲面仿生复眼测速系统具有更高的准确性和稳定性。

1 曲面仿生复眼测速原理

本文采用的曲面仿生复眼相机，由一块CMOS图像传感器对数据进行采集，最终捕捉到的图像是由127 个子图像组成一副完整图像。由于相邻子眼之间存在视场重叠，所以相邻7 个子眼可以同时获取到同一被测目标的位置信息。曲面仿生复眼系统测速原理如图1（a）所示。图1 中，中心子眼C1_1 和周围相邻6 个子眼C2_1，C2_2，C2_3，C2_4，C2_5 和C2_6 组成一组具有视场重叠特性的簇眼，利用该簇眼可以对场景中同一运动目标同时进行测速。以目标P（x，y，z）所在位置建立世界坐标系o-xyz，运动距离L后的坐标位置为P'（x'，y'，z'），同时以7 个子眼的中心建立相机坐标系OXijYijZij，最后以每个子眼所对应的子图像建立图像坐标系o-uij-vij，如图1（b）所示。建立相邻子眼重叠视场数学模型，在图像坐标系中利用SIFT 特征匹配，找出相邻子图像中对应的像素坐标，通过如图2 所示的图像几何变换可以得到相邻子图像之间的重叠像素数目，从而计算出运动目标在图像坐标系中运动的像素数目。

图2 相邻子图像几何变换示意图Fig.2 Schematic diagram of geometric transformation of adjacent sub-images

根据图1（a）中测速原理，结合小孔成像模型以及三角形相似关系，则有：

式中：T为运动时间；D为拍摄距离；f为曲面仿生复眼测速系统的焦距。

相邻2 个子眼对同一目标在重叠视场内的成像示意图如图2 所示，目标点分别对应2 个视场的A 点和A′点。由图2 可知，经过对右子眼视场进行180°翻转，可以达到简化计算重叠像素数目的目的。假设α1为有效像素数目（红色线段区域），α2为相邻子图像之间的像素数目（青色线段区域），α3为重叠区域的像素数目（黑色线段区域），则图像几何变换前后两点A 和A′之间的总像素数目αbefore和αafter分别为

在目标整个运动过程中，7 个子眼两两相互对应，如图3 所示。以图3 中第一排（R1）为例，P和P'分别代表对应子眼中的特征点位置。假设整个运动过程中总重叠像素为Δα，已知每个像元大小为ρ，则图像坐标系中的位移量l为

图3 目标运动过程Fig.3 Target movement process

运动目标的速度为

式中：T为运动时间，T1和T2分别表示运动起始和结束的时间。

在整个实验过程中，以C1_1 为中心子眼的7 个相邻子眼，可以同时获取该场景中运动目标的位置信息。所以在一组实验数据中，针对运动目标的每个位置均存在七组位置对应关系，可通过公式（5）取平均值的方法来减少实验误差，得到更接近真实的速度：

2 曲面复眼相机测速实验

实验场地为单向三车道，宽度为9 m，曲面仿生复眼测速系统固定在车道一侧，选择拍摄距离分别为9.4 m 和6.3 m。首先将相机摆放在合适位置，无遮挡物出现在相机的视野内，并使得运动目标能够在复眼相机和单孔径相机视野范围内运动。利用单孔径相机的录像功能，在同一次实验过程中，既能通过曲面复眼相机得到目标的运动信息，也可以利用单孔径相机得到目标的运动信息，这样大大减小了重复实验对数据造成的误差。

实验前，利用外部电源给曲面仿生复眼相机供电，输出端连入电脑，通过ipxplayer 软件实现对运动目标的拍摄。实验中，利用曲面仿生复眼相机和单孔径相机分别在同一工作距离下对行驶在道路中的汽车进行拍摄，汽车上标记一张黑色A4 纸，以4 个黑色角点为目标进行特征点检测，有利于后期数据处理，汽车保持8.33 m/s（30 km/h）的速度匀速直线行驶。曲面仿生复眼相机在拍摄距离9.3 m和6.4 m 处得到的全视场复眼融合图如图4 所示。从图4 可以看出，该曲面仿生复眼相机具有良好的成像效果。

图4 不同拍摄距离处曲面仿生复眼测速系统的融合图像Fig.4 Fusion image of curved bionic compound eye velocimetry system at different shooting distances

拍摄距离为9.3 m 时汽车在复眼图像上的起始位置和终点位置如图5 所示。从图5 可以看出，由于曲面仿生复眼相机的视场重叠优势，在原始复眼图像上有一簇子眼可以观察到汽车的运动信息，即利用曲面仿生复眼相机的视场重叠优势，在一次实验中可以得到7 组数据，通过对这7 组子眼的速度数据求平均值可使误差更小。

图5 曲面仿生复眼测速系统的测速过程Fig.5 Velocity measurement process of curved bionic compound eye velocimetry system

以黑色A4 纸为目标，通过对感兴趣区域采用角点检测，找出目标所在子眼像素坐标系下的坐标，进而利用霍夫圆检测算法、图像分割和SIFT特征点匹配算法计算出重叠区域的像素数目。通过MATLAB 对原始复眼图像进行图像分割，得到相邻2 个子眼的子图像，如图6 所示。

图6 曲面仿生复眼系统相邻2 个子眼的子图像Fig.6 Sub-images of two adjacent small eyes of curved bionic compound eye system

对相邻2 个子图像进行特征点匹配，从而计算出相邻2 个子眼之间的重叠像素数目，如图7所示。

图7 相邻2 个子图像的特征点匹配Fig.7 Feature point matching of two adjacent sub-images

在一次完整的采集过程中，运动目标从C1_1运动到所对应的C'1_1,采样时间T=1.37 s，整个过程共经过了9 个子眼，每相邻2 个子眼间会出现一次无图像区域和重叠区域。经计算，无图像区域像素数目α2=10，相邻2 个子眼之间的重叠像素数目α3=220，根据公式（2）可计算出拍摄距离为9.3 m时，整个运动过程的总像素数目为

在曲面仿生复眼相机对运动汽车进行拍摄过程中可以得到多幅复眼图像，文中只给出了部分图像。根据文中复眼图像可知，汽车运动中的2 个位置P和P'相对应，共有14 个像素坐标分别记录在14 个子图像中，通过图像处理得到的像素坐标如表1 所示。根据表1 中像素坐标，并结合公式（3）、公式（4）可计算出汽车的平均速度以及相对误差，如表2 所示。

表1 复眼不同拍摄距离处目标位置P 和P'对应的像素坐标Table 1 Pixel coordinates corresponding to target positions P and P' at different shooting distances of compound eye

表2 复眼不同拍摄距离处测试速度与实际速度对比Table 2 Comparison of test speed and actual speed at different shooting distances of compound eye

从表2 中测试数据可以看出，在一次完整的实验过程中，曲面仿生复眼相机7 组测试速度值比较稳定，远距离拍摄汽车运动速度的相对误差控制在4%以内。因此，曲面仿生复眼相机具有良好的远距离测速性能。

簇眼中7 个子眼相对误差图如图8 所示。下面对不同距离下的测速精度进行分析：（1）在不同拍摄距离下，运动目标经过的子眼数是不同的，导致计算过程中重叠像素数目不同。因为每幅子图像周围存在光晕，在对子图像进行分割时，会导致部分像素数目丢失或增加，从而影响最后的测速结果。（2）本文利用SIFT 特征点提取与匹配算法对目标进行等量代换，特征点的运动速度等于目标的运动速度。在不同拍摄距离下，目标出现在图像中的大小不同，确定对特征点的像素坐标存在0～5 个像素数目的误差，导致速度测量值存在误差。

图8 簇眼的相对误差Fig.8 Relative errors of cluster eyes

误差的产生主要与重叠像素数目的计算有关。不同拍摄距离时，目标在复眼原始图像上经过的子眼个数不同，D=9.3 m 时，目标经过9 个子眼，D=6.4 m 时，目标经过8 个子眼。故运动过程中重叠像素数目不同，导致速度误差不同。

3 曲面复眼相机与单孔径相机测速比对

为了比较曲面复眼相机和单孔径相机的测速能力，选择视场和焦距与曲面复眼相机接近的单孔径相机进行测速实验。曲面仿生复眼相机与单孔径相机的参数对比如表3 所示。

表3 曲面仿生复眼相机与单孔径相机参数对比Table 3 Comparison of parameters of curved bionic compound eye camera and single aperture camera

曲面仿生复眼镜头半径为68 mm[15]，由127 个子眼组成。每个子眼的直径为7.4 mm，子眼的焦距为5 mm，单个子眼的视场为14°，相邻子眼光轴之间的夹角为7°，角分辨率为 1.8 mrad。该复眼仿生系统的总视场角约为98°×98°，所有成像通道共用一个图像传感器，选用索尼公司的型号为NOIP-1SN025KA 的图像传感器，图像采样速率为13 fps，传感器像元尺寸为4.5 μm，系统体积为Ф123 mm×195 mm，系统总质量为1.35 kg。

单孔径测速系统由HS-95-U3 型号相机与单孔径镜头组成，镜头半径为33 mm，系统的焦距为6 mm，该单孔径系统的总视场为95.4°×78.4°。图像传感器选用的是GSENSE400BSI，图像的采样速率为23 fps，像元尺寸大小为11 μm。单孔径测速系统总体积为Ф66 mm×95 mm，系统总质量为1 kg。

在曲面仿生复眼系统拍摄的同时，得到单孔径相机对运动目标拍摄的一段视频，视频时长33 s，共697 帧图像，单孔径相机帧频为23 fps，可知任意两帧图像之间的时间差。选取四帧图像，每两帧图像可计算出一个速度值，通过四幅分时图像排列组合得到6 个速度测试值。在拍摄距离为9.3 m处，单孔径相机通过视频处理得到两组的四幅图像帧，分别是第535 帧、545 帧、560 帧和565 帧；第二组是第550 帧、563 帧、573 帧和580 帧。在拍摄距离为6.4 m 处，单孔径相机通过视频处理得到两组的四幅图像帧，第一组是第215 帧、220帧、230 帧和235 帧；第二组是第335 帧、340 帧、345 帧和355 帧。单孔径测速系统与曲面仿生复眼测速系统选取同样的特征点，结合SIFT 算法匹配出每幅图像帧中特征点的像素坐标，如表4所示。

表4 单孔径相机不同拍摄距离处目标位置帧数对应的像素坐标Table 4 Pixel coordinates corresponding to the number of target position frames at different shooting distances of single-aperture cameras

根据表4 中像素坐标，并结合公式（3）和公式（4），可计算出单孔径相机对汽车的平均速度以及相对误差，如表5 所示。

表5 单孔径不同拍摄距离处测试速度与实际速度对比Table 5 Comparison of test speed and actual speed at different shooting distances of single aperture

从表5 中多组测试数据可以看出，由单孔径相机得到的四帧图像可两两组合得到六组测试速度值，发现六组测试值波动较大，与实际速度值相比也出现较大的相对误差。

图9 复眼和单孔径相机测速结果对比Fig.9 Comparison of velocity measurement results between compound eye and single aperture cameras

4 结论

本文使用的曲面仿生复眼相机在一定程度上解决了现有大视场、高分辨率成像与数据采集同步性、实时性之间的矛盾，并且实现了对高速运动目标进行广域监控的功能。从曲面仿生复眼与单孔径相机测速对比实验中可以看出，曲面仿生复眼测速系统可以实现一组7 个子眼同时对高速运动的目标进行识别与分辨，并且相对于单孔径测速系统具有更好的稳定性与准确性。由于曲面仿生复眼相机结构小巧、携带轻便、功耗低，并且系统只采用一块图像传感器，从而确保了数据采集的同步性，同时图像处理过程全部在原始图像上进行，这样大大提高了运动目标的实时探测能力。因此，该相机在目标探测、安全监控等领域有着广泛的应用前景。