一种高速视觉实时定位与跟踪系统的研制

一种高速视觉实时定位与跟踪系统的研制

郑西点1,袁浩巍1,杜正阳2,陈忠1,张文强2

1. 上海电气集团股份有限公司 中央研究院，上海 200070

2. 复旦大学计算机科学技术学院，上海 200433

摘要：针对机器视觉系统不断提高的速度与实时性需求，研制了一种可利用高速视觉反馈，实时定位与跟踪快速运动目标的高速视觉系统。系统基于工业PC机，选用CMOS高速相机和带Camera link与PCIe接口的高速图像采集卡，实现了帧频为1000帧/s的图像采集(图像分辨率： 816×600像素)与传输。系统集成的高效图像处理算法完成对目标的特征提取和坐标计算，处理周期小于1ms。在实验室条件下，高速视觉系统实现了对转动圆盘上的圆形目标、运动乒乓球(速度： 3m/s)的实时定位与跟踪。实验数据表明，在物距1.5m情况下，高速视觉系统的定位精度小于10mm。研制的高速视觉系统充分满足了高速性、实时性和精确性的应用需求。

关键词：高速视觉; 实时; 定位与跟踪; CMOS高速相机; 图像处理算法

CMOS high-speed Camera; Image Processing Algorithm

随着军事、航天、工业生产和科研领域的发展，对机器视觉系统的速度与实时性的需求也不断提高，研究高速实时的基于视觉反馈的目标识别与定位跟踪系统变得更加急切和重要。机器视觉系统获取高速实时的视觉反馈信息，必须基于一个高速的图像采集处理系统，高速图像采集处理系统一般是指采样率在100MSPS(MSPS： Million Samples Per Second，即每秒模数转换器的采点数)以上的图像采集系统。从分辨率和采集帧频两个指标看，目前的高速工业相机产品多已能满足采样率要求，留待高速实时视觉系统解决的瓶颈问题是： 如何将海量图像数据实时地传输到处理单元以及如何设计高效算法来提升图像数据的处理速度。

日本东京大学Ishikawa实验室在2000年推出了处理周期为1ms的CPV(Column Parallel Vision)视觉系统。该视觉系统包含一个128×128像素PD(Photo Detector)阵列，在每个PD后都与一个PE(Processing Elements)直接相连，以提高图像数据到处理单元的传输速度。CPV系统采用简单高效的图像处理算法，确保在1ms内就能提取出跟踪目标的图像特征信息；但CPV系统架构特殊，单张照片128×128像素的分辨率限制了视觉覆盖的范围。立命馆大学的Shimizu3]等人介绍了一种CMOS+FPGA视觉系统，对256×256像素的图像实现了1000fps的高速采集与处理。系统在FPGA芯片上移植了复杂的图像处理算法，在相同的频率下，完成了对图像特征信息的获取。复杂的算法带来的弊端是，处理单张图像所有像素所需时间长，限制了采集图像的分辨率。

为提高高速视觉系统的采样频率和满足实时性需求，上海电气机器人研究室在2014年开发了一套高速视觉实时定位与跟踪系统，采集帧频为1000fps，图像分辨率为816×600像素(单像素8bit)。系统集成了CMOS高速工业相机和高速图像采集卡，通过高速传输协议实现了海量图像数据的高速实时传输，并设计了高效的图像处理算法，将图像数据处理周期控制在1ms以内，并保证了定位与跟踪的精度。

1系统的硬件架构

高速视觉实时定位与跟踪系统包含了带CMOS高速工业相机、高速图像采集卡、PC机以及连接线缆。高速工业相机的CMOS图像传感器以1000Hz的频率将捕捉到的图像序列通过Camera link高速传输接口传送到高速图像采集卡，再通过PCI-E将数据传输给PC机进行下一步处理。

1.1　CMOS高速工业相机

系统选用德国Optronis公司的CL600×2面阵CMOS高速工业相机作为图像采集单元。CL600×2(如图1所示)采用大像元设计，灵敏度高，拍摄高速运动时图像没有模糊。图像输出为彩色Bayer模式，在全分辨率(1280×1024像素)下帧频为500帧/s。

图1　CL600×2面阵高速工业相机

CL600×2的传输接口为Camera link Full接口，按Camera link通讯协议标准传输数据。Camera link是专为计算机视觉应用设计的串行通讯协议标准，根据使用芯片数量分为Base/Medium/Full三种配置方式。最快的Camera link Full方式使用了3块Camera link芯片和两根电缆，传输速率高达5.44Gbit/s，即每个时钟周期可同时发送8个像素点8bit的Bayer图像数据信息(芯片运行频率为85MHz)。此外，Camera link传输接口还带有离散控制差分信号和异步串行通信信号的通道，方便了上位机对相机的控制和通信设置。

1.2　高速图像采集卡

为支持CL600×2高速工业相机大数据量的图像采集和传输，系统选用了Silicon Software公司的AD4-CL多通道高速图像采集卡，如图2所示。AD4-CL采集卡采用DMA方式传输，持续传输速率可达850MB/s。在相机侧，它支持Camera link(Full模式)接口，而在PC侧是基于PCIe总线的，通过主板上的PCIe×4插槽即可将图像数据传输到PC中。

图2　AD4-CL高速图像采集卡

AD4-CL图像采集卡上还集成了一系列图像预处理的功能，如降噪、光补偿等。AD4-CL图像采集卡实现的主要功能如下： ① 高速工业相机的参数配置，如图片分辨率、曝光时间等；② 相机采集图像数据的缓存与读取；③ 图像数据的格式转化。

2系统的算法设计

由于每帧图像的处理时间被限制在1ms内，相应的图像处理算法就必须追求高效性，下面按图像预处理和定位与跟踪算法两方面来进行介绍。

2.1　图像预处理算法

预处理算法的输入是Bayer格式的原始图像数据。在Bayer格式图像4]中，单一像素点的颜色只有RGB中的一种颜色值(R： 红色，G： 绿色，B： 蓝色)，单帧图像各个像素的颜色排列如图3所示。Bayer格式无法直接用于定位与跟踪算法中，故要进行格式转换。本系统主要采用形状特征，对颜色要求不高，且灰度便于计算，时间效率高，故选择转成灰度图像进行后续处理。预处理算法分为Bayer转RGB以及RGB转灰度两部分。

图3　Bayer图像

Bayer转RGB过程需要恢复单个像素另外两种缺失的颜色值，Bayer图像转RGB图像的恢复算法主要有最邻近插值法、线性插值法、线性自适应插值、三阶多项式插值法、三次样条曲线插值法等。经过对算法效率的权衡，系统选用的是最邻近插值法5]。

单像素由RGB格式转灰度格式过程可由下式计算得到：

Gray=0.299R+0.587G+0.114B

(1)

式中：Gray为像素的灰度值。

2.2　定位与跟踪算法

在本项目设计的验证平台上，需要定位与跟踪的目标为快速运动的圆形目标，故定位与跟踪算法使用了基于圆拟合的方法实现对运动目标的快速定位与跟踪。

(1) 对每帧图像可以根据上一帧图像中目标的定位结果以及预计的目标最大运动速度，得出目标圆心所在的范围，然后对图像进行开窗处理ROI(Region Of Interest)操作，对于第一帧图像，则需在全图范围内对目标进行搜索定位。

(2) 在ROI范围内枚举目标的位置以及半径，每一组圆心位置及半径可以确定一个圆，将坐标集合计为：

C={p1,p2,…,pN}

(2)

(3) 对圆周上像素的梯度值进行统计，得到各组圆的圆心半径的权值：

(3)

式中：diri表示圆周上第i个点应该取什么方向的梯度；d(pi,diri)表示取pi像素点的diri方向的梯度。

(4) 选择权值最大一组的圆心坐标和半径作为最终的定位与跟踪结果。

其中第(2)步采用查表法以提高时间效率；第(3)步对d(pi,diri)开方是为了减小噪声的影响。

基于圆拟合的定位与跟踪算法得到的是相对于图像坐标系{OfXfYfZf}的圆心坐标，后续的坐标系转换算法将求出目标在世界坐标系{OwXwYwZw}中的坐标，图4中定义的坐标系统如下。

(1) 世界坐标系{OwXwYwZw}： 客观世界的绝对坐标。

(2) 相机坐标系{OcXcYcZc}： 以小孔相机模型的聚焦中心为原点，以相机光轴为Zc轴建立三维直角坐标系，Xc、Yc与图像坐标系的Xf、Yf平行。

(3) 图像坐标系{OfXfYfZf}： 固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角，Xf、Yf轴分别为行、列方向。

(4) 云台末端坐标系{OeXfYfZf}： 云台是搭载相机完成回转和俯仰转动的装置，云台末端坐标系与相机坐标系之间存在平移和转换的矩阵，需通过对相机进行手眼标定后得到。

相对于云台末端还有固定于云台基座的云台基坐标系，因设置其与世界坐标系重合，故不赘述。

图4　坐标系统定义

所以，坐标系转换算法包括3个过程。

(1) 图像坐标系转到相机坐标系。将像点P的图像坐标齐次化为[uvT，它与物点P在相机坐标系下的表示XcYcZc]具有如下关系：

(4)

式中：fx、fy为相机的X和Y方向的等效焦距；u0、v0是光轴与图像平面的交点坐标，即主点坐标。

fx、fy、u0、v0为摄像机内部参数，由相机标定过程得到[6-7]。

(2) 相机坐标系转到云台末端坐标系。相机坐标系是通过平移和旋转变换到云台的末端坐标系，这是典型的机器人手眼标定过程8-9]。手眼标定可得到旋转矩阵R和平移向量T，按下列公式，即可完成将物点P在相机坐标系的表示转换为在云台末端坐标系的表示。

(5)

(3) 云台末端坐标系转到世界坐标系。云台末端坐标系也是通过平移和旋转变换到世界坐标系下的，其中旋转矩阵R′可以根据云台的回转角Pan和俯仰角Tilt值得到：

(6)

设置云台在回转角Pan和俯仰角Tilt值为0时，云台末端坐标系与世界坐标系是平行的。平移向量T′通过测量两个坐标系原点间的距离得到。

上述3个转换过程叠加即可得到图像上目标圆心在世界坐标系下的坐标。据此可以计算高速伺服云台的运动角度，并按控制策略给出跟踪控制指令，保证目标一直处在相机视野的中央附近。对云台的控制方式采用只给出绝对角度的方法。

3快速目标定位跟踪的验证实验

为了验证高速视觉系统对快速运动目标的实时定位与跟踪能力，设计了2项验证实验，并搭建了相应的验证平台。

第一项实验是定位跟踪旋转圆盘上的圆形目标，验证平台如图5所示，远端的旋转圆盘机构是运动发生装置，使用伺服电机带动贴有亚光纸的圆盘作高速旋转，而贴在圆盘边缘(距离圆心180mm)的白色圆形贴纸即为实验定位与跟踪的目标。实验设置圆盘最大转速为150r/min，目标运动的最大线速度为3m/s。

图5　旋转圆盘运动验证平台

高速伺服云台主要功能是搭载相机完成回转和俯仰转动，使相机视场覆盖目标的运动范围，并在焦距变化允许范围内采集图像。本系统选用FLIR-D46云台，回转轴转速可达300°/s，俯仰轴的转速为60°/s。

第二项实验是定位跟踪颠球时运动的乒乓球。如图6所示，操作者在云台前方1.5m处进行颠球操作，高速伺服云台带动相机，定位上下运动的乒乓球(最高速度3m/s)。由于人操作的随意性，乒乓球运动轨迹不可预测，难度更大，可验证高速视觉系统的实时定位与跟踪能力。

图6　乒乓球颠球跟踪实验

4实验结果与讨论

两项验证实验都是在1000fps的采集帧频下进行的，原始图像分辨率为816×600像素。经过图像处理算法，旋转圆盘上的圆形目标定位效果如图7所示，颠球中的乒乓球目标定位效果如图8所示。图像处理算法的耗时情况见表1，表中编号1-4对应的是定位旋转圆盘上的圆形目标，编号5-8对应的是定位颠球中的乒乓球。由表1可见，当减少ROI范围大小时，定位目标圆心的耗时也减少。ROI范围与预计的目标最大运动速度直接相关，当目标运动速度较快时，下一帧的ROI范围也相对较大，耗时较长。在验证平台上，当目标速度低于3m/s时，高速视觉实时定位与跟踪系统都可以在1ms内定位跟踪到运动目标。

图7　定位旋转圆盘上的圆形目标(a) 原图 (b) 梯度图像 (c) 圆心定位结果

图8　定位颠球中的乒乓球目标(a) 原图 (b) 梯度图像 (c) 圆心定位结果

定位精度是系统关注的另外一个指标，在图像坐标系上，目标圆心的定位误差在1个像素以内。而转换到世界坐标系下，目标圆心的定位误差为10mm内(物距为1.5m)，由于实验中引入了标定误差以及机械误差，精度仍有提高的空间。

表1　图像处理算法耗时情况

5结论

本文从硬件架构、算法设计、验证实验3个方面介绍了一种高速视觉实时定位与跟踪系统的研制。

验证实验显示，此种高速实时的视觉系统可在高速采样频率下，完成对快速运动目标的实时定位与跟踪。该系统具有稳定时算法处理周期短、定位精度好的优点。

参考文献

1] 宋燕星.高速图像采集处理系统中若干关键技术的研究D].哈尔滨： 哈尔滨工业大学,2010.

2] Nakabo Y, Ishikawa M, Toyoda H, et al. 1 ms Column Parallel Vision System and Its Application of High Speed Target TrackingC]. Proceedings of the 2000 IEEE International Conference on Robotics and Automa-tion, San Francisco, CA, 2000.

3] Shimizu K, Hirai S. CMOS+ FPGA Vision System for Visual Feedback of Mechanical SystemsC]. Proceedings of the 2006 IEEE International Conference on Robotics and Automation, Orlando, FL, 2006.

4] Bayer B E. Color Imaging Array. US Patent: 3971065, 1976-07-20.

5] 陈楚君.基于FPGA的Bayer图像彩色插值系统的设计与实现D].中国科学院研究生院(西安光学精密机械研究所),2010.

6] Bouguet J Y. Camera Calibration Toolbox for Matlab. [EB/OL]. http:∥www.vision.caltech.edu/bouguetj/calib_doc/htmls/example.html, 2003.

7] Weng J, Cohen P, Herniou M. Camera Calibration with Distortion Models and Accuracy EvaluationJ]. IEEE Transactions on Pattern Analysis and Machine Intelli-gence, 1992,14(10)： 965-980.

8] Shiu Y C, Ahmad S. Calibration of Wrist-mounted Robotic Sensors by Solving Homogeneous Transform Equations of the Form AX=XBJ]. Robotics and Automation, IEEE Transactions on, 1989,5(1)： 16-29.

9] 张云珠.工业机器人手眼标定技术研究D].哈尔滨： 哈尔滨工程大学,2009.

年内核电市场拉开发展序幕

近日，国家能源局同意《关于福建福清5、6号机组工程调整为“华龙一号”技术方案》，第三代国产核电技术获认可。同时强调要充分利用我国目前的核电装备制造业体系，支持关键设备、零部件和材料的国产化工作，压力容器、蒸发器、主泵、数字化仪控系统、堆内构件、控制棒驱动机构、常规岛等关键设备、泵/阀门等零部件、690U型管、核级电缆、焊材等关键材料的国产化比例不得低于85%。

该消息正式标志着具有完整自主知识产权的第三代国产核电技术获得全面认可落地，核电年内重启基本确定。至此，核电新项目年内获批条件完全具备。福清二期和防城港二期共四座机组已排除了最大的启动障碍，预计将于年底迅速启动。同时，在国家核安全局11月4日召开的核电话题专题解读会上，相关人士也透露，核能作为目前唯一可大规模利用的替代能源，已经成为我国能源战略的必然选择。

今年以来，我国能源结构调整不断深入，随着日本核岛事故负面影响逐渐消退，快速发展核电成为业内共识并渐渐得到高层认可。

当前核电重启急迫，市场建设积极性高，预计福清5、6号机组调整方案具有非常强的示范效应。本次技术调整也暗含着“华龙一号”的技术成熟度、安全性等得到了上层认可，意味着调整后的机组建设速度可能会加快。

值得注意的是，前不久，发改委正式核定了沿海4个核电站项目的开工计划，分别是山东荣成石岛湾一期、辽宁葫芦岛徐大堡一期、广东陆丰一期和辽宁大连红沿河二期，合计总装机量为1010万kW，预计分别将于2017年前后并网发电。

按照国家能源局“十二五”规划及长期规划，2015年、2020年、2030年我国在运营及在建装机量分别达到5800kW、8800kW及15000kW，意味着2015—2030年间将新开工101座机组，总投资额1．2万亿元。即每年新开工6座百万千瓦机组，每年核电投资600亿元，其中每年设备投资额将达到300亿元，市场空间巨大。

(摘自《证券日报》)

R & D of a High-speed Visual and Real-time

Positioning & Tracking System

ZhengXidian1,YuanHaowei1,DuZhengyang2,ChenZhong1，ZhangWenqiang2

1. Shanghai Electric Group Co.,Ltd. Central Academe, Shanghai 200070, China

2. Fudan University, School of Computer Science, Shanghai 200433, China

Abstract:Aiming at the escalated demands on speed and real-time properties in robotic vision system, a high-speed vision system was developed and the system can utilize high-speed visual feedback to realize real-time positioning and tracking of fast-moving targets. This system was built on industrial PC system and adopts high-speed camera and high-speed image acquisition card with Camera link and PCIe interfaces to achieve image acquisition and transmission at a frame rate of 1000/s (image resolution: 816×600 pixels). High efficient image processing algorithm integrated in the system can complete the extraction of target features and the coordinate calculation within a processing cycle of 1ms. Under laboratory conditions, the high-speed vision system can position and track the circular targets on the rotating disc and the moving pingpong ball (speed: 3 m/s) in real time. Experimental data demonstrated that the positioning accuracy of the high-speed vision system was less than 10 mm provided the object distance was 1.5m. The developed high-speed vision system could fully meet with the application demands i.e. high-speed, real-time and accuracy.

Key Words:High-speed Vision; Real Time; Positioning and Tracking;

中图分类号:TP 391.41

文献标识码:A

文章编号：1674-540X(2015)01-025-06

作者简介：郑西点(1988-)，男，研究生，主要从事机器人、计算机视觉的研究工作，
E-mail： zhengxd2@shanghai-electric.com

收稿日期：2014-10-20