基于FPGA的高速运动物体追踪系统
2022-01-17耿磊
耿 磊
(中国船舶重工集团有限公司第七一七研究所华之洋科技有限公司 湖北·武汉 430073)
0 引言
高速目标跟踪技术要应用于智能视频监控、军事研究、人机交互、机器人视觉导航、智能交通等应用场景。为了更好的适应如今实际场景对高效、长时间、快速反应等的要求,机器视觉对目标物体的高速追踪监控能力被提了出来。本文主要对单一移动物体的快速跟踪并对其同步图像进行显示做出研究。
1 系统硬件设计
系统通过CMOS传感器收集图像信息,经过FPGA实时处理,同步跟踪并传输显示摄像视频画面。其中主要有摄像模块、存储BRAM模块、色彩格式转换模块、色彩检测模块、坐标计算、VGA显示和舵机控制模块等。硬件结构如图1所示。
1.1 FPGA模块
Artix 7平台属于 28nm 工艺,搭载的是XC7A35TCPG236,拥有5200个slice资源,相当于33280个逻辑单元,容量为1800Kbits的RAM块,5个时钟管理单元,每个单元带有一个锁相环(PLL),90个DSPSlices,内部时钟速率超过450MHz,一个片内模数转换器(XADC)。
1.2 摄像模块
摄像部分应用的是OV7725模块,OV7725芯片内置图像处理单元,速度60fps,外部通过SCCB接口控制芯片的曝光调整、白平衡、色彩饱和度调节以及gamma调整等,OV7725的红、绿、蓝三基色通道用同一个十位AD,工作频率12MHz。广泛应用于数字视频系统、高分辨率的彩色图片图像处理、视频信号再现等,因此,能够满足我们的应用需求。
1.3 云台舵机模块
云台舵机共分为水平方向和竖直方向各一个,共同组成一个二自由度平台。平台两个舵机分别对应屏幕的横坐标和纵坐标的修正控制,用以接收应对坐标的调整,以达到对摄像模块水平和竖直方向的运动动作需求。
本平台舵机采用的是四线舵机,型号为FB5317M,每个舵机包含电源线、地线、PWM控制信号线和一根舵机位置角度反馈线。舵机采取6V电源供电,静态电流为5mA,空载电流达到150mA,堵转电流最高为1500mA,空载速度可达0.2sec/60o,完全能够达到摄像跟踪目标物的需求。
2 FPGA内部模块设计
2.1 摄像头驱动模块
首先实现SCCB协议驱动OV7725的摄像芯片,图像采集后,由于QVGA时序与VGA时序存在差距,所以对于实时VGA显示功能不能直接把摄像模块的数据直接接入VGA,需要通过将采集数据存储后,再读取,于是我们把每帧画面像素数据转存于BRAM中。
图2:系统测试图
2.2 色彩转化及处理模块
BRAM中图像的格式为RGB,由于本次研究中使用的目标物体为单一色块,色彩比较稳定,因此检测方案以色彩为主,故HSV格式更加契合。HSV格式把图像的饱和度、色调和亮度属性分离。我们采取了调用低延迟的除法器实现颜色饱和度分量和色调色彩分量之间的快速计算,从而能够在现有的硬件和算法优化下达到预期的RGB和HSV的高速转换。
系统在识别之前,需要通过学习,记住目标色彩特征,然后再在摄像区域寻找与目标物体的HSV分量相似高的像素,最终通过过滤和标注,获取相近像素点的坐标进行求平均计算,计算结果作为最终舵机模块对于摄像区域修正的依据,以及控制舵机运动的参数值。
2.3 舵机控制模块
舵机控制模块主要分舵机反馈信号处理与舵机控制数据转PWM波组成。舵机的实时位置通过电压形式反馈接入xadc模块,通过模数转换,将舵机反馈的位置坐标与来自色彩转换得来的目标物体中心坐标对比,计算出差值,分解为x和y坐标值控制信号输出,输入到后续的PWM发生模块,进行数据转PWM波输出,以驱动云台跟踪目标。
2.4 VGA驱动模块
要把存储器里的图像在VGA显示器中显示,扫描时序是需要VGA驱动模块产生的。将存储在BRAM中的图像像素数据通过AD转换器生成R、G、B三原色信号和行、场同步信号,然后通过VGA接口传输给显示设备所需的模拟信号。本系统从缓存中读出的图像大小为640×480,扫描频率60 Hz。
3 系统测试及分析
该系统依照如下步骤进行测试:
第一步:准备工作,将系统各模块连接并接上电源;
第二步:调整摄像焦距与连接检查,通过VGA显示画面,查看状态,画面是否模糊,是否存在雪花等噪音。若画面模糊,通过手动将摄像模块的焦距调整到合适情况;
第三步:目标学习,生成系统记忆,把目标物放入屏幕画面中心黄色框内,按下学习按钮,提取目标物像素。然后将拨动拨码开关,此时系统进入对目标物跟踪状态;
第四步:进行目标跟踪实验,记录延时信息;
第五步:系统清除记忆像素,重复设定。
图2为系统测试图,目标物体的特征像素采集后,屏幕中绘画出红色十字架,十字架中心焦点即为目标物体像素中心坐标点,同时把目标物体像素标绿显示。测试结果良好,画面清晰,跟踪稳定,达到了设计目标。
4 结论
本文实现了一个对单一目标物体的快速跟踪系统,并能够同步把目标图像进行VGA显示。在跟踪状态下,能适应目标物体速度的变化,实时性好、图像显示清晰,达到了预期要求,有很强的实用性和推广性。