基于序列图像特征识别实时反馈伺服跟踪研究

2015-02-19孙建辉

浙江工业大学学报 2015年2期

关键词：实时控制图像处理

孙建辉，刘　坤

(浙江工业大学机械工程学院，浙江杭州 310014)

基于序列图像特征识别实时反馈伺服跟踪研究

孙建辉，刘坤

(浙江工业大学机械工程学院，浙江杭州 310014)

摘要：通过与传统位移传感器反馈控制系统进行比较研究图像处理反馈控制系统的可行性与可靠性.实验结果显示在图像采集帧速率为25 fps，运动目标速度、加速度变化的情况下，图像反馈控制实时响应较快，伺服控制电机跟踪平稳，控制可实现.得到位移曲线对比图，进一步在分辨率、峰峰值和周期等方面对两种控制跟踪位移曲线进行对比分析，数据表现出较好的吻合性，表明基于图像反馈实时控制系统控制可靠，能够达到传统位移传感器反馈控制系统的控制要求和控制效果，得出了基于图像特征识别实时反馈控制，可以应用在一些工业实时反馈控制领域的结论。

关键词：反馈控制；图像处理；电机跟踪；伺服；实时控制

Study for feature recognition of sequence images real-time

feedback servo tracking

SUN Jianhui, LIU Kun

(College of Mechanical Engineering, Zhejiang University of Technology, Hangzhou 310014, China)

Abstract:With the conventional displacement sensor feedback control system compares to study the feasibility and reliability of image processing feedback control system. The results showed that in the image acquisition frame rate of 25 fps, the moving target speed, acceleration changing circumstances, the image feedback control system has fast real-time response, servo motor tracked smoothly, control can be achieved. Got the curve comparison chart, and analyzed the two-cycle control tracking curve in further aspect of the resolution, peak to peak, and cycle. Data showed good agreement, indicated that the image feedback control system was reliable, which could achieve the control requirements and control effects of traditional displacement sensor feedback control system. The conclusion is drawn that image feature recognition based real-time control can be applied in industrial real-time feedback control field。

Keywords:feedback control; image processing; motor tracking; servo; real-time control

图像处理技术在第三代计算机问世后得到迅速发展，运动目标图像识别技术目前已成熟[1].图像反馈控制国际上研究始于60年代，国内研究起步较晚[2-3]，国内图像控制系统多数应用于安防监控和智能交通领域，对系统实时性要求不高[4].工业控制实时性要求，噪声干扰等原因成为图像反馈控制难题，基于图像反馈控制成为图像处理和控制交叉领域的研究热点[5-6].文献[7]探讨了运动目标识别与跟踪控制实现方案，理论证明了基于图像反馈控制是可实现的，缺乏实验验证.文献[8]研究了一种机器人的运动目标识别与跟踪控制，在运动随机性较小的情况下实现了图像反馈伺服控制.相对这类机器人识别，由于控制距离较远，反馈时间精度要求不如有实时反馈的工控领域中的控制。

以航天测试装置恒张力跟踪控制系统为载体，研究图像处理反馈控制系统的可行性，并与现有传感器控制系统进行比较，得到在摄像机简单标定、存在背景干扰及图像采集速率为25 fps等实验条件下，能够实现对运动目标的稳定识别；在目标速度可变的情况下图像反馈控制伺服系统能够实现平稳跟踪。

1图像反馈控制系统

控制系统包含三个模块：图像采集模块、图像处理模块和伺服控制模块.图像采集摄像机型号为scA1390-17fc，分辨率为960×1 280 ppi，镜头型号为M1214-MP，焦距为12 mm，镜头直径与焦距之比最大值为1∶1.4；图像处理部分PC机内存不得低于2 GB，主频在2 GHz以上，并自带USB3.0接口；伺服控制器采用STM32F103RC为核心的微处理器控制器，该微处理器是一款低功耗处理器，具有门电路数目少，功能强大，中断延迟短，调试成本低等特点.实验平台由气浮组件和跟踪导轨组成，气浮组件包括气浮托盘和气浮盘，二者之间产生气膜，物体悬浮抵消自身重力，跟踪装置控制气浮托盘跟踪气浮盘运动变向延长气膜面积，解决大范围气浮平面加工困难的问题。

图1　图像反馈控制实验图Fig.1　Image feedback control experiment picture

图1为实验过程拍照图，系统整体结构图如图2所示.控制原理：摄像机实时采集气浮盘图像经USB3.0传输给PC机进行处理，计算出气浮盘质心位置，主控制板卡根据气浮盘质心位置计算出气浮盘与气浮拖盘位置差，并将位置差通过CAN总线传递给电机子板卡，电机子板卡将位置差通过DAC转换为-10～+10 V模拟电压，驱动速度模式下伺服电机改变电机转速调节气浮托盘位置，实现气浮拖盘对气浮盘位置的实时跟踪，控制结构图如图3所示.根据本系统要求，应使气浮盘在速度可变，加速度可变的条件下达到控制系统实时响应速度快，跟踪控制可靠，跟踪平稳，避免出现撞车飞车现象。

图2　系统整体结构图Fig.2　System block diagram

图3　图像反馈控制结构图Fig.3　Image feedback control structure diagram

2图像处理模块

图像处理识别过程分为真色彩AVI视频拍摄、帧图像处理和目标运动状态识别三个部分，处理过程如图4所示.摄像机拍摄真色彩AVI视频被分割成图像序列，对每帧图像进行灰度化、二值化分割和目标特征边缘检测等图像处理过程，利用多帧图像相关性和运动目标连续性识别目标，计算出目标质心，获得气浮盘运动位置信息，控制器根据位置信息驱动伺服电机跟踪运动。

图4　运动目标识别原理图Fig.4　Moving object recognition schematics

2.1图像二值分割

为降低气浮盘状态识别难度，在气浮盘上粘贴三个反光标志点(标志点呈圆形，直径10 mm，三点对称，距气浮盘中心等距).实验中某一帧原始彩色图像如图5(a)所示，三个标志点肉眼清晰可见.图5(b)为该帧图像的灰度图，标志点和背景对比明显为后续处理做好了基础。

二值分割[9]是将一幅图像的所有像素点按照256灰阶分类，将高于灰阶T像素全部显示成白色，低于某一灰阶的像素点显示成黑色，其关键点为阈值的选取.笔者采用改进的OTSU阀值分割法[10]，该方法自适应能力强，具有分割效果稳定的特点.基本原理是以图像直方图的某一灰度值作为阀值，将图像划分为两部分，计算被划分部分的方差值，当计算出的方差值最大时，则以此灰度值作为阈值对图像进行分割。

设阈值T将图像分割成C0和C1(目标和背景)，C0和C1对应的灰度级集合分别为{0,1,…,T}和{T+1,T+2,…，L-1}，最大类间方差法[12]阈值选择函数为

δ2(T)=ω0(μ0-μ)2+ω1(μ1-μ)2=

(1)

式中：T为最大差分法的阀值，即最佳二值分割阀值；ω0，ω1分别为C0，C1的概率；μ0，μ1分别为C0，C1的均值。

可得，从0到L-1改变T的值，当T的值使式(1)最大时，此时T就是分割的最佳阀值.它将整张图像分割成目标和背景两部分，经过二值化后的图像如图5(c)所示。

图5　图像处理算法效果图Fig.5　Image processing algorithms renderings

2.2目标点质心获取

二值化处理后三个标志点明显为圆形，其余目标均为不规则形状.根据圆形检测算法判断出每个目标是否为圆形，若为圆形目标，则此认为目标为标志物，反之，目标不是标志物。

设目标点周长为l，面积为s，若目标点为圆形，则其面积s与周长l应满足公式[12]为

(2)

得出三个标志点的像素坐标(xa,ya)，(xb,yb)和(xc,yc)，为图5(e)中三个圆形白点，并标出像素坐标值.由式(3)计算出气浮盘像素质心坐标(x,y)为

(3)

已在图5(f)中标出了其像素坐标值.实验中气浮盘行程在x方向运动，y方向微小波动，位移可忽略不计.通过每帧图像中气浮盘位置求得气浮盘的在x方向像素位移S0，可求得气浮盘实际运动位移S为

(4)

式中：L为拍摄的图像的实际长度，实测为351.7mm；M为图像长轴方向分辨率为1 280ppi。

本次测量的是绝对坐标系下的参数，再经处理，平滑一阶微分和二阶微分运算直接计算出目标运功物体的绝对速度和绝对加速度，这些参数对分析控制系统性能具有重要意义。

3传统传感器反馈控制系统

为了进一步研究图像反馈控制系统与现有技术之间优缺点对比，在测试系统中，设置一套传统位移传感控制系统.与图像反馈控制系统安置位置不同的是，传统反馈控制将位移传感器安装于气浮导轨位置，检测气浮盘位置。

控制原理：将预设位置差设定值传入控制器，控制器将该值转换成电机转速，控制伺服电机使得气浮托盘跟踪气浮盘保持的相对位置.当相对位置发生变化时，由位移传感器检测出气浮盘实际位置，控制器计算相对位置，控制器将计算位置差和预设位置差通过控制算法计算出控制值，控制伺服电机转速，调整气浮盘和气浮托盘间的相对位置.经过多次反馈，循环控制，从而达到跟踪平稳的目的。

主控制器采用STM32F103RC处理器为主控制器，控制板卡分为：主控制板卡负责数据计算处理，监控板级间通讯和电机子板卡的运行；电机驱动板卡接收主控制板卡命令负责驱动伺服电机.位移传感器采用SCIK公司生产的OD2系列激光位移传感器。

4实验数据对比分析

实验中，通过运动模拟机构模拟简谐运动(周期为30 s，行程为266 mm)带动气浮盘运动，同时先后采用图像采集方式和位移传感器采集方式，给出两次曲线对比图，并进一步对两次曲线在分辨率、峰峰值误差和周期等方面进行了对比分析，并给出分析图。

图6为传感器方式和图像方式采集的气浮盘120 s内位移曲线.两种采集方式相互独立，各自参考基准点不同，传感器方式的参考基准点为简谐运动的平衡位置，图像采集系统的参考基点为拍摄区域的左上方顶点，经计算两种控制方式采集的曲线位移偏差为221 mm.消除参考基准点不同引起的偏移偏差后可见：两运动曲线重合，表现出相同的周期和振幅，表明图像采集系统和传感器采集系统得出的物体运动状态一致；其次两条曲线相位相同，表明两种采集系统响应时间相差无几，均符合要求；最后传感器采集曲线较光滑，而图像采集曲线略有些小毛刺，这是由这两套检测系统安装位置不同造成的，但均能实现跟踪控制。

图6　位移曲线对比图Fig.6　Displacement curve comparison chart

实验测试中，摄像机拍摄分辨率为960×1 280 ppi，摄像机拍摄的长轴方向实测范围为351.7 mm.由于气浮盘实际运动行程为266 mm，在摄像机视场的中心近轴区域内，其场曲、视差等像差较小，认为每一像素代表实际位移0.27 mm.本控制系统将气浮盘和气浮拖盘之间相对位置控制在2 mm以内，因此气浮盘在摄像机视场中沿光轴轴向位移引起的像差可忽略不计.位移传感器采用激光型传感器，其分辨率可达到微米级别，实验过程中软件标定到1 mm.实验证明图像反馈控制方式可达到平稳跟踪的效果。

4.1峰峰值、周期对比

图7(a，b)分别给出了两曲线峰峰值误差图和周期对比图，数据分别提取前10个周期数据进行对比。

图7　数据曲线分析图Fig.7　Curve data analysis chart

图7(a)为曲线峰峰值误差变化曲线，可以看出：两运动曲线波峰、波谷误差在±1 mm内，经数据分析计算位移相对误差小于1%，峰峰值变化趋势表示出良好的一致性，位移曲线表现出良好的吻合性，实验数据进一步证明图像反馈控制具有和位移传感器反馈控制一样的控制效果。

图7(b)为曲线周期对比图，可以看出：曲线周期亦表现出良好的一致性，周期变化趋势相同，周期相对误差亦低于1%，可以忽略，控制效果稳定，表明基于图像反馈控制的稳定性可以达到位移传感器反馈控制要求。

4.2小结

通过两种采集方式的运动曲线的对比分析，得出图像反馈控制以下特点：

1) 基于图像反馈控制系统具有可实现性.实验证明方案是可行的，达到预设技术指标要求，为本航空航天测试装置以及其他工业控制提供了一种新的简便的控制方案。

2) 基于图像反馈控制系统比位移传感器控制系统具有优越性.首先在于图像反馈控制系统摄像机比传统高精度位移传感器的成本低，摄像机安装位置精度低，降低了现场安装困难.其次其测量的是绝对坐标系下的参数，可用于直接计算目标物体的绝对速度，绝对加速度等有重要实际意义的参数，在测试系统中提供了重要的数据.再次图像反馈控制系统能够将试验过程进行实时备份，对航空航天等试验对象有重要意义。

3) 基于图像反馈控制系统具有可靠性.实验得到图像反馈方式与位移传感器反馈方式控制效果相同，达到本次控制指标，在规定技术要求内能够控制平稳，机械噪声低。

5结论

通过实验对连续多帧序列图像处理识别运动目标状态并反馈控制跟踪进行研究，通过对比图像反馈控制系统数据和传感器反馈控制系统试验数据，得出基于图像反馈控制系统是可靠的.实验数据显示，运动目标在做位移为266 mm，周期为30 s的简谐运动情况下，图像采集帧速率为25 fps的条件下，控制系统可以平稳跟踪，达到本次控制要求，可以完全代替位移传感器进行实验控制.实验表明通过图像反馈控制的伺服系统可平稳运动可靠跟踪.为本次航空航天恒张力测试装置进一步改进提供了实验依据。

参考文献：

[1]黄金,梁彦,程咏梅,等.基于序列图像的自动目标识别算法[J].航空学报,2007,27(1):87-93。

[2]李正周,董能力,金钢.序列图像运动点目标快速检测与跟踪算法[J].红外与激光工程,2002,31(6):473-477。

[3]岳玉芳,安建祝,张玉双.运动目标识别与跟踪仿真系统的基本技术问题[J].计算机工程与设计,2012,33(8):3171-3175。

[4]杨东勇,冯形松.采用形态学算子的运动目标检测跟踪方法研究及实现[J].浙江工业大学学报，2010,38(2):149-154。

[5]董然,师卫.基于边缘检测和形态学处理的车牌定位[J].机械工程与自动化,2010(6)：45-47。

[6]邢海潇,赵国军,王飞,等.基于ARM的图像处理技术在电梯门系统的设计[J].浙江工业大学学报，2010,38(5)：583-585。

[7]张艳玲,陈蕾.运动目标识别与跟踪系统实现方案探讨[J].科技信息,2007,36：374-375。

[8]朱参世,安利.运动目标识别方法与仿真研究[J].计算机与现代化,2010(5)：63-65。

[9]江明,刘辉,黄欢.图像二值化技术的研究[J].软件导刊,2009,8(4)：175-177。

[10]何志勇,孙立宁,陈立国.Otsu准则下分割阈值的快速计算[J].电子学报,2013(2)：266-271。

[11]冯捷,郑河荣.基于灰度合成的图像素描效果生成算法[J].浙江工业大学学报，2009,37(3)：316-319。