EmguCV 耦合视觉引导的图像目标定位与补偿技术研究

王帮元

(安徽经济管理学院 信息工程系，安徽 合肥230051)

随着电子行业产业化的推进，机器视觉技术在该领域内得到广泛应用，并且已在很大程度上推动了行业生产力发展［1－3］．机器视觉的作用主要有:视觉引导、缺陷检测等［4－6］，其中的目标定位是视觉引导的关键，也是前提，尤其是角点定位．在平板电脑自动组装中，电脑零部件背光板的位置经常需要传递给机器人的机械手臂，实现精准抓取．因此，对背光板顶点的准确定位直接影响到产品的质量和效率．对此，已有部分学者设计了相应的角点目标定位算法，并且达到了一定的效果．如利用梯度均方差进行特征分析后提取角点的定位算法［7］．还有利用局部图像区域直方图特性定位角点的定位算法． 这些算法的实验结果表明其具有良好的视觉定位效果［8］．尽管上述这些角点定位机制能够取得较好的效果;但是当目标存在干扰时，这些算法的定位精度较低，存在明显的定位偏差．

对此，本文提出了一个基于Emgucv 与视觉引导的定位机制．首先打通相机SDK 与C#－Emgucv 平台的数据通道，实现图像采集;然后基于轮廓匹配得到背光板区域，再通过最小矩形框定背光板后查找背光板顶点，实现定位．最后计算出水平、垂直方向偏移和旋转角度，实现基于视觉引导的机构补偿．最后通过实验，验证了本文算法与传统定位算法的定位性能．

1 本文整体定位与引导机制

由于一块反光板上有三个顶点需要定位，因此本文机制采用2 个摄像头分2 次抓取三个顶点所在视野，然后分别定位．考虑到C#在界面、运行效率、通信方面比较有优势，故选用C#语言开发软件系统，且在C#平台上调用Emgucv 也很方便．首先研究相机C#版本的SDK 底层函数，然后用C#进行调取，并且转换为bitmap、Emgucv 图像格式，实现相机取像、实时动态显示功能．

反光板上目标是三个顶点，如图1 所示．通过定位反光板上三个顶点来确定位置信息．取像完成后，首先对采集的目标区域进行轮廓查找，得到目标区域;再通过最小矩形框定得到目标的精确坐标;然后查找目标顶点;最后引入补偿计算模型，实现位移和角度补偿．以上过程采用C#平台与EmguCV 来实现．本文机制整体框架如图2 所示．

图1 反光板Fig．1 Backlight board

图2 本文定位与引导机制架构Fig．2 Positioning and visual guiding system architecture in this paper

2 基于相机SDK 数据转换的图像采集

首先基于相机C#版本SDK 进行二次开发，用C#语言编程调用SDK 底层相机采集函数，取出相机采集的图像裸数据，即二进制数据．然后，利用字节流转换的方法，将图像裸数据转换至C#支持的Bitmap 格式数据．最后利用索引调色板重构方式，转换到Emgucv 数据格式Image ＜＞．由此得到PC－visual stadio 平台可以处理的数据格式，从而通过C#编程实现两个工业相机的数据采集，为图像处理打下数据基础．实时显示视频如图4 所示．

通过C#调用SDK，将相机采集的图像裸数据，转换为C#可以识别的数据流，继而转换为Bitmap 格式．由于索引图像格式存在伪彩，本研究采用索引表重构［11］，转换Emgucv 平台图像数据格式Image，如图3 所示，为后续图像处理、定位打好数据基础．

图3 数据采集与转换流程Fig．3 Data acquisition and conversion process

相机初始化部分代码:

相机SDK—C#－Emgucv 平台数据转换部分代码:

图4 本文双目视觉效果图Fig．4 Effect of double vision in this paper

3 基于Emgucv 的顶点目标定位

基于阈值分割和轮廓查找得到可能包含目标点区域，再利用Emgucv 的最小矩形框定函数cvMinAreaRect2，得到可能包含目标点的最小外接矩形区域，再通过查找顶点，得到顶点坐标;随后，与标准坐标相减后得到位置偏移和角度旋转．基于式(1)计算，得到X轴、Y轴补偿和角度补偿，即测量值与标准值得差值表示位移偏差和角度偏差．整体框架如图5 所示．采用轮廓查找，定位出目标．

图5 定位算法Fig．5 The positioning algorithm

式(1)中，x、y为实际坐标，Standard_x、Standard_y为标准坐标，Delt_X、Delt_Y为X、Y轴偏移．Juli为两顶点距离，Jiaodu为旋转角度;Real_distance为两点实际距离，Pixel_distance为两点像素距离，Bili为图像距离到实际距离的转换比例．

以图6 为待定位图像，经本文定位机制处理后，结果见图7．从图7 中可知，本文定位机制精确识别出角点．可见定位标示绿点准确的打在顶点上，代表定位成功．进而计算出水平、垂直、角度补偿，如图8 所示．图8 为软件界面部分截图，是补偿计算显示．

图6 原图Fig．6 The original image

图7 处理效果图Fig．7 Processing result image

图8 补偿计算显示Fig．8 Display of compensation calculation

背光板顶点定位部分代码:

4 基于视觉引导的机构补偿

计算出位移和角度的补偿值后，本文利用PLC 实现位移、角度补偿．视觉软件完成对背光板X轴、Y轴位移偏移、旋转角度，即X轴、Y轴、角度补偿，软件通过串口通信将这些值传递给PLC 机构，PLC 转换为相应的动作．比如X轴偏移－4 mm，PLC 步进电机X轴方向多走4 mm，X轴偏移4 mm，PLC 步进电机X轴方向少走4 mm，Y轴偏移－4 mm，PLC 步进电机Y轴方向多走4 mm，Y轴偏移4 mm，PLC 步进电机Y轴方向少走4 mm，角度偏移－4°，PLC 旋转电机逆时针旋转4°，角度偏移4°，PLC 旋转电机顺时针旋转4°．

PLC 即可编程逻辑控制器，它采用一类可编程的存储器，用于其内部存储程序，执行逻辑运算、顺序控制、定时、计数与算术操作等面向用户的指令，并通过数字或模拟式输入/输出控制各种类型的机械或生产过程．当可编程逻辑控制器投入运行后，其工作过程一般分为三个阶段，即输入采样、用户程序执行和输出刷新三个阶段．完成上述三个阶段称作一个扫描周期．在整个运行期间，可编程逻辑控制器的CPU 以一定的扫描速度重复执行上述三个阶段．

部分PLC 关键代码:

5 实验与讨论

本文定位与引导机制，基于C#、EmguCV 编程完成对目标视野的取像，通过阈值分割、轮廓匹配、最小矩形框定、顶点查找得到目标的精确坐标．经过实验验证，在图像目标特征不明显，准确定位目标位置，如图9～10 所示．传统定位方式是基于静态大差异特征识别定位算法，在图像目标特征不明显，且背景复杂时，往往存在定位不准确，如图11～12 所示．

图11 传统算法效果图Fig．11 Effect of the traditional algorithm

随后，对十枚背光板进行检测，先用精密光学距离测量工具测算出实际物理偏移;然后分别用传统算法和本文算法测试，计算出偏移，然后综合取平均值后，结果见表1．从表中可知，本文算法的定位精度比传统技术要高，定位偏移非常小;而传统的角点定位技术产生了较大的偏移．

图12 传统算法效果图Fig．12 Effect of the traditional algorithm

表1 测试数据表Tab．1 Table of data testing

6 结论

为了解决反光板顶点目标的定位问题，本文提出了一个基于EmguCV 与双目视觉的定位与引导机制．首先基于两个Basler 工业相机实现图像采集;然后基于轮廓查找与阈值分割处理得到目标的大致区域，再通过最小矩形框定和顶点查找得到目标的精确坐标．最后引入补偿计算机制，实现机构补偿．最后测试了本文机制性能，结果表明:与普通的图像目标定位算法相比，在图像目标特征背景复杂时，本文机制具有更好的定位与引导效果，准确定位出图像目标的坐标，并完成定位．

［1］ 王忠勇．一种并联机械手视觉引导算法［J］．计算机测量与控制，2013，13(17):4983－4986．

［2］ 李龙．结构光视觉引导的轨迹跟踪系统的标定技术［J］．计算机工程与应用，2013，18(11):383－387．

［3］ 赵丹阳．火灾视频图像定位中特征点提取和匹配［J］．计算机工程与应用，2013，36(4):181－185．

［4］ 聂华．基于计算机图像定位的伺服平台研究［J］．电子设计工程，2013，21(7):1906－1913．

［5］ 李翀伦．复杂背景下红外图像目标的快速定位［J］．海军工程大学学报，2013，33(10):2886－2890．

［6］ 秦绪佳，桑贤生，程时伟．改进的规范化卷积图像修复算法［J］．计算机辅助设计与图形学学报，2011，23(2):371－376．

［7］ Noori H，Saryazdi S．A bilateral image inpainting［J］．IJST Trans Electr Eng，2011，25(E2):95－108．

［9］ 李虹．基于符号理据性的视觉引导系统设计研究［J］．统计与管理，2014，18(15):482－4387．

［10］ hmann J E，Appas T P，Neuhoff D．Structure texture similarity metrics for image analysis and retrieval［J］．IEEE Transactions，2013，22(7):2545－2258．

［11］ 龙水军．基于彩色轨迹引导的AGV 视觉导航方案研究［J］．工具技术，2014，18(15):42－47．

［12］ 王秀平．基于激光视觉引导的焊接机器人系统设计［J］．煤炭技术，2013，21(7):906－913．