基于人机交互和目标检测的端子图像测量系统设计与研究

郭芳，王媛媛

基于人机交互和目标检测的端子图像测量系统设计与研究

郭芳，王媛媛

（潍坊工程职业学院 信息工程系，山东 潍坊 262500）

：为了解决当前线束端子截面难以用人眼方式完成品质检查问题，基于软件设计开发和图像测量分析技术，开发出一套端子图像测量分析软件系统。首先，根据人工检查流程做软件需求分析和功能流程设计，形成标准化的工业软件架构和框架模块。然后，结合相机软体控制开发和图像采集分析，实现图像测量任务集，达到对端子图像目标各个维度的测量目的。最后，将图像测量模块整合到软件系统中，并且集成进用户登录管理、加密狗管理、数据库管理和报告管理，达到符合商业化落地标准的工业软件系统。实验测试结果显示，本系统有利于减轻人工肉眼检查的负担，为线束端子品质检查提高了精准度和效率。

人机交互；目标检测；端子测量；软件架构；框架功能

电线线束的品质检测关系很多重要领域和行业，比如供电行业、汽车车身电子系统和其他用电设备，因此，线束中的端子截面测量业务非常重要。目前绝大部分厂家都还只是依靠品质人员的肉眼完成端子测量工作，不仅测量准确度有限，效率和稳定性也不能保证。

在端子测量方面，国内研究人员已经取得了一定研究成果，如侯守明[1]针对传统压接端子检测靠品检人员目测判断，精准度低且耗时费力的问题，设计了C-V模型，通过能量函数来控制演化曲线[1]，实现线束端子断面轮廓的自动测量。但是该技术仅停留在算法层的实验室阶段，没有以标准化工业软件作为载体，缺乏落地基础和推广性。花奇[2]通过对端子截面外形特征分析，研究制定具体检测方案，确定视觉选型；以LabVIEW搭配IMAQVision建立软件系统[2]。但是，该技术使用了商业视觉软件LabVIEW和IMAQVision，缺乏实际推广性，而且商业软件缺乏底层灵活性，在复杂多变的工业需求场景下，往往不能同时满足测量需求。王彦朝[3]从图像采集、测量、标定角度来完成对端子截面测量；通过视觉选型设计，采用亚像素检测，可以解决一定场景下的端子测量任务，但未考虑亚像素角点测量耗时大，且缺乏系统的标准软件作为测量功能的载体，在特定的场景中，算法测量效果一般会有所下降。

本研究当中的测量对象是端子截面，根据品质检查流程，开发出标准工业软件系统，根据各种型号的端子截面特征，开发出端子截面测量算法工具集。本文结合人机交互软件工程与目标检测工具集，设计并开发了一套线束端子截面测量软件系统。本文解决两个问题：实现端子截面测量，解决肉眼难以精准测量的问题；实现工业级软件系统，解决品质人员操作复杂和产出不稳定问题。

1 端子测量系统设计

首先本课题组在实际工厂中收集各种常见型号的端子样品，收集当下品质人员检查端子的流程和标准。根据这些信息，展开系统需求分析，并反复与厂家品检负责人员讨论确认，迭代优化整体解决方案。本文系统流程设计如图1所示。基于标准件，完成系统校准，得到不同放大倍数下物理尺寸和像素尺寸的映射关系。接着，基于DirectShow开发相机控制驱动，达到系统对相机的控制，为采集图像做好准备。最后结合图像测量算法和人机交互软件功能，形成多种端子测量工具，得到测量结果，生成测量报告。待识别原图如图2所示，图像中为端子截面，需要对高度、宽度等一系列指标进行测量。

1.1 基于工业软件系统的人机交互

为了系统可以准确测量端子横截面，首先进行系统校准，目的是为了把不同放大倍率下的图像像素坐标与物理尺寸进行统一，并形成映射计算关系。如图3所示，在1.5放大倍数下，将标准件放在相机视野内，调整广源和相机焦距，达到图像清晰为止。本系统开发出的测量工具，经过人机交互调整，放在4cm到6cm处，可见2cm距离对应395像素，同理推广到1倍、0.75放大倍数上，从而完成校准，接着基于DirectShow开发相机设置函数功能，如图4所示。增益作为相机关键参数，代表放大系数，当不想调节曝光时间时，调整增益；增益越大，噪点越大。白平衡的目的就是在不同情况下，相机拍摄的图像白色区域始终为白色，这需要对红色、绿色和蓝色道进行调整，本系统同时保留自动白平衡和手动调整白平衡的接口。本研究设计的自动白平衡原理为：先计算各通道的颜色均值，然后计算通道增益，最后调整各个通道颜色值，达到白平衡调整目的。

图1 系统框架

图2 待测量图像

图3 系统校准

图4 相机设置

图5 测量工具

如图5所示，进行端子截面测量，本系统以控件形式开发出测量工具，控件支持手动调整，将控件两端放置在端子截面的两端，即待测目标的两侧，由于控件工具实时获取所在坐标像素，即实时完成起止坐标位置的像素差，完成计算测量同时显示测量结果于端子截面上，以文本形式显示测量结果。如图6所示，本系统对端子截面各项参数完成测量，数据记录在后台，系统自动提取后台测量结果，并且生成测量报告，并且软件系统支持报告修改和微调，保存后可以打印。

1.2 目标检测与测量

在实际落地场景中，需要采集大量端子样本图像用于学习研究和测试，本课题组采集了1000帧端子图像，涵盖各种型号。首先采用基于OpenCV的目标检测，这种方式可以检测出大部分端子目标，少部分情况，检测到的效果会有一定程度的受到影响，这种案例较少，针对这种问题可采取人工介入的一种方式，就可以保证检测效率以及检测质量。

为了增强端子图像特性，进行直方图均衡化处理[4-5]：

其中，,代表图像高、宽，histo()代表像素灰度值是的像素个数。

其中，histo代表输出直方图，histi代表输入图的直方图，和分别代表图像处理前后的灰度级，并以此建立一个均衡化映射关系[6-7]：

随后，对式(3)进行转化，得到值：

其中，值代表经过均衡化后的像素灰度映射值。

再对输出的直方图进行图像矩阵化处理[8-10]：

其中，代表像素值，代表输入像素值[8-10]。

在完成直方图的均衡化处理之后，再检测端子，本研究其中利用开源视觉库函数[11]检测到并保存到目标外接的矩形大小，得到测量值。完成测量后，进行数据后台存储。本系统先建立深软件框架结构，集成测量工具，完善测量机制，达到精确测量的目的，同时形成自动测量。图像采集完成后自动测量，提高了测量工程效率及质量。

本方法在图像直方图均衡化基础上，展开图像测量工作，各个测量任务主要是通过开发测量控件完成。每个控件采用人机交互式的软件工程开发实现，比如距离测量，取距离测量控件起点和终点的像素差值，计算出距离值。

如图7所示，本系统对端子截面目标测量准确。如图8所示，本系统对端子截面目标的夹角角度测量准确。

图7 自动测量结果

图8 自动测量结果

2 实验与讨论

本文系统基于QT平台开发实现，测量工具基于opencv开发实现。

如图9所示，本系统界面，功能有：“距离测量工具”“面积测量工具”“角度测量工具”“计数测量工具”“系统校准”“相机控制”“报告编辑生成”和“用户管理”。待识别的图像，如图9中部所示，待识别的端子边缘有一定模糊度，对测量工作有一定的影响。

本研究根据品质检查流程，开发出标准工业软件系统，根据各种型号的端子截面特征，开发出端子截面测量算法工具集；结合人机交互软件工程与目标检测工具集，设计并开发了一套线束端子截面测量软件系统。如图10所示，可见本研究测量正确且稳定，图中检出各项测量结果。

便于对比类似计数，验证本系统先进性，将对照组1, 2进行对比，依次采用文献[1], [2]的技术，在系统内进行测试对比研究效果。文献[1]设计了C-V模型，通过能量函数来控制演化曲线，实现线束端子断面轮廓的自动测量。该研究成果解决了一定量的测量问题，但轮廓演化方式的初始演化线需要人工选择才能达到良好效果[1]。如图11所示，端子目标虽然检测正确，但测量没成功，不能较好的完成端子测量。文献[2]通过对端子截面外形特征分析，研究制定具体检测方案，确定视觉选型；以LabVIEW搭配IMAQVision建立软件系统，缺乏实际推广性，而且商业软件缺乏底层灵活性，在复杂多变的工业需求场景下，往往不能同时满足测量需求。如图12所示，当检测有误时，导致测量不出结果。

图9 系统界面图及待测量图像

图10 本文算法测量结果

图11 文献[1]的测量结果

图12 文献[2]的测量结果

3 结束语

便于解决当前端子图像特征难以用人工测量的方式，稳定高效输出的问题，本文分别从软件系统、端子样本图像、测量工具集出发，设计软件操作流程、测量算法工具集，并集成开发出标准化的工业软件系统，建立起一套健壮的端子图像测量机制。为端子图像测量的准确性以及稳定性，提供算法保证以及软件基础。

继续要解决的问题是软件升级，提高到无人工干预的状态，实现自动化及智能化，更好的提高工作效率和端子的品质。

[1]侯守明. 基于C-V模型的线束端子断面测量系统设计[J]. 测控技术，2015, 3(5): 23-27

[2] 花奇. 基于LabVIEW的机器视觉检测系统设计及其在硬盘连接器生产中的应用[D]. 南通：南华大学，2015: 25-32

[3]王彦朝. 基于机器视觉的端子高低针检测系统研究[D].哈尔滨：黑龙江大学，2018: 45-52

[4] Choo M. Image contrast enhancement based on genetic algorithm using a variant histogram equalization[J]. The Journal of Image and Cultural Contents, 2018, 14(11): 219-230

[5] Abdoon R S, Khudair O S. Employing histogram equalization enhancement technique to segment different medical images of three organs [J]. Journal of Advanced Microscopy Research, 2018, 13(4): 494-502

[6] 李亮，李栋. 一种基于FPGA的实时直方图均衡化的方法[J]. 自动化应用，2015, 12(10): 21-23

[7] 陈博洋. 彩色遥感图像的亮度直方图局部线性化增强[J]. 光学精密工程，2018, 25(2): 502-508

[8] 张美玉，王洋洋，侯向辉. 基于ORB和改进的RANSAC图像拼接算法[J]. 计算机科学，2019, 27(S2): 294-298

[9] 苏金凤，张贵仓，汪凯. 图像差与加权核范数最小化的压缩图像融合[J]. 计算机工程与科学，2019, 41(10): 1785-1794

[10]张琳娜，岑翼刚. 铁轨图像的低秩矩阵分解缺陷检测[J]. 信号处理，2019, 35(4): 667-675

[11] 向洋. 混合样本融合边缘信息的单样本人脸识别研究[J]. 计算机技术与发展，2019, 8(4): 31-36

Application of terminal image measurement system based on human computer interaction and target detection

GUO Fang，WANG Yuan-yuan

(Department of Information Engineering, Weifang Engineering Vocational College, Shandong Weifang 262500, China)

In order to solve the problem that it is difficult to complete the quality inspection of wire harness terminal section by human eyes, this study develops a terminal image measurement and analysis software system based on software design and development and image measurement and analysis technology. First of all, according to the manual inspection process, do software requirements analysis and functional process design to form a standardized industrial software architecture and framework module. Then combined with camera software control development and image acquisition and analysis, the image measurement task set is realized to achieve the measurement purpose of each dimension of terminal image target. Finally, the image measurement module is integrated into the software system, and integrated into the user login management, softdog management, database management and report management, so as to meet the commercial landing standard of industrial software system. The experimental results show that the system can reduce the burden of manual visual inspection, and improve the accuracy and efficiency for the quality inspection of wiring harness terminals.

human computer interaction；target detection；terminal measurement；software architecture；framework function

2020-08-18

潍坊市科技发展计划项目“基于物联网的智能交通信息采集系统设计与实现”（2017GX099）；山东省职业教育与成人教育科学研究“十二五”规划课题“基于职业能力发展的中高职课程衔接研究——以计算机应用技术专业为例”（2015zcj108）

郭芳（1983-），女，山东诸城人，讲师，硕士，主要从事计算机应用，通信电子方面研究，303207877@qq.com。

TP391.41

A

1007-984X(2021)01-0047-04