工件移动测量自动化拍摄平台实现

刘舒浩 杨宏志 杨之鹏 屈盼盼 金芳 刘庆泉

摘要：针对工件人工检测效率低、漏判率高的问题，本文提出了工件移动测量自动化的实现方法，利用工件识别、图像采集设备采样完成工件图像的数据转换，计算机软件HALCON进行瑕疵判断、数据转换、信息反馈，将这一检测过程置于联动装置，基于工件和采样设备的同步运动，完成工件移动检测功能。结果表明，该设备基于HALCON和深度学习的应用保证了检测效率与准确率，联动装置的应用保证了检测过程的稳定性，二者相辅相成共同实现了工件的移动检测。

关键词：HALCON  图像采集  深度学习  机械臂与联动装置

Realization of Automatic Photographing Platform for Workpiece Movement Measurement

LIU Shu-hao YANG Hong-zhi YANG Zhi-peng QU Pan-pan JIN Fang LIU Qingquan

（1.School of Equipment Engineering Shenyang Ligong University， Liaoning Province， 110159 China; 2.School of Automation and Electrical Engineering Shenyang Ligong University， Shenyang， Liaoning Province， 110159 China;3. Fujian Zhongrui Network Co.， Ltd.， Fuzhou， Fujian Province， 350015 China）

Abstract： Aiming at the problems of low efficiency and high miss rate of workpiece manual detection， this paper puts forward the implementation method of workpiece movement measurement automation. The data conversion of workpiece image is completed by using workpiece recognition and image acquisition equipment sampling. The computer software Halcon carries out defect judgment， data conversion and information feedback. This detection process is placed in the linkage device to complete the workpiece movement detection function based on the synchronous movement of workpiece and sampling equipment. The results show that the application of the equipment based on Halcon and deep learning ensures the detection efficiency and accuracy， and the application of linkage device ensures the stability of the detection process. They complement each other and jointly realize the moving detection of workpieces.

Key Words： HALCON  Image acquisition  Deep learning  manipulator and linkage module

當今时代科技快速发展，传统的静止测量已经不能胜任日益增长的工件生产效率的需求。提高工件检测的效率与准确度，即本设计的初衷。工件移动测量自动化拍摄平台的技术基础，建立在“HALCON”这一图像处理软件的运用上，对工件进行移动多方位图像的扫描和收集，通过事先设定的程序对收集到的图像进行识别和检测，最后将检测结果数据反馈到计算机进行深度学习。一方面可以实现实时检测与反馈相结合，另一方面也可以实现基于人工智能（AI）视觉系统的行深度学习，从而形成一套精准而高效的工件识别处理系统，实现了工件在移动中测量对精度与效率的兼顾。

1 HALCON与图像采集原理

1.1 HALCON程序的运用

该软件的载体即计算机。HALCON是一个庞大的图像处理库，包含上千个独立或相互联系的处理函数和图像底层处理数据管理应用核心。HALCON可以完成工件图像基本参数的测量，并可以高效地将图像语言转换为程序语言和数字语言。HALCON强大的计算分析能力提高了工件检测自动化的效率。

机器视觉技术的利用得以使工件自动测量，应用HALCON的开发环境Hdevelop，利用其软件交互性，可以开发一套工件检测的视觉应用程序。本文中HALCON的使用参考了基于双目立体视觉的工件高度测量方法，拍摄的工件的图像传输到计算机后，通过HALCON的图像灰度化处理和阈值分割法测得工件的基本尺寸。

1.2 图像采集系统组成

图像采集系统依托计算机为软件载体和数据平台，由工业相机或工业红外相机等设备为图像采集硬件系统载体，光源、通信接口等辅助设备组成。计算机程序负责控制图像采集设备并进行图像算法处理;工业相机可以将工件光信号装换成电信号的形式传输给计算机等处理设备。

1.3 工件多方位立体检测原理

基于物体运动相对静止原理，工件于联动装置上的平移与机械臂操控的多方位运动，工件可以在保持平移的同时被翻转、调整，以不同的面面向图像采集系统，称之为工件多方展示运动。相对于平移的工件静止，保证采集工件不同面相关参数的精度，将该系统进行复制并联，多套自动检测设备依次检测，保证移动检测的效率，并联测试系统图如图1所示。

2 深度学习

2.1 工件检测的深度学习

深度学习在工件检测方面应用的主要任务就是图像各项参数的自动提取，智能识别出工件的瑕疵或者是其他指标要求，并为之添加一个标记来达到检测并反馈的目的。用卷积层使程序模拟对某一特定图案的响应，池化层来模拟动物视觉皮层的感受野。在工件检测领域，这一算法处理的特定图像就是工件的各个细节之处。

2.2 工件图像数据增广

目标检测模型工作时，对于采集到的图像，一般是把图像进行缩小，以产生一个能被程序网络所接受的尺寸，然后进行训练或预测。这一过程会使图像中的部分信息遭受损失，尤其是工件的微小型缺陷，这种信息的损失将会直接影响，为了保证工件检测的精度。采用特殊的图像数据增广方法诸如Overlap切图数据增广和Mosaic数据增广，在尽可能使图像信息不缺失的情况下获得较大的数据量和复杂性。

3 联动装置和机械臂

3.1 工件平移机械联动装置

为了实现上文所述在保证工件在生产线上平移的同时，实现图像采集设备的同步运动和工件多方位的展示运动，要设计一部机械臂和一段特殊的传送装置，其基本原理就是利用工件和图像采集设备的以相同速率平移而相对静止。本文设想的方法是由机械臂上的机械手夹持工件，图像采集装置由另外的机械装置固定，该机械装置可以与传机械臂移速率相同的速率在一段基座导轨上进行平移运动，称之为机械联动装置。

3.2 多方位展示机械臂

该机械臂应用力矩限制器对旋转力矩進行限制，进而使工件不同的面停留在图样采集装置前。机械臂主要包括支撑底座、云台、大臂、小臂、机械手、舵机和Arduino。机械臂由图像采集器等传感器检测到物体时发出的指令，机械臂和联动装置从检测传送始端带机械臂开始从初始位置运动到物体所在位置，将物体抓起并以设定好的程序操控其进行多方位展示运动。

机械臂的运动控制系统是由硬件系统和软件系统两大部分构成的。机械臂能够按照预先设定的程序做出指定动作，由软件系统操控检测硬件系统完成，控制系统框图如图2所示。

多方位展示机械臂采用以Arduino控制板为核控制器，以实现机械手的多方位转向和多角度运动。数据由传感器收集后传输到控制器，实现机械臂和机械手的智能化。

4 结语

大体上，该平台包含4个部分：计算机HALCON、图像采集设备、联动装置、机械臂。在检测重复性上应用了人工智能深度学习，在保证了工件于生产线上高效运送的同时能够实现多方面、立体的机械图像采集，深度学习使得其检测不再是人工循规蹈矩地输入指令，而是可以自主学习，去完善检测方面的缺陷，使得检测设备获得了一双辨明是非的“火眼金睛”。该平台的应用将会大大提高工件检测的效率，节省大量的人力成本，为工件的批量生产和加工扩大规模奠定了坚实的基础。

参考文献

[1] MVTec Software GmbH München Germany.A quick access to the functionality of HALCON， Version 12.0[P].Copyright © 2007-2018

[2]郑如新，孙青云，肖国栋.基于机器视觉的工件尺寸测量研究[J].电子测量技术，2021，44（16）：110-115.

[3]牛鹏磊.高精度图像测量系统研究[D].齐鲁工业大学，2021.

[4]吕伏，刘铁.基于学习率自增强的图像识别深度学习算法[J].计算机应用与软件，2021，38（12）：268-273.

[5]于宏全，袁明坤，常建涛，罗坤宇.基于深度学习的铸件缺陷检测方法[J].电子机械工程，2021，37（6）：59-64.

[6] 赵修琪，卢文豪，王珊.基于Arduino的自动分拣机械臂控制系统设计[J].现代电子技术，2021，44（24）：163-166.

[7] Qiming Wu，Siyue Yu，Peng Chen，Luyun Zhang. Design and Implementation of Intelligent Mechanical Arm[C].Proceedings of the 11th International Conference on Computer Engineering and Networks（CENet2021）Part II.，2021：244-250.

基金项目：辽宁省大学生创新创业训练计划项目（项目名称：工件移动测量自动化拍摄平台实现，项目编号：S202110144015）;福州市重点科技专项（项目名称：支持水下无线光通信的多业务物联网网关，项目编号：2020FZZD0601）。

作者简介：刘舒浩（2000—），男，本科在读，研究方向为自动化控制技术、人工智能、弹药工程与爆炸技术。

通信作者简介：金芳（1981—），女，本科，高级实验师，研究方向为网络化测控系统。E-mail：308628820@qq.com。