基于机器视觉的冲床自动送料机系统设计

王 堃, 唐厚君, 韩 斐

(1.上海交通大学 电子信息与电气工程学院，上海 200240；2.上海宝承自动化设备有限公司，上海 200240)

0 引言

冲床作为冲压工艺的载体，在我国基础工业领域占有非常重要的地位，但是由于我国自动化发展起步较晚，冲床自动化程度整体比较低，大多数还属于人工送料、套料、冲压的阶段，不仅危险性较高，效率、质量、材料利用率等也难以保证，而且对于重量或尺寸稍大的原材料，仅靠单个人力很难持续工作，大大限制了这类材料的利用[1]；现在市面上已推出少数冲床自动化送料设备，如摇摆机、基于机器人手臂的送料套料装置等，其适用场景比较受限，摇摆机只能冲压圈带料，无法对一些板料或边角料进行送料套料处理，同时由于设备空间需求较大，厂房的空间利用率较低；基于机器人手臂的送料套料装置，一般只能对固定形状的板料进行送料，一旦板料形状发生更改，机械的校准相对麻烦。而且当前市面的大多数自动送料装置，应用程序都是基于PLC控制，这使得其扩展性、灵活性都相对较差[2-4]。

本文设计了一种基于机器视觉的自动送料、套料的冲床自动送料机，可以自动识别待冲压板料，并对其进行套料处理，运送到冲头下进行自动冲压。机器视觉模块的增加，使得理论上可以对任意形状的板料，任意形状的工件都能进行冲压；只需要对应用程序进行升级，增加对应的工件模型的最优套料算法，就可以对新的板料和工件进行套料冲压处理，这使得自动送料机的灵活性、可扩展性大大增强。同时机械结构的巧妙设计，也使得其场地的空间利用率得到了很大提高。

1 冲床自动送料机系统构成

冲床自动送料机系统由硬件系统，图像分析处理、套料软件系统，以及运动控制单元三部分构成，运动控制单元由上海宝承自动化设备有限公司辅助完成，本文重点在于介绍软件控制系统的设计。

1.1 冲床自动送料机系统的硬件系统构成

系统硬件主要包括工业相机、镜头、光源和运算处理平台等组成的控制系统，以及主要由传动胶辊、电机以及运动轴卡等构成的运动系统。自动送料系统的整体结构如图1所示。

工业相机和镜头的选取，直接影响了对板料的识别精度，进而影响套料效果，因此对于相机和镜头的选取就显得尤为重要。带冲压的板料检测精度需要在0.5mm，相机的视场范围是400mm × 300mm，物距60mm，因此可选用大恒的MER-500-7UM和M0814-MP2镜头。由于图像提取的过程中主要是对二维平行板料进行精确还原，因此在光源方面选择的是面光源。计算处理平台，选择的是PC端的工业电脑，其在用户现场运行比较稳定，而且运算能力足够。

图1 冲床自动送料机硬件结构

1.2 冲床自动送料机软件系统设计

冲床自动送料机的软件系统，主要由图像采集模块、图像处理模块和套料处理模块构成。其工作流程如图2所示。

图2 软件处理流程图

图像采集模块将板料信息采集上来，将图像格式转换成cv::Mat传递到图像处理模块进行板料的提取处理，之后转换成自定义的Image::Array格式，传递给套料处理模块进行套料和冲压。

2 冲床自动送料机系统的软件模块实现

图像采集模块主要是通过标定后的相机，对当前的板料信息进行实时采集，采集后进行格式转换；图像处理模块主要是对采集上来的图像进行高度补偿、阈值分割、前景提取等操作，准确提取出板料信息；套料模块主要是在板料上进行套料算法的实现，同时将图像坐标系转换成机床坐标系，并将待冲压坐标发送到下位机，进行工件冲压。

2.1 图像采集模块实现

图像采集模块主要实现相机的图像采集，然后转换为cv::Mat格式数据，传递给图像处理模块进行处理。其中图像采集是用C++开发完成，可以通过直接调用大恒相机的SDK获得。

相机在使用前需要对其进行标定，以获取相机的内外参数。标定相机内参，用的是标准棋盘格标定板，标定过程由软件实现；因为不同机床的相机安装位置有所变化，因此还需要一块定制的棋盘格标定板来标定出相机外参。

2.1.1 相机标定

相机标定使用的原理是张正友标定法[5]，以标准棋盘格标定板作为标定参照物。软件标定界面如图3所示，采用QT/C++开发实现。进行标定的时候，客户需要拍摄多张不同角度的标定板照片，软件会提示每张照片的识别情况，用于完成标定。成功标定后系统会反馈重投影误差，用以判断标定的可靠性[6]。

图3 相机标定界面

采用相机的小孔成像模型，其数学模型表达式如下，其中Min是内参矩阵，可以通过上述标定求出：

(1)

2.1.2 拍照台平面标定

相机与拍照台模型如图4所示。

图4 透视变换模型

(2)

由于使用的是二维空间信息，因此式(1)中zc维度可以忽略，联立式(2)可得：

(3)

其中，H是单应矩阵，由于其作用于齐次坐标，因此只有8个自由度，求解该矩阵，至少需要4个已知亚像素精度的点。为了获取更准确的映射关系，使用定制的棋盘格来求解，如图5所示。

图5 棋盘格标定板

该棋盘格规格是7×12,奇数和偶数分别代表X方向和Y方向，每个方格规格为20mm×20mm。通过cv::findChessboardCorners和cv::findHomography函数可以求解出H，同时可进一步求出相机的外参矩阵Mex(通过cv::solvePnP分解求出旋转矩阵R和平移矩阵T)。

2.2 图像处理模块实现

图像处理模块主要实现将输入的cv::Mat图像，通过平行高度补偿以及图像分割、前景提取等操作，精确提取出板料的具体轮廓信息，进一步转换为套料所需要的image::Array 类型数据，进而将其传入到套料处理模块进行下一步套料，流程如图6所示。

图6 图像处理流程

2.2.1 平行平面高度补偿

由于胶辊安放、板材厚度变化等机械结构原因，板料和拍照台平面存在高度差，这将引起放大效应，导致图像中直接测得的工件尺寸将比实际偏大。为了得到准确的测量结果，必须对高度差进行补偿，高度补偿后会重新生成新的单应矩阵。

RT1=T1-R-1A
T2=T1-R-1A

其中，R和T1是在拍照台平面标定时，求解出来的平移和旋转矩阵，故补偿过后的单应矩阵H为：

(3)

2.2.2 基于Otsu自适应阈值的图像分割

图像分割算法有很多，最简单是阈值分割，设定好一个固定阈值，每次都按照该值进行提取，缺点在于环境适应性比较差，对于环境光线条件比较敏感；基于边缘的分割方法，是通过检测图像边缘信息，分割边缘两侧区域的一种分割方法，其缺点在于难以获得边缘的包含关系，对于有孔工件较难区分，同时易受噪声影响；基于区域的分割方法是以分水岭法、种子生长法等为代表的按照区域相似性准则的分割方法，但是由于工件形状位置皆不确定，且分割出来的工件前景而不再需要继续分割其他区域，因此不适合。

Otsu 法是一种常用的灰度图像动态二值化算法[7]。该算法试图遍历 0～255 的灰度值范围直到找到一个阈值使得通过该阈值分割的前景类和背景类有最小的类内方差和最大的类间方差，这个阈值即最优的分割阈值。

对于M×N的灰度图像，t为分割阈值且t∈(0,255)，g(i)表示像素i的灰度值，N0表示灰度值小于t的像素个数，N表示灰度值大于t的像素个数，g0表示前景像素的平均灰度，g1表示背景像素的平均灰度。

(4)

(5)

g(t)=ω0(t)·g0(t)+ω1(t)·g1(t)

(6)

类间方差定义为：

(7)

遍历全部灰度值，寻找V最大值对应阈值t即为最优阈值。

(a) 拍照台原始图

(b) 阈值分割板料提取图
图7 板料前景提取对比图

2.2.3 图像格式转换

为了方便后续的套料处理，自定义了板料图片的格式image::Array，该格式包含了最基本的图片中板料的边缘信息，孔洞情况以及二值化之后的图像信息等。具体格式转换流程如图8所示。

图8 图像格式转换流程

2.3 套料处理模块实现

套料问题是组合优化中的经典问题，在数学上属于装载问题(Packing Problem)，即在有限空间内寻求放置最多指定物体的解[8]。但是，在冲床自动送料机的实际应用中，又有其本身的特殊性。举例而言，在冲床自动送料机的套料过程中，很难预知完整板料的轮廓，因为板料是被逐步送入机器进行套料的；另外，在套料过程中，单次套料最优化的解不一定会导致最终套料结果的整体最优；最后，套料的美观性(如对称)需要被考虑到方案中，这一点是出于用户本身对产品的需求[9]。

2.3.1 套料算法实现

贪婪算法(Greedy Algorithm)的思想是在无法获得全局最优解的情况下，尽可能求得局部最优解，用局部最优解的合集逼近全局最优解[10]。这是由于板料较长时，套料是随着板料的一步一步送入叠加完成，无法单次获取全部板料信息进行套料。基于贪婪算法的思想，设计了基于模板的单次套料方案，即根据板料和工件形状，生成在无穷大平面内最优的套料模板，用已有模板对当前板料进行匹配套料。但是对于较小的拼接板料，普通的模板无法适配，因此需要通过板料轮廓内区域进行扫面套料，还需要进一步采用回溯算法(Back-tracking Algorithm)，对套料结果进行回溯筛选，得到最优的套料结果[11]。

(a) 拼接后完整板料图

(b) 软件套料模拟图图9 套料前后对比图

2.3.2 冲压路径的组合优化

套料完成后，获取到的是一些散乱的坐标信息，为了最大限度的减少送料机的运动幅度，需要对这些坐标进行路径规划，这属于经典的旅行商问题(Travelling salesman problem)，但是由于每次套料产生的坐标个数较少，因此可以采用枚举法，对所有坐标间距进行遍历，对比选取出最优的冲压路径。

图10 冲压路径组合优化示意图

3 方案测试分析

为验证自动送料系统的运行情况，测试冲压了3种不同的板料，每种板子冲压10张。令η表示冲压效率，N表示冲压总个数，T表示冲压总时间，则冲压效率表示为：

η=N/T

(8)

自动送料机和人工冲压情况对比如表1所示。

表1 软件人工冲压对比

图11 实际板料冲压效果

通过上述对比表格可以看出，自动送料机能够轻松完成三种常见板料的套料、冲压工作，同时在冲压速度和冲压效率相较于人工而言有很大优势，平均效率提升30%左右，对于较小工件，边角料的情况，效率提升效果更加明显。

4 结论

自动送料机系统采用的是基于机器视觉的方案，利用图像处理的方式将待冲压板料提取出，并通过一系列套料算法进行套料，同时也对冲压路径进行了组合优化，最后将冲压坐标发送到下位机进行机械冲压。通过实际对比测试发现，冲压的整体效率相较于人工提升较为明显，同时相较于市场上针对板料的专一送料机，该套系统具有足够的灵活性，大大降低了对板料的依赖性。机器视觉模块的加入，使得能够实时提取板料形状，让实时排料成为了可能；同时其对工件的提取也不仅仅局限于手动输入，可以在拍照台智能提取，因此对工件形状的限制也大大降低；PC平台的控制装置，使得软件升级变得更加便捷，为套料算法的持续性研发提供了基础；这些设计都大大增加了自动送料装置的灵活性和扩展性。