基于人工智能技术的多媒体记录工艺装备的研究

， ，富成，

(桂林航天电子有限公司，广西桂林，541002)

1 引言

“型号元器件多媒体记录作为产品质量与可靠性的客观实证，保证了元器件研制生产的可追溯性，在元器件固有质量问题归零与质量复查工作中发挥了巨大作用，多媒体记录是九院型号元器件质量保证过程中的一项重要工作。”

以上内容摘自九院相关文件，根据文件精神和公司实际情况出发，多媒体记录系统实施的目的应能够反映现场工件制造的实际情况，做好生产和质量管理的预控工作，确保各工序作业质量符合设计要求，为生产和质量管理工作提供图片和影像资料，也为可能发生的归零活动提供有力证据。在生产制造活动中，提供和拍摄现场工件的图片资料，将是公司现场生产和质量管理的一项重要工作。本文以我厂某型号用固体继电器产品的印制板来件检查工序的拍摄为例来阐述基于人工智能技术的多媒体记录工艺装备(以下简称“智能工艺装备”)的主要开发内容。

2 传统多媒体记录过程介绍

传统的拍摄手段有数码相机拍摄和高拍仪等形式，在用数码相机拍摄照片时，需寻找到合适光照和位置后才能拍摄，拍摄后照片存储在SD卡中，SD卡要到PC机上导入，人工预览照片后做出清晰度是否满足要求、涂胶周长是否合格、图片是否拍摄完整和读取编号等繁复的人工操作，然后按照命名规范编辑照片的档案名称存到指定磁盘路径，并将该操作步骤记录到相应记录介质上。我们经过统计，平均每张照片操作要1分钟以上，这个过程还没有包括上传图片到服务器和数据库中所需要的时间。

图1 传统拍摄方式

上述传统多媒体记录操作方法虽然可以满足拍摄要求，但在提高拍摄效率、智能防错、自动归档、危情预警和实现信息化管理要求上却很难实现，只能通过人工的方式来进行预判、传递、录入和示警，而这样的记录方式可能出现人为的错漏情况，产生质量隐患。

3 智能工艺装备要满足的要求

根据车间生产实际，结合九院和公司信息化建设的要求，该装置应满足以下要求：

•拍摄照片不仅要能全面反映涂胶关键部位的情况，而且单位面积像素数应不少于200 万/平方分米；

•应能满足车间生产工程化要求，作业效率高；

•与公司服务器互联，拍摄的照片档案实现物理异地存储，便于智能管理需要和数据的灾难恢复；

•人工智能识别单元运行可靠、稳定；

•照片存储唯一性，保证无异名同文件的情况；

•拍摄的照片畸变小，便于辨识和视觉算法的处理。

4 智能工艺装备设计方案

针对上述要求，我们提出了本文智能工艺装备的设计方案，如图2所示，智能工艺装备由光学成像模块、数据运算处理模块、数据存储模块以及显示管理模块组成，各模块联动完成各自功能，从而实现智能工艺装备的整体功能。

图2 智能工艺装备系统构成

5 多媒体记录的作业过程

•作业步骤1：打开计算机，用自己的账号登录公司局域网，打开多媒体记录系统进入照片采集软件界面，软件自检服务器和数据库链接是否正常；

•作业步骤2：打开光学系统光源，将工件放入定位座，在软件中编辑工号、批号；点击软件中的“拍照”按钮，软件的人工智能模块开始运行，模拟人工操作步骤自动对图片进行清晰度是否达标、图片拍摄是否完整和涂胶面积是否合格等进行相关计算，并给出量化依据以及合格与否的判定结果。如出现涂胶面积低于警戒水平，软件将自动发送报警信息给相关人员。

•作业步骤3：点击软件中“保存”按钮，软件自动将照片命名后保存在本机，同时上传照片到服务器，再将本次拍摄的时间、记录人、生产信息录入到公司数据库。这时，公司网站管理平台可同步查看到该照片和相关记录。拍摄操作结束。

•定期工作：软件定时对存储的照片文件进行扫描，寻找异名同文件的图片并剔除，避免同一个文件的多次使用。

图3 现场操作过程

以上步骤由于大部分工作都是计算机和网络在进行处理和传递，整个过程最快可以在10～20秒内可以完成。

6 人工智能防错的实现

本文中的人工智能防错功能有照片完整性检查、清晰度检查、涂胶面积检查、自动读取编号和重复照片剔除等，这些功能主要是基于图像处理技术和图像的模式识别。机器视觉系统中，视觉信息的处理主要是对图像数据的处理，包括图像增强、平滑、边缘锐化、分割、特征抽取、图像识别、模板匹配等步骤。上述处理过程，达到了改善了图像质量，便于计算机对图像进行分析、处理和识别的目的。本文的图像处理核心算法流程见下图。

图4 核心算法流程图

下面就实现的主要函数进行说明。

6.1 OnCheckGlue()-涂胶区域周长检查

该过程的关键是将涂胶区域完整地从原图中分割出来。为避免算法在自动分割图像划分区域时出现噪声的影响，先对图像进行了降噪和滤波处理。另外，在很多情况下，由于光照的影响，物体和背景的对比度很难保证每张照片都会一样。因此在进行分割时，采用了自适应阈值的方式，虽然比全局阈值耗时，但分割出来的区域较可靠。下图为经过预处理后的涂胶区域图片。经过计算区域，得出区域周长，实现自动判断涂胶区域是否满足工艺要求的功能。

图5 涂胶区域的矢量图

6.2 OnLapLace()-清晰度检查

照片进行清晰度计算，不仅可以成为评价照片质量的量化标准，而且也是调整相机物距和焦距的重要依据。考虑到图片像素值较高，运用传统的边缘检测方法计算清晰度将比较耗时。光学成像方式因为有着稳定的光源和比较高的对比度，适合运用拉普拉斯方程式转换后进行图像清晰度计算。

拉普拉斯算子是一个微分算子，具有旋转不变性。一个二维图像函数的拉普拉斯变换是各向同性的二阶导数，定义为：

为了更适合于数字图像软件处理，将该方程表示为离散形式：

▽2f=[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]-4f(x,y)

算法基于以上方程实现原理：如果图片具有较高方差，那么它就有较广的频响范围，代表着正常、聚焦准确的图片。但是如果图片具有较小方差，那么它就有较窄的频响范围，意味着图片中的边缘数量很少。正如我们所知道的，图片越模糊，其边缘就越少。只需要将图片中的某一通道(但一般用灰度值)用拉普拉斯算法做卷积运算，然后计算方差。如果某图片方差低于预先定义的阈值，那么该图片就可以被认为是模糊的。高于阈值，就不是模糊的。

根据上面的理论，软件中CImgProcess类的成员函数OnLapLace ()实现拉普拉斯清晰度评估数值的计算操作，在对图像计算清晰度时时直接调用OnLapLace ()函数即可。以下是OnLapLace ()函数的部分代码实现。

……

//列处理

for (j= inputX0; j

inputW + inputX0 + 1; j++)

{

//指向第i行第j列像素的指针

pDst = m_pImgDataOut + lineByte *(m_imgHeight -1 - i) + j;

value=0;

//计算

for (k = 0; k < inputH; k++)

{

for (l = 0; l < inputW; l++)

{

……

//计算平均数

value += (*pSrc) * pTemplate[k * inputW + l];

}

}

//取结果的绝对值

value = (float)fabs(value);

图6 清晰度评估：5300 图7 清晰度评估：1200

7 应用情况

系统配备专业工业相机和镜头，配套智能防错信息化软件，不仅做到了拍照清晰完整，并且还做到了以下几点。

1)存储可靠安全。由于实现了异地存储，无论哪一方出现存储故障，都能够快速还原，满足了灾难恢复的要求。增加的垃圾文件扫描机制，保证了照片的唯一性和准确性。

2)人工智能算法模块按照专业软件测试规程进行调试，运行稳定。

3)车间投入使用后，效率较原来操作有大幅提升，并降低了操作者工作强度，满意度较高。

4)信息化功能实现了数据的同步传输，缩短了基层与管理者之间的距离。

8 技术远景

在该设备软硬件基础上，进一步拓展通用能力，开发适合各类工件防错记录特性的算法，作为插件的形式部署在软件中，使软件具备“胶水”特性。在使用时，只需调整软件插件库，就可完成其它各类型工件的智能防错多媒体记录工作。

本文的这种实现方法可以广泛应用在公司继电器生产中需要进行多媒体记录的各个环节。

9 结束语

系统虽然完成的是一个软硬件结合的拍照装置，但也可以构架出一类新的工艺管理环境，它将现场实时的工件影像信息与操作者、工艺管理系统、车间管理者、质量管理者、公司主管领导和用户联动起来，并为公司的ERP、MES和决策系统提供量化依据，使得职能管理和生产工艺现场之间的联系更加紧密。

通过将信息化技术、物理异地存储技术、图示化使用界面、人工智能技术、数据同步更新架构等相关领域的融合，该系统能将生产、工艺和质量管理所需的各类角色整合在一起，将这些影像信息以图文并茂的形式用 Web 或其他通知方式及时准确地传送给上述各类使用者监看，这样的环境不仅使得各相关职能监管模式从技术上得到了加强，而且当发生紧急情况时，还能实时提供现场紧急状态的信息，并以最快速度通知相关使用者。这样的模式将会降低没有附加价值的活动对营运的影响，进而提高生产效益，改善职能监管环境。