基于工业互联网的在线视觉检测系统

沈 航，孙 煜，林诗美，陈 超

（1. 广东省工业边缘智能创新中心，广东 深圳 518057；2. 研祥智能科技股份有限公司，广东 深圳 518107）

1 引言

作为数字经济与实体经济融合发展的关键支撑，以工业互联网、工业大数据和人工智能等技术为手段推动工业设备上云、上平台，提升生产数据利用效率，提高智能产线、智能工厂的数字化管理和运营能力，成为当前产业转型升级的核心驱动。在智能制造领域，面对新型显示、工业电子等产品的质量检测，以往采用的方式包括通过人工进行检测、通过视觉检测系统进行检测。人工检测的方式效率低、品质难以保障且人工管理成本高。传统视觉检测系统通过机器视觉、图像分析等技术，在提升缺陷检测精度、检测效率和产品品质方面具有显著改善，但在数据高效利用、设备智能运维和品质改进管理等方面，还存在进步的空间。开发基于工业互联网的在线视觉检测系统[1]，以数字化、智能化手段，能够提升生产效率，提高产品品质，保障生产制造的稳定运行。

2 视觉检测系统

视觉检测系统在产品加工、测试、组装和包装等生产环节中使用。通过智能工业相机完成对产品信息的采集，并通过智能网关对采集的数据进行传输，系统的服务器支持视觉检测微服务等功能，对数据进行计算分析，最后通过APP进行相关展示[2]。视觉检测系统架构如图1所示。

图1 视觉检测系统架构图

3 基于工业互联网的在线视觉检测系统

3.1 硬件设施

系统由设备侧、边缘侧、平台侧和应用侧四部分构成。设备侧主要包括智能工业相机、信号发生器、对接系统和控制器等现场设备[3]。边缘侧通过智能网关对现场数据进行采集，再传输至边缘云。边缘云负载视觉算法、视觉检测软件和数据处理等功能，完成一些实时性要求较高的轻量级数据处理任务。平台测主要提供服务器、存储等硬件资源的支持，支持各视觉检测的微服务、视觉算法机理模型、工业检测软件组件、数据建模和分析、工业数据清洗，以及管理和分析。应用侧提供各类缺陷检测、模组检测、整机检测和功能检测等工业APP，以完成系统应用。系统根据制造企业规模和对检测线的要求，能够进行灵活部署。基于工业互联网的在线视觉检测系统如图2所示。

图2 基于工业互联网的在线视觉检测系统图

3.2 软件设计

（1）软件平台 整个软件平台采用分层架构，一共分两层来实现，中间件层和交互层。

中间件层采用按功能分模块的扁平化架构，一个功能对应一个模块，一个模块对应一个动态库文件。模块与模块之间遵循高内聚低耦合的软件设计规则，各模块，只独立完成某一个特定的子功能。模块与模块之间的接口，遵循少而简单的规则。如果划分后某两个模块间的关系仍然比较复杂，继续进一步划分直到模块间无关联为止。这样有利于分工合作、模块集成及后期的维护升级。根据类别划分为算法库，相机库和通信库。

交互层划分为界面设计器、逻辑设计器、相机管理、用户管理、数据存储及授权管理，平台主要应用在工业领域，对性能要求比较高，交互层选择执行高效的开发平台VS2012 MFC 多文档框架及GDI+来实现，算法库基于开源OpenCV来实现。界面设计器：提供所看见的界面配置，为用户提供个性化的自定义工具。逻辑设计器：为相机提供实时调试的逻辑组态编辑和算法工具。相机管理：提供相机工程管理、参数设置、实时图预览等多种管理工具。用户管理：提供用户权限管理方法。数据存储：导入和保存工程，工程数据串行化。授权管理：提供授权方法；运行版，一机一码，授权后在本机上可以永久使用；试用版，一机一码，提供30天的免费试用授权。

从实现功能来看，整个软件平台分5大功能，分别为采集、处理、评估、通信和系统。

1）采集功能分为从相机获取和从文件获取两种模式。从相机获取，指连接相机取图，支持目前主流相机的连接，如basler、保盟等。从文件获取，指本地读入图片，支持bmp、jpg、png、dib、pbm、pgm、ppm、sr、ras和tif等图片格式的读入。

2）处理分为图像预处理、目标定位、识别、测量和检测5个部分。图像预处理是指对输入的图像进行二值化、滤波（高斯滤波、中值滤波和均值滤波）、腐蚀和膨胀等操作。目标定位是指通过对图像设定模板区域，然后在其他图像中寻找与模板区域相同的图像特征。通常通过目标定位后，再对物体进行下一步的识别、测量和外观检测。识别包括字符识别、二维码识别、条形码识别和颜色识别。测量指的是对物体的尺寸测量，包括点到点、点到线、点到圆、线到线、线到圆、圆到圆、角平分线、夹角测量和卡尺测量等功能。检测包括瑕疵检测、缺陷检测、划痕检测和差异检测。

3）评估分为评估轮廓、评估区域、评估表达式和条件分支4类。评估轮廓指对轮廓进行评估，是否符合设定的规则。评估区域指对区域的面积、长度和宽度等信息进行评估，是否能够满足设定阈值。评估表达式指对输入的表达式进行评估，看能否满足设定要求。条件分支指不同的条件执行不同的任务。

4）通信包括数字I/O通信、串口通信、文件通信及套接字通信。支持雷赛数字I/O通信，如通过数字I/O卡输入端口控制相机的外部触发拍照，软件检测任务的完成信号可以通过数字I/O的输出端口发送到PLC等设备。支持通过串口与第三方通信，通过规定好的协议，机械手可通过串口发送指令让软件执行某项检测任务，执行后软件通过串口把检测结果发送给机械手，机械手根据接收的结果进行下一步动作。会事先规定好数据传输的协议，包括数据头、数据尾的定义及数据中间段的各个参数的含义，通过人机交互界面来配置。支持文件通信，可读写文件，比如把识别到的条码写入指定文本。

5）系统包含延迟执行和停止执行两个部分。延迟执行是指延迟一段时间后再执行下一个任务。延迟时间可通过人机交互界面进行设置。停止执行，顾名思义就是停止执行。

（2）软件算法 考虑开发套件主要应用在工业领域，对性能要求比较高，交互层选择执行高效的开发平台VSMFC 多文档框架及GDI+来实现，算法库基于开源OpenCV来实现。图像算法首先对图片进行预处理，然后通过Blob分析从背景中分离出目标，提取感兴趣区域，只对感兴趣部分进行图像变换处理，这样大大提高处理速度。然后根据检测端口类型，确定是用字符识别还是模板匹配方法对图片进行下一步处理。进行字符识别方法处理后，需对识别出的字符与预先设定的字符进行字符匹配；进行模板匹配方法处理后，得到的模板匹配度需与预先设定的匹配度进行大小比较。

系统核心算法是图像处理算法，主要功能包括图像预处理、目标定位、图像分割、图像识别和缺陷检测。图像处理流程如图3所示。

图3 图像处理流程图

针对小目标不易标注、可利用特征少、现有数据集中小目标占比少及样本不均衡等小目标高精度识别和定位难题，软件能够提供相应高级算法解决。其中，基于线扫描的条码识别算法，能够解决工业现场中多类码读取、反光、流动高速、缺损遮挡及超小码识别等难题，达到检测精度RGB子像素级。

4 面向大型企业的视觉检测解决方案

面向大型企业的视觉检测解决方案如图4所示。平台部署多选择私有云或混合云的部署方式[4]，在部署上建设融合中台，通过与制造企业MES、ERP等实现数据互通，解决订单计划和生产计划信息的断点问题，解决执行管控和质量监控的断点问题。融合5G网络技术实现设备现场数据、运维档案等工业数据实时传输，实现集中管理、实时感知和远程监控。

图4 面向大型企业的视觉检测解决方案

基于工业互联网平台和微服务组件库，进行视觉检测、设备监控和生产管理等工业APP开发和应用，整合企业生产、办公系统，集成生产全流程信息，进行设备全生命周期管理，打造可视化智能管理模式。注重产线安全，建设设备接入系统，控制设备接入的安全。同时通过建设综合管控平台实现对数字化和智能化制造车间、工厂的协同管控。

本解决方案在深圳某企业液晶电视产线落地实施。部署智能检测装备，将检测设备数据接入平台，对接ERP、MES，实现检测环节设备与智能产线的互联互通，以及电视多功能、多种信号的智能检测分析，提升液晶电视产线自动化和智能化水平，检测准确率提高到99.0%以上，检测效率提高200%，设备维护成本降低55%。

5 面向中小企业的轻量型视觉检测解决方案

面向中小型企业的视觉检测解决方案如图5所示，在建设和部署上受投入成本、生产规模等影响，只需要购买或租赁视觉检测设备，同时在平台多选择公有云。公有云提供视觉检测、设备监控和生产管理等工业APP，企业不需要自建平台，不需要部署服务器，只需要购买和订阅相关的应用服务即可完成应用的下载和升级。

图5 面向中小企业的轻量型视觉检测解决方案

本解决方案在深圳某企业液晶面板生产线落地实施。部署模组检测等全流程检测设备、智能读码器和工业相机等边缘设施，改造升级原有人工检测环节，替换部分人工工位，上线视觉检测应用软件，可视化展示检测状态，产线检测情况一目了然，实现液晶面板快速、准确、可靠且连续地全自动检测，大幅提高检测精度和效率，整体误判率小于1‰，生产效率提升约30%，产能提升约20%，节省人力约80%。

6 结束语

系统开发出具有国际先进水平的机器视觉算法库，具有图像预处理、视觉定位、几何尺寸测量、产品缺陷检测、OCR识别和视觉跟踪等功能。并在多个操作系统平台之间实现无缝移植。用户能够快速高效地进行二次开发。产线自动化、智能化程度快速提升，生产检测效率大幅提升。企业核心竞争力提高。部署本解决方案后，能够提高视觉检测线的集中管理能力，实现制造、管理各系统和工业设备互联互通，实现了检测智能化、通信实时化、协同多方化和预案数字化，提高工厂智能化管理水平。根据客户数据统计，检测效率提高200%，设备维护成本降低约50%，生产效率提升约30%，产能提升约20%。