基于Firefly-RK3288的纸杯污渍检测系统设计研究

王宇轩，杨宁，高雅，代作晓

（1.上海电力学院，上海200090；2.太仓光电技术研究所，江苏215400）

基于Firefly-RK3288的纸杯污渍检测系统设计研究

王宇轩1，杨宁1，高雅2，代作晓2

（1.上海电力学院，上海200090；2.太仓光电技术研究所，江苏215400）

针对在一次性纸杯的生产过程中存在不可预见性等因素而导致生产出缺陷纸杯的现象，提出一种基于Firefly-RK3288的低功耗嵌入式纸杯污渍检测系统，将视觉检测模块直接嵌入制杯机。该系统基于OpenCV的边缘检测和形态学处理等算法实现纸杯的污渍缺陷检测。该方法可避免传统人工检测存在的主观性大和准确率低等缺点，有助于实现检测系统的小型化，低功耗和降低检测系统的成本。

0 引言

传统的人工品检方式存在漏检、检测效率低、主观随意性大、人为接触污染等缺点。因此，越来越多的厂家开始采用机器视觉方式进行纸杯缺陷自动检测。目前国内的一次性纸杯缺陷检测系统大都采用PC作为硬件处理平台[1-2]。虽然PC方案具有检测速度快和灵活性高等优点，但是PC方案体积偏大、成本高、功耗大。针对以上缺点本文提出了一种基于Firefly-RK3288的低功耗纸杯污渍检测方法，介绍了检测系统的软硬件设计过程，给出了低速生产时的纸杯污渍自动识别结果。

1 硬件设计

1.1 系统组成

系统硬件结构如图1所示。

首先由电源模块为LED光源和ARM提供稳定的电源，用户打开检测程序开始检测，当CCD相机接收到触发信号时对现场的纸杯图像进行实时采集，主控单元将采集到的图像信息转存到缓存区RAM中，然后对图像进行处理，最后开始污渍识别，将有污渍的图片存储到Flash闪存中，并统计出有缺陷的纸杯数量，最终将统计结果反馈到显示屏上。

图1 硬件结构图

1.2 主控单元

本系统采用北京立萨科技有限公司的Firefly-RK3288作为主控单元。其核心芯片是瑞芯微RK3288。该芯片采用的是四核32位ARM Coretex-A17内核架构，运行主频为1.8GHz；系统内存2GB,Flash闪存16GB主要用做存储图像信息以及处理结果[3]。

1.3 光源

光照的质量能够直接影响采集到的图像数据质量。考虑到光照强度、稳定性以及照明方式，最终本系统选取前向照明方式，15W的环形LED光源。

1.4 CCD传感器

常用的工业相机分为CMOS和CCD,因为CMOS传感器在运行时容易产生较大的噪声干扰缺陷检测，但是CCD传感器在传输电荷的过程中其失真是很小的，所以选择CCD作为本系统的图像采集单元，其型号为 CMLN-13S2M，焦距为 4mm，外形尺寸为φ28×33.2mm，水平视场角为60.8°，接口为CS，图像格式为1/2.5"[4]。

2 算法设计

2.1 检测流程

算法流程图如图2所示。

图2 纸杯检测流程

首先对系统进行初始化；对采集到的图进行二进制阈值操作来突出图像与背景的灰度差，达到噪声滤波的效果；然后使用多边形逼近轮廓法找出外接矩形边界，再使用中值滤波，滤除杯子黑斑。预处理完成后设置纸杯ROI区域，来提高检测效率；再使用形态学闭运算，去掉孤立元素连接邻近元素，使边界平滑；然后使用Canny边缘检测底杯轮廓，使用Hough变换找出纸杯的接缝；最后缺陷分析并将结果反馈到显示单元。

2.2 检测算法

（1）图像预处理

使用二值化来突出图像与背景的灰度差，滤除灰度图像中的噪声；再使用多边形逼近轮廓法找出外接矩形边界，最后使用中值滤波，滤除杯子黑斑。二进制阈值法的原理是当前点值src（x，y）大于阈值T时，取最大值Maxval,否则为0。其原理图如图3所示。

二是建立完善企业党建工作指导机制。继续发挥各级党员领导干部的作用，建立党员领导干部企业党建工作联系点，定期或不定期深入企业调查研究，指导开展党建工作。另外，完善企业党建指导员制度，专职靠上指导企业组建党组织和开展党建工作。例如，山东省广饶县建立了县级领导干部联系非公有制企业抓党建制度，34名县级党员领导干部每人联系一家非公有制企业和一个乡镇（街道），指导开展企业党建工作；同时，在没有党员或党员不足3名的非公有制企业，派驻党建指导员，帮助建立“兼合式”党组织，在企业开展党组织活动。

图3 二进制阈值原理图

（2）设置感兴趣区域

根据所采集到的纸杯图像信息和灰度分布的特点，将纸杯图像分为内壁、内壁接缝以及杯底三个ROI区域。如图4所示。

图4 ROI区域效果图

（3）形态学处理

因为对图像进行过二进制阈值处理，所以得到的图像边界会有不平滑的现象，伴随着一些孔洞，易影响后续的污渍识别，所以对图像再进行形态学闭运算，即对图像信息进行先膨胀再腐蚀的方法，这样做的目的是为了消除二值化后图像中存在的小的噪声并填补孔洞，以此来连接临近物体，平滑图像边界的效果[5]。

（4）检测定位Canny算法

使用高斯滤波器对图像进行卷积滤波滤除噪声。利用Sobel算子计算局部梯度幅值M（i,j）和梯度方向θ（i，j）。对 M（i，j）进行进行非极大值抑制，若当前像素梯度幅值大于等于相邻两个像素的梯度幅值则认为是边缘像素点。最后设置T1（上限阈值）和T2（下限阈值），若当前值T＞T1则认为是边缘像素；若T＜T2抛弃；若T2＜T＜T1，只有当前像素和边缘像素相接才保留[6-7]。

（5）Hough变换

在系统中通过对参数坐标系中点的采集来查找出图像坐标系中的目标直线，原理如图5所示。

图5 Hough变换原理

找到符合y=mx+c的所有(x,y)的点。进行坐标系变化，将y=mx+c变成c=-xm+y。直线上每个点在mc坐标系中都表现为直线且这些直线都交于一点(m,c)。图像中的每个点，在mc坐标系中对应着很多的直线。找到直线的交点，就找到图像中的直线[8-9]。

（6）污渍检测

首先设定污渍的灰度阈值为b_gray，其像素个数阈值为b_pixsum。然后对感兴趣区域进行扫描，统计灰度值小于 b_gray的像素个数Dot。若Dot大于b_pixsum则停止扫描并计算当前污渍面积的总和Dot⁃sumsize和污点数目DotNum以及检测耗时t；若小于则从头开始扫描直到满足条件为止[10]。最后将检测结果反馈到显示单元。

3 实验结果及分析

对现场的500个纸杯进行抽样检测，从中随机抽取了80个有污渍的纸杯样品进行现场检测，其中污渍的直径范围是0.1-1mm，灰度范围是20-100%。本次实验分别使用PC平台和ARM平台进行污渍检测，通过检测数据来验证ARM方案是否可行。其中PC方案使用的是联想Y470笔记本电脑其主频达到2.3GHz。经过实验将检测数据记录于表1。两种方案实验比较图如图6所示。

表1 PC方案和ARM方案对比数据

图6 PC方案效果图和ARM方案效果图

经过对比试验发现ARM平台可识别的污渍直径最小为0.4mm，最小灰度为20%，从开始采集图像到识别图像平均每1.03s检测完一个纸杯，和PC方案对比，嵌入式方案在小型化、经济性方面有着良好的优势，在识别污渍的性能方面基本能够满足低速纸杯机（40个/min）的设计需求。

4 结语

本文利用Firefly-RK3288强大的多线程运算能力、图形处理能力实现了一种基于嵌入式平台的纸杯污渍检测系统并已将该系统投入到实际应用中。经过实验对比表明本文设计的系统在保证识别算法的速率和正确率的基础上，使得设备在小型化、经济性方面有了很大的改进，极大地降低了纸杯在线检测的成本，有很大的推广价值。

[1]赵宇峰,高超,王建国.基于机器视觉的工业产品表面缺陷检测算法研究[J].计算机应用与软件,2012（02）:152-154.

[2]龙天才.纸杯表面质量检测软件系统设计[D].电子科技大学，2016.

[3]赵爽.基于H.265的高清网络视频处理技术的研究与实现[D].中国舰船研究院，2016.

[4]陈鹏.基于单目视觉的像机位姿估计技术[D].北京科技大学，2015.

[5]庞章炯，张鹰，谢佩军，计时鸣.机器视觉在晶振外壳缺陷检测中的应用[J].制造技术与机床，2007（03）:87-91.

[6]徐亮,魏锐.基于Canny算子的图像边缘检测优化算法[J].科技通报，2013(07):127-131+150.

[7]吕哲，王福利，常玉清.一种改进的Canny边缘检测算法[J].东北大学学报(自然科学版)，2007(12)：1681-1684.

[8]段铮昱，文生平.基于机器视觉的电子产品外观表面缺陷检测方法研究[J].计算机测量与控制，2014(04)：1009-1011.

[9]朱院娟，郭斯羽，朱志杰，翟文娟，董红霞.结合LTS和Hough变换的直线检测算法[J].计算机工程，2012(14)：206-210.

[10]张中岳.基于机器视觉的纸杯质量在线检测系统研发[D].电子科技大学，2011.

王宇轩（1993-），男，河南睢县人，硕士研究生，研究方向为机器视觉与智能相机

杨宁（1976-），男，湖南湘潭人，教授，博士，研究方向为能量数据分析与管理

高雅（1990-），女，山东兰陵人，硕士研究生，研究方向为机器视觉

代作晓（1970-），男，山东莱西人，研究员，博士，研究方向为红外光电技术及系统工程

2017-07-20

2017-10-10

Firefly-RK3288;Morphological Treatment；Edge Detector

Design of Paper Cup Stain Detection System Based on Firefly-RK3288 ARM Platform

WANG Yu-xuan1，YANG Ning1，GAO Ya2，DAI Zuo-xiao2

（1.Shanghai University of Electric Power,Shanghai 200090；2.Taicang Institute of Opto-Electronic Technology,Taicang 215400）

In the process of producing disposable paper cup,there are some unpredictable factors leading to defective paper cups.To avoid this unde⁃sirable feature,proposes a low power embedded detection system based on cortex A17,which is part of the cup making systems.Applies some algorithms based on OpenCV including edge detector,mathematical morphology to realize the detection.Compared with the tradition⁃al detection method,the method proposed is more objective and accurate.Besides,it helps realize the miniaturization of the detection sys⁃tem and reduce the cost.

Firefly-RK3288；形态学处理；边缘检测

上海市地方院校能力建设专项项目（No.15160500800）

1007-1423（2017）29-0070-04

10.3969/j.issn.1007-1423.2017.29.017