基于颜色智能识别的嵌入式筒管分拣系统设计*

孙瑞霞, 李 炜, 王宗乾

(安徽工程大学 安徽省电气传动与控制重点实验室，安徽 芜湖 241000)

基于颜色智能识别的嵌入式筒管分拣系统设计*

孙瑞霞, 李 炜, 王宗乾

(安徽工程大学 安徽省电气传动与控制重点实验室，安徽 芜湖 241000)

为了满足纺织企业对筒管分拣系统的要求，提高分拣精度、实时性和智能化程度，研究并设计了一个基于颜色智能识别的嵌入式筒管分拣系统；选用以ARM Cortex-M4为内核的STM32F407VG作为控制芯片，详细介绍了系统的硬件设计、软件设计过程和方法；重点研究了自适应滤波方法、根据筒管图像RGB信息进行颜色识别和分拣的算法，并基于LabVIEW 2014开发了实用的人机交互界面；结果表明：系统可实现剔除有纱筒管，将空筒管自动按颜色分拣；空筒管分拣正确率接近99%，有纱筒管剔除接近98%，运行速度180根/min。

ARM；分拣；RGB；图像；识别

纺织企业使用的自动络筒机，出来的筒管都是很杂乱地落在储管区，各种颜色的空筒管、有纱筒管混合在一起。目前，大多数企业靠人工分拣理顺，效率低，劳动强度大，生产成本高。为了提高企业自动化水平和生产效率，许多学者对筒管的分拣系统进行了研究。比如，李峰等[1]设计并实现了基于ARM Cortex M3内核的LPC1768为控制器的自动捋管机控制系统，利用颜色传感器采集的RGB颜色信息进行识别处理。余海波等[2]介绍了一种基于计算机软件提高纱管分拣精度的纱管分拣控制方法。刘志辉[3]结合支持向量机(SVM)建立了颜色识别预测模型，实现对有纱管的识别和对空纱管的按色分类。郭宇[4]利用TCS230颜色传感器采集RGB值，构建BP神经网络，根据聚类准则进行纱管颜色识别。黄长存等[5]基于机器视觉实现了对纺织纱管的精确地分拣，提高了纺织纱管分拣的鲁棒性、灵活性和智能化。但方法的识别精度、实时性和智能化程度还有待提高，在一定程度上还不能满足企业要求。

从芯片选择、硬件电路设计、软件设计及识别和分拣算法等方面着手，研究和设计了一个嵌入式筒管多色分拣系统。

1 筒管分拣系统整体框架设计

1.1 系统整体结构

根据筒管分拣的特点和要求，整个筒管分色分拣系统由筒管输送线、工业相机、光电传感器、执行机构、ARM控制板、工控机、光源等组成，系统整体结构如图1所示。

图1 系统整体硬件结构Fig.1 Hardware structure of the system

1.2 系统工作原理

筒管输送线将筒管送入光电传感器探测区时，光电传感器捕捉到信号，发送一个脉冲信号给ARM控制板；ARM控制板发一个触发信号，工控机启动检测程序，工业相机开始采集图像，采集的图像送给工控机，借助基于图像处理技术和识别技术的自适应算法进行处理和识别；工控机将识别处理结果以执行信号的形式发送给ARM控制板；ARM控制板把执行信号转化为控制电信号，控制执行机构执行相应动作：若筒管无纱线，执行机构进行快速击打动作，把不同颜色的筒管分别击打到相应的筒管承接箱中；有纱筒管或未击打的空筒管顺着输送带进入储存箱中，进行二次分拣。

2 控制系统的硬件设计

为了满足分拣系统控制精度高、实时性好的要求，以ARM作为嵌入式硬件开发平台，采用STM32F4-Discovery开发板，它以ARM Cortex M4为内核，核心芯片是32位STM32F407VG，在同类产品中性能较高。设计的嵌入式控制系统的硬件结构如图2所示。

图2 嵌入式控制系统的硬件结构Fig.2 Hardware structure of embedded control system

2.1 STM32F4-Discovery开发板

STM32F4-Discovery，主频168 MHz，192 KB SRAM，1 024 KB FLASH，16个12位AD，多个DMA控制器，集成有ST-LINK仿真器。除了SPI、UART、I2C等接口外，LCD并行接口、照相机接口，USB OTG接口以及用于加密的处理器模块也一应俱全，为高性能和超快数据传送提供了可靠保证，适合于进行大量运算的高端应用。

2.2 光电传感器与STM32F4的连接

通过STM32F4的通道ADC123_IN15(PC5)来读取光电传感器的电压值，通过电压的变化判断有无筒管进入检测区。

2.3 STM32F4与工控机的串口通信

STM32F4与工控机通过串口进行通信。RS232不能直接连在STM32F4上，需要一个电平转换芯片，选用SP3232进行电平转换。

2.4 输出控制电路

工控机根据筒管图像处理的结果，通过串口发送命令给ARM，转换为控制信号(24 V)，输出到相应的控制端子GPIO，通过控制5 V继电器的接通与否来控制相应24 V的电磁阀，执行相应动作，把筒管击打到相应的筒管承接箱，实现筒管的按色分拣。控制系统能分拣8种颜色筒管，即红橙黄绿青蓝紫黑，分别通过8个继电器控制8个电磁阀的工作状态。如果是有纱筒管，8个输出端口全是低电平；如果是空筒管，相应颜色的端口输出高电平，每一路的颜色可以切换，且可以通过自学习进行调整[6-7]。为了抗干扰，保护继电器，在信号输入端加入光电耦合电路，通过光信号的传递来实现输入与输出间的电隔离。

3 控制系统的软件设计

设计的系统在软件方面必须满足：适合多种颜色筒管的识别及分拣，可以根据工艺需要进行调整；模块化及可移植性，便于系统开发和完善；智能化[8]。

3.1 主程序流程图

主程序流程见图3。

图3 主程序流程图Fig.3 Flow chart of the main program

3.2 编译环境

在集成开发环境IAR中，自顶向下，采用模块化设计，用C语言开发嵌入式应用程序。新建文件，命名为工程名stm32f4，对系统进行配置。右击工程Options，在对话框中，对Target项， Device选择ST STM32F407VG；Linker勾选Override default选项；Debugger，Driver选ST-LINK；ST-LINK，Interface选择SWD等[10]。工程包含多个文件夹，其中：inc放头文件；startup放启动文件startup_stm32f4xx.s；user放用户自己定义的文件，如main.c等。编译环境如图4所示。

图4 编译环境Fig.4 Compile environment

4 筒管图像的处理与识别

通过对大量筒管进行研究发现，尽管纱线的含量和位置不同，但有纱线和无纱线筒管在颜色上存在较大差异。所以，提取筒管图像的RGB值作为特征量。

4.1 自适应滤波设计

为了准确检测出筒管是否带纱线，且区分出筒管的颜色，提高颜色识别和分拣的精度，首先对筒管图像进行自适应滤波。

传统的中值滤波法应用到整个图像，采用小窗口时可以保持图像的细节，但不能滤除噪声；大窗口时虽然很好的滤除噪声，但图像会变模糊。根据筒管图像的特点，在传统中值滤波的基础上进行改进，提出一种自适应滤波法，步骤：

(1) 将筒管图像分割成若干子区域，统计各子区域中噪声点数及平均值Navg1；

(2) 对各子区域根据噪声点数确定滤波窗口的大小及处理方式：如果噪声点数大于Navg1，把滤波窗口变小，进行中值滤波； 如果噪声点数小于Navg1，统计噪声点平均值Navg2，大于Navg2的子区域，窗口不变，进行滤波；小于Navg2，不进行滤波处理。

图5 图像的RGB数据滤波结果Fig.5 Filtering results of RGB data of an image

对筒管图像的RGB数据进行对比，图5(a)为未处理、(b)为自适应滤波法处理的数据波形。方法达到了很好的效果，有效滤除了毛刺和噪声。

4.2 筒管颜色识别和分拣算法设计

提取筒管图像的RGB值作为特征量，在三维空间中将其抽象为数学模型，并进行系统自学习和校正，设计出筒管颜色识别和分拣算法。

系统自学习和校正过程：先记录并保存合适的背景图像，再以人工分拣的无纱、有纱筒管为研究对象，让分拣系统依次通过不同颜色的筒管，记录筒管图像、RGB值及其二值化图像，并提取图像的有效区域。通过大量筒管进行校正、反复调试，确定最佳阈值C，保存最终的筒管图像、RGB校正值，作为匹配模板。

筒管颜色识别和分拣流程见图6，具体算法如下：

(1) 先判断有无纱线：将工业相机捕捉的筒管图像，减去背景图像，以消除背景的影响；进行二值化处理，图像的有效区域为白色，面积为S，其余区域为黑色。当有效区域面积小于设定的阈值C，则表明有纱线，标识sign置1；否则为无纱线，标识sign置0；

(2) 对于有纱筒管，将顺着输送带进入储存箱中，进行二次分拣；

(3) 对于无纱筒管，再与事先保存的筒管图像进行匹配，根据与匹配模板的匹配度，进行颜色识别，选取匹配度最大的作为匹配结果，分拣输出到相应颜色的筒管承接箱。匹配度按照欧式距离法计算：

(1)

其中，Ri、Gi、Bi分别为第i个模板图像的RGB值，R′、G′、B′分别为图像有效区域S内RGB平均值。

(2)

G′、B计算方法类似。

结果图7和图8表明：将捕捉的筒管图像减去背景图像，再进行二值化处理，可以明显消除背景、噪声等因素的影响，提高识别和分拣的精度。且二值化图像的有效面积与有无纱线存在明显关联。

图6 筒管颜色识别和分拣流程Fig.6 Color recognition and sorting process of bobbin

5 人机交互界面设计

LabVIEW是NI设计平台的核心，开发环境集成了工程师和科学家快速构建各种应用所需的所有工具，是开发测量或控制系统的理想选择[9]。在LabVIEW 2014平台上，开发了一个实用的人机交互界面，实现对筒管图像的处理和识别。主界面见图9，包括“系统参数”、“分拣设置”、“开始分拣”、“信号控制”、“相机设置”、“模拟触发”等功能键；当前纱管的RGB值、对应的端子号、纱线数、所花费的时间；8种颜色对应的8个端子及统计数据等。

图9 主界面Fig.9 Main interface

点击“系统参数”，进入设置界面，设置筒管长度、静息时间、通信端口等。

点击“相机设置”，设置相机，拍照区域，开始触发。

点击“分拣设置”，通过相机采样筒管图像，捕捉到外界管子，把RGB值记录下来，根据捕捉的颜色在比色盘上设置新的颜色区域，还可以根据企业要求，定义新的颜色，RGB的范围可调，即所谓的自学习功能。并可定义它的RGB区域范围、颜色标号、输出端子、亮度等参数。

点击“开始分拣”，进入正常工作状态，开始对外界检测的管子进行颜色识别，然后符合之前定义颜色范围的管子，发出信号给输出端子，不断循环执行。可以动态采集图片，也可以静态测试，在不打开相机的情况下，点击“模拟触发”，打开图片，自动识别目标。

6 系统测试

经多次试验，设计的筒管多色分拣系统能自动识别筒管有无缠线，自动完成对有纱筒管的剔除，空筒管的自动按色分拣。空筒管按照颜色分拣正确率接近99%，有纱筒管检测和剔除正确率接近98%，运行速度 180根/min。具有用工少，效率高，操作简单，检测和控制精度高，对外界环境鲁棒性好等特点。

图10 筒管识别结果Fig.10 Bobbin recognition results

7 结束语

对纺织企业筒管分拣系统的现状进行了深入研究和思考，制订了筒管多色分拣系统方案。综合运用模式识别、图像处理、自动控制等多种技术，选用STM32F4-Discovery控制板，重点研究了滤波和识别分拣算法，设计的嵌入式筒管多色分拣系统能将筒管进行实时检测和控制，剔除有纱筒管，将空筒管自动按颜色分拣，具有效率高、检测和控制精度高等特点。根据生产工艺要求的不同，通过自学习，还可以处理各种尺寸、颜色的筒管。系统具有较大的实用价值。实际应用中，还可以在提高复杂环境下的鲁棒性、有纱筒管检测精度方面进行研究完善。

[1] 李峰.基于ARM的自动捋管机控制系统设计[J].仪器仪表用户,2012,19(1):28-30

LI F.The Design Proposal of Automatic Bobbin Sorting Machine[J].Electronic Instrumentation Customer,,2012,19(1):28-30

[2] 余海波,宋秀龙,赵东京,等.基于计算机软件提高纱管分拣精度的纱管分拣控制方法：中国,CN201410719515.7[P].2015-04-22

YU H B,SONG X L,ZHAO D J,et al.The Control Method Based on Computer Software to Improve the Precision of Yarn Bobbin Sorting:China,CN201410719515.7[P].2015-04-22

[3] 刘志辉,宋丽梅.自动掳管机颜色识别系统研究[J].仪器仪表用户,2012(6):35-37

LIU Z H,SONG L M.Research on Color Recognition System of Automatic Tube Machine[J].Electronic Instrumentation Customer,2012(6):35-37

[4] 郭宇.基于神经网络的颜色识别在自动掳管机上的应用研究[D].天津:天津工业大学,2012

GUO Y.Application Research of Automatic Tube Machine on Color Recognition Based on Neural Network[D].Tianjin:Tianjin University of Technology,2012

[5] 黄长存,张智宇,孙彦春,等.基于机器视觉实现纺织纱管分拣的方法:中国,CN201410612225.2[P].2015-04-01

HUANG C C,SUN Z Y,SUN Y C,et al.The Sorting Method of Textile Bobbin Based on Machine Vision:China,CN201410612225.2[P].2015-04-01

[6] 姚现伟.基于STM32的智能家居红外控制系统研究与设计[D].秦皇岛:燕山大学,2014

YAO X W.Research and Design of Home Furnishing Intelligent Infrared Control System Based on STM32[D].Qinhuangdao:Yanshan University,2014

[7] 吴才章.基于ARM 的图像采集与显示系统设计[J].自动化技术与应用,2010,29(3):118-122

WU C Z.Design of Image Acquisition and Display System Based on ARM[J].Automation Technology and Applic-ation,2010,29 (3):118-122[8] MENDOZA F,DEJMEK P,AGUILERA J M.Calibrated Color Measurements of Agricultural Foods Using Image Analy-sis[J].Postharvest Biology and Technology,2006,41(3):285-295[9] 陈树学.LabVIEW宝典[M].北京:电子工业出版社,2011

CHEN S X.LabVIEW collection [M].Beijing:Electronic Industry Press,2011

责任编辑：田 静

Design of Embedded Bobbin Multicolor Sorting System Based on Color Intelligent Identification

SUN Rui-xia, LI Wei, WANG Zong-qian

(Anhui Polytechnic University，Anhui Provincial Key Laboratory of Electrical Transmission and Control，Anhui Wuhu 241000, China)

In order to meet the requirement of textile enterprise on the bobbin sorting system, increase the sorting accuracy, real-time and intelligent degree, an embedded tube multicolor sorting control system is studied and designed from chip selection, hardware design, software design and optimization. ARM cortex-M4 architecture is chosen as the core, STM32F407VG as control chip, and introduction of the system design is given in detail. Adaptive filtering method, the color identification and sorting algorithm of bobbin based on RGB information are mainly studied. A practical man-machine interface is developed based on the LabVIEW 2014. The results show that removing tube can be realized, empty bobbin will be automatically sorted according to color and reducers straighten out. Empty bobbin sorting accuracy is close to 99%. Bobbin eliminating accuracy is close to 98%. Running speed is 180 per minute.

Advanced RISC Machines(ARM); sorting; RGB; image; recognition

10.16055/j.issn.1672-058X.2017.0003.013

2016-12-11；

2017-02-26. * 基金项目：安徽省高等学校自然科学研究项目(KZ00216024).

孙瑞霞(1980-)，女，山东济宁人，讲师，硕士，从事智能控制与优化、计算机应用研究.

TP39

A

1672-058X(2017)03-0071-06