基于自适应神经模糊推理系统的纸病二次辨识

王亚波 周 强,* 王伟刚 王 莹

(1.陕西科技大学电气与信息工程学院，陕西西安，710021;2.陕西科技大学材料科学与工程学院，陕西西安，710021)

·纸病二次辩识·

基于自适应神经模糊推理系统的纸病二次辨识

王亚波1周 强1,*王伟刚1王 莹2

(1.陕西科技大学电气与信息工程学院，陕西西安，710021;2.陕西科技大学材料科学与工程学院，陕西西安，710021)

针对造纸生产线上宽幅高速纸机纸病检测系统快速性和精确性的挑战，提出“工业相机+FPGA(Field-Programmable Gate Array)+计算机”模式下的基于自适应神经模糊推理系统的纸病二次辨识方法。使用CCD相机采集纸张图像，通过FPGA完成图像预处理和一次辨识(粗辨识+过辨识)；计算机通过自适应神经模糊推理系统(ANFIS)对疑似纸病区域二次辨识(精确辨识)，判断出纸病和种类。实验表明，该方法能够准确地辨识各种纸病。

机器视觉；FPGA；纸病二次辨识；自适应神经模糊推理系统(ANFIS)

随着造纸生产自动化的不断提升，当前纸机幅宽可达11 m，最高车速可达2000 m/min，加之造纸纤维、工艺流程、机械设备等不确定因素存在，使得纸张抄造过程中会面临缺陷(常见外观纸病)的风险，外观纸病严重影响纸张外观、降低成纸质量，给企业造成直接或间接的损失。传统的以人工肉眼完成纸病检测的方法因其检测效率差、精度低、实时性较低及检测标准不一等缺点早已不能满足生产需要；新兴的基于机器视觉的纸病在线检测技术被应用于造纸工业中[1]，该技术通过对纸张图像处理和辨识，能够辨识出褶皱、黑斑、孔洞、光斑、边缘裂缝等常见纸病，其分辨率可以达0.5 mm，是纸病在线检测技术的发展方向。

目前，基于机器视觉的纸病在线检测系统一般采用“工业相机+计算机”的结构模式和一次辨识的工作方式[2]，即(线阵)工业相机拍摄纸张表面，由相机的采集卡形成纸张表面的整幅图像并传递给计算机，由计算机对图像进行处理，通过图像预处理、纸病特征提取和纸病辨识等环节判断出有无纸病以及纸病的种类[3]。但是，由于作为检测系统核心的计算机数据处理能力的限制，检测系统越来越难以实时处理宽幅、高速纸机带来的大量图像数据。以10 m 宽纸幅、1500 m/min车速的造纸生产线为例，要达到0.5 mm纸病分辨率，每秒要处理的图像数据将达到1G以上，这是以串行数据处理方式为主的计算机运算能力无法达到的，使得纸病检测系统的快速性和精确性难以持续提升。

图1 纸病在线检测系统硬件框图

图2 FPGA系统配置

为了解决基于机器视觉的纸病检测系统数据处理能力不足的问题，本课题在“工业相机+FPGA+计算机”的检测系统结构模式下，提出一种纸病“二次辨识”的处理方法。由FPGA承担纸病一次辨识，一次辨识的内容包括：①纸张图像预处理；②纸病粗判(仅判断纸病可能存在否，不判断纸病的种类)；③提取疑似纸病区域；④将疑似纸病区域发送给计算机。由计算机对疑似纸病区域进行精确的二次辨识，二次辨识内容包括：①多特征量的提取；②基于自适应神经模糊推理系统(ANFIS)的纸病精确辨识。

该方法的特点是利用分布式的硬件系统，分解纸病检测的快速性问题和精确性问题。利用FPGA的并行数据处理能力对海量纸张表面图像数据进行预处理和粗辨识，根据“过辨识”原则将疑似纸病区域判断出来并传送给计算机；由于疑似纸病部分的数据仅占总数据量0.1%以下，计算机的运算负担大大减轻，可以利用计算机编程的灵活性，实现复杂的算法以精确辨识纸病类型。

实验表明，“工业相机+FPGA+计算机”模式下基于自适应神经模糊推理的纸病在线检测系统运行稳定，检测速度快、精度高，满足造纸现场纸病检测实时高效的应用需求。

1 纸病检测系统结构和工作方式

本课题按照“工业相机+FPGA+计算机”结构模式，构建一种分布式的纸病检测硬件系统，该系统按照二次辨识的工作方式检测纸病。

1.1 “工业相机+FPGA+计算机”的纸病检测硬件系统结构

与传统“工业相机+计算机”的纸病检测系统结构不同，本课题构建的是“工业相机+FPGA+计算机”的具有分布式结构的纸病检测系统，该系统由线性光源系统、CCD工业相机、FPGA、计算机、辅助设备(含报警器和投标器(当系统检测到缺陷时即输出信号控制投标器在产品边沿打上标记))等组成，系统结构见图1。

(1)光源系统搭建。由于光源的选择及其照射方式会严重影响相机成像灰度、图像均匀性及缺陷对比度等。综合考虑各种因素，本系统选择线型LED前光源和线型LED背光源，同时为线阵CCD工业相机所拍摄的线型区域进行照明，且每个LED点光源的亮度可调，以确保被测纸张照明区域亮度的均匀性。

(2)CCD相机的选择。根据对纸病检测系统0.5 mm 的分辨率要求，以及纸机车速400 m/min和幅宽3 m等工况条件，选择3台DALSA的Spyder2系列线阵CCD相机。

(3)FPGA系统配置。为了解决检测系统的快速性问题，承担纸张图像采集、预处理、纸病一次辨识和疑似纸病分割与传输等功能的FPGA系统，其配置如图2所示[4]，按模块分为：Camera Link接口模块、视频图像控制采集模块、用户自定义逻辑模块(图像处理)、以太网控制模块、存储模块、Nios II软核处理器和按键等[5]。

1.2 二次辨识的工作方式

现有的纸病检测系统都是采用一次辨识的工作方式，即将纸病图像预处理、特征量提取和纸病分类等工作，由计算机单独完成。这种工作方式给计算机带来了巨大的运算量，造成计算机卡顿、死机等现象频发。为此本课题提出了一种二次辨识的工作方式，工作过程见图3。

(1)FPGA一次辨识

利用FPGA的数据并行处理能力，每个FPGA负责对一台CCD相机的纸张表面图像进行预处理，按照“过辨识”的原则对纸病进行“粗”辨识，判断出疑似纸病，分割出疑似纸病区域并将该区域传送至计算机。由于FPGA承担了98%以上的数据处理任务，从而解决了系统的快速性问题。

图3 纸病检测二次辨识的工作示意图

(2)计算机二次辨识

利用计算机中运行的高级语言平台(本课题采用VS2010)的强大编程能力，通过特征提取环节和分类环节，对疑似纸病进行二次辨识，确定纸病的存在并精确判断出纸病的种类[6-7]。该工作解决了纸病检测的精确性问题。

2 基于FPGA的纸病一次辨识

FPGA接收到工业相机通过Camera Link通信线传送过来的线阵数据后，进行以纸病一次辨识为核心的纸张表面图像处理，具体过程如下。

(1)图像预处理

首先，对CCD线阵相机拍摄到的线阵数据进行暂存和整合，构成一帧完整的纸张表面图像数据，即每一幅1024 mm×480 mm纸张表面图像形成一个2048×480的8位二进制灰度矩阵F：

(1)

其中，2048≥c≥1 480≥d≥1。

其次，对矩阵F进行中值滤波处理，消除其噪声成分，获得矩阵F′。

(2)纸病一次辨识

首先，使用5×5的Sobel算子对F′进行处理，获得一个2048×480的矩阵S：

(2)

其次，设定一个上限阈值smax和一个下限阈值smin，对S中的每一个元素进行二值化处理。

(3)

其中，2048≥a≥1，480≥b≥1，S中为1的元素就是可能存在纸病的对应区域，为了不漏掉任何纸病，本课题制定了“过辨识”的原则，将[smin，smax]的范围设定的较窄，这样就将一些不能确定是否存在纸病的区域也划入到疑似纸病区域，由计算机进行二次辨识。

(3)疑似纸病区域分割

根据矩阵S中元素“1”组成的区域即一次辨识得到的疑似纸病区域，将这类区域投影到矩阵F中，使用最小外接矩形将这些疑似纸病区域Wi(i=1，2，…)提取出来。

(4)疑似纸病图像传输

统计表明，疑似纸病区域Wi的数据量总和仅仅占矩阵F数据量的0.01‰～1‰，以本系统400 m/min车速纸机，每个线阵相机扫描宽度为1 m，辨识分辨率0.5 mm为例，每个FPGA要处理的图像数据为26.7 M/min，FPGA处理后得到的疑似纸病区域的数据量小于27 K/min，因此本课题采用以太网将数据由FPGA传送给计算机[8]。

FPGA一次辨识的具体模块实现如图4所示。

图4 FPGA的一次辨识模块设计

3 基于ANFIS的纸病检测二次辨识

为了确定疑似纸病并分辨出纸病类型，计算机进行纸病的二次辨识，该过程包括特征量提取和纸病确定与分类两个步骤。

3.1 纸病二次辨识的特征量选取

按照完备性和独立性的原则选择能够反映纸病及类型的特征量。最常用的灰度特征，如灰度均值，能够反映黑斑、孔洞和亮斑等纸病的存在，另外由于纸病检测系统背光源的使用，使得纸张图像灰度的均匀性变化突出，灰度标准差这个特征量能够反映纸张表面质量，而且能够辨识隐藏于纸张内部的缺陷，但无论是灰度均值还是标准差对于褶皱、划痕、纸张边缘裂纹等灰度特征差异较小的纸病则无明显变化；纹理特征(如灰度共生矩阵)能够反映褶皱、划痕等纸病的存在；而几何特征(如周长面积比)能够反映纸张边缘裂纹等形状特殊的纸病存在。因此本课题选择的纸病二次辨识的特征量为：灰度特征包括灰度均值和灰度标准差；几何特征包括纸病区域的周长面积比；纹理特征包括灰度共生矩阵的自相关和灰度共生矩阵的熵。

(1)灰度均值

(4)

式中，g(x，y)表示滤波后图像在(x,y)处的灰度值，∑{}表示对纸病图像S内像素点灰度值求和，M为纸病区域内像素点的个数。

(2)灰度标准差

(5)

灰度标准差用以描述纸病区域内灰度值相对灰度均值的偏离程度。

(3)周长面积比

Ratio=P/A

(6)

式中，周长P=∑{F(x，y)=1|x，y∈L}，∑{}表示统计纸病区域L上的像素点灰度值F(x，y)=1的个数；纸病区域S上的面积表示为A=∑{F(x，y)=1|x，y∈S}。F(x，y)为二值化纸病图像灰度值，∑{}表示统计纸病区域S上的像素点灰度值F(x，y)=1的个数。

(4)灰度共生矩阵的自相关

(7)

自相关用来度量图像的灰度级在行或列方向上的相似程度，因此，相关值得大小反应了局部灰度相关性。

(5)灰度共生矩阵的熵

(8)

熵被用来度量图像纹理的随机性。当共生矩阵中所有值均相等或者像素值表现出最大的随机性时，熵最大，即图像越复杂，熵值越大。

计算出以上5个特征量后，需要在分类辨识器中对其进行信息融合，从而实现纸病的二次辨识。

3.2 基于ANFIS的纸病分类辨识器

自适应神经模糊推理系统(Adaptive Neural-Fuzzy Inference System，ANFIS)是一种将模糊推理系统的模糊语言表达能力和神经网络的自学习能力有机地结合起来的技术[9]。它利用神经网络的自学习机制来确定和优化模糊逻辑规则及隶属度函数参数，以使模糊系统具有以任意精度逼近非线性函数的能力，从而使ANFIS运用于非线性系统的精确辨识成为可能[10]。因此本课题采用ANFIS技术构建纸病分类辨识器，该辨识器结构图如图5所示。

3.2.1ANFIS纸病分类辨识器的构建

(1)输入量和输出量

构建的ANFIS具有5个输入量、6个输出量以及4个前向神经网络层，具体见图5。5个输入量分别是灰度均值Mean、灰度标准差Std、周长面积比Ratio、自相关Corr、灰度熵ENT；6个输出量s1、s2、…、s6，其二值化的输出量1或-1，分别代表ANFIS的判断出黑斑、亮斑、孔洞、褶皱、划痕、裂纹等6种纸病的结果。

(2)四层ANFIS的结构

第一层网络(纸病特征量模糊化层)，由15个高斯函数组成，它们是对灰度均值、标准差等5个特征量按照L(大)、M(中)、S(小)3种模糊语言进行模糊化计算，函数的输出量是某一特征量在某一模糊语言下的隶属度，计算见式(9)。

(9)

式中，i=1，2，…，15；j=1，2，…，5；X1，X2，…，X5分别为Mean，Std，Ratio，Corr，ENT等输入量。

图5 ANFIS纸病分类辨识器结构图

第二层网络(纸病发生概率模糊规则层)，由6个神经元组成，其输出分别代表黑斑、亮斑、孔洞、褶皱、划痕、裂纹等6种纸病的发生概率，神经元的激励函数计算见式(10)。

(10)

式中，k=1，2，…，6；wik是第一、二层间网络权值，其物理意义是某一特征量(模糊语言)与某种纸病的关联关系，纸病多特征量的信息融合就发生在该层。

第三层网络(纸病发生概率归一化层)由6个神经元组成，该层的神经元激励函数计算见式(11)。

(11)

第四层网络(二值化判断层)由6个神经元组成，激励函数采用为二值函数表示，见式(12)。

(12)

函数输出1代表有纸病或-1代表无纸病。

该ANFIS中有一些参数需要通过训练来确定，包括：第一层激励函数的参数ai、bi(i=1，2，…，15)，第四层激励函数的参数ck(k=1，2，…，6)，以及第一、二层间网络权值wik(i=1，2，…，15；k=1，2，…，6)。

3.2.2ANFIS纸病分类辨识器的训练

将{xi′，sk′|i=1，2，…，5；k=i=1，2，…，6}训练样本的xi′和sk′分别从输入端和反馈输入端输入，根据ANFIS拟合偏差，利用BP算法沿着由输出端到输入端的反方向依次对ANFIS的ck、wik，ai和bi等126个参数进行训练，并使用部分未使用过的训练样本检验ANFIS的泛化能力。完成训练的ANFIS就可以作为纸病分类辨识器工作。

4 实 验

为了检验提出的纸病在线检测系统效果，本课题选取边缘裂缝、黑斑、孔洞、亮斑、褶皱、划痕等6种常见纸病，分别选取每种纸病图像200幅，其中140张图像用于训练基于ANFIS的纸病分类辨识器，60幅图像用于预测分类辨识结果。

4.1 实验过程

(1) 一次辨识

对所采集到的6种常见纸病图像在FPGA上硬件实现所编写的算法模块，实现模块如上图4所示，完成纸病的一次辨识和疑似纸病区域分割，由于篇幅限制，仅给出孔洞及边缘裂缝的处理结果见表1。

表1 FPGA一次辨识结果

通过边缘检测可以获得纸张图像的纸病区域，对不规则类型纸病求取其最小外接矩形对该区域进行分割，以降低数据的传输量和计算机处理的数据量。

表2 纸病特征量的提取

(2)二次辨识

通过对纸病图像的灰度特征、几何特征及纹理特征的常见特征量的实验仿真和分析，根据特征量选取的原则，最终确定以下特征量，实验数据如表2所示。

不同的纸病其特征向量也表现不同，通过选择不同的特征量构成的纸病特征向量与纸病成一一对应关系。从表2可以看出，黑斑的灰度均值最小，而亮斑的灰度均值最大；孔洞的灰度标准差最大；周长面积比可以明显地区分划痕、裂缝和褶皱等线形纸病与黑斑、孔洞和亮斑等弧形纸病；褶皱的熵略低于边缘裂缝，但其自相关却高于边缘裂缝；划痕的自相关低于亮斑，但普遍高于其他纸病。可见，通过上述特征量可以明显且精确地辨识纸病种类，从而避免纸病误判的风险。

计算机端利用VS2010编程平台采用C++编程语言编程的灵活性，编写上位机实现对一次辨识后所传输纸病图像的特征量提取、输入Mean、Std、Ratio、Corr、ENT等特征量训练ANFIS分类器，ANFIS根据式(9)～式(11)进行前向推理运算，使用LMS算法根据输出误差e修改网络权值，从而实现纸病的二次辨识。

4.2 实验结果和实验分析

通过每类纸病各160幅对ANFIS分类辨识器训练，之后输入每类纸病各60幅验证分类器的辨识精度，实现对FPGA上传的疑似纸病区域的二次辨识。其辨识结果如表3所示。

表3 纸病辨识结果

表3中分别给出了6种纸病的辨识结果，其中，辨识率为正确辨识出纸病的比值；误检率为检测为纸病但分类出错所占比值；漏检率表示未能辨识出纸病所占比值。由表3可以看出，孔洞的辨识正确率最高，而划痕的辨识正确率最低，究其原因主要在于划痕的目标灰度和背景灰度区别较小，根据灰度难以检测到划痕，导致划痕的漏检率较高(考虑到二次辨识的时效性，若对彩色图像处理，无疑会增加处理的数据量和算法的复杂性)。总体而言，基于本课题提出的辨识方法，不仅具有较高的辨识正确率，而且具有一定的鲁棒性。

将FPGA硬件平台和计算机上算法实现的算法时间进行统计，结果见表4。

从表4中可以看出，利用FPGA的并行运算可以快速完成图像的一次辨识并大大减小图像的传输量，从而极大地提高了计算机对图像进行二次辨识的速度，这将使纸病标记及产品复卷剔除更为精准。

表4 FPGA与PC算法时间统计

5 结 论

本课题在分析当前基于机器视觉的纸病在线检测系统的模式及其制约的基础上，提出了“工业相机+FPGA+计算机”的检测系统结构模式下纸病二次辨识的处理方法。利用FPGA的并行运算实现纸病一次辨识的硬件加速，同时有效减少传输至计算机端的数据量；在计算机上利用复杂算法编程的灵活性提取纸病多个特征量训练基于ANFIS的纸病分类器，从而实现纸病的实时精确地辨识。实验表明，该方法检测速度快、检测精度高，该方法对实际生产具有一定的指导意义。

[1] GUAN Jian-hua. Web Inspection Technology and Application in Paper Making[J]. China Pulp & Paper, 2000, 19(6): 32．

关健华. 全幅纸病检测技术及在造纸中的应用[J]. 中国造纸, 2000, 19(6): 32．

[2] YANG Bo, ZHOU Qiang, ZHANG Gang-qiang. Study on Algorithm of Paper Defect Detection Based on Geometric and Gray Feature[J]. China Pulp & Paper, 2011, 30(9): 50．

杨 波, 周 强, 张刚强. 基于几何及灰度特征的纸病检测算法研究[J]. 中国造纸, 2011, 30(9): 50．

[3] ZHOU Qiang, CHEN Ying, SHEN Tian-yu, et al. Review on Development of Paper Defect Detection System Based on Machine Vision Technology[J]. China Pulp & Paper, 2016, 35(5): 72.

周 强, 陈 颖, 沈天宇, 等. 基于机器视觉的纸病检测系统发展综述[J]. 中国造纸, 2016, 35(5): 72．

[4] LIU Yong, ZHOU Qiang, LIU Tao, et al. Paper Defect Pretreatment System Based on FPGA[J]. China Pulp & Paper, 2013, 32(8): 46．

刘 勇, 周 强, 刘 涛, 等. 基于FPGA的纸病检测预处理系统研制[J]. 中国造纸, 2013, 32(8): 46．

[5] Tang Wei, Wang Xiantong, Wang Feng, et al. Design and Implementation of Web Inspection System Based on FPGA and CCD Camera[J]. Transactions of China Pulp and Paper, 2016, 31(1): 57.

汤 伟, 王先通, 王 锋, 等. 基于FPGA和CCD相机的纸病检测系统的设计与实现[J]. 中国造纸学报, 2016, 31(1): 57．

[6] WANG Yong-jun, CHEN Wen-kai, XIONG Zhi-xin, et al. Web Inspection Based on Hough Transform[J]. China Pulp & Paper, 2010, 29(3): 59.

王勇军, 陈文凯, 熊智新, 等. 基于Hough变换的纸病检测分析[J]. 中国造纸, 2010, 29(3): 59．

[7] Ren Peng. Detection System of Paper Defects Based on Machine Vision and Implimentation with C/C++[D]. Xi’an: Shaanxi University of Science & Technology, 2013.

任 鹏. 基于机器视觉C/C++实现的纸病检测系统研制[D]. 西安: 陕西科技大学, 2013．

[8] Ma Wenchao, Zhang Tao. Ethernet High-speed Transmission Platform Based on FPGA[J]. Computer Engineering, 2012, 38(1): 242．

马文超, 张 涛. 一种基于FPGA的以太网高速传输平台[J]. 计算机工程, 2012, 38(1): 242．

[9] Wang Tao, Liu Yuan, Xie Zhenping. Video Smoke Detection Based on Adaptive Neturo-fuzzy Inference System[J]. Computer Engineering, 2011, 37(23): 186．

王 涛, 刘 渊, 谢振平. 基于自适应神经模糊推理系统的视频烟雾检测[J]. 计算机工程, 2011, 37(23): 186．

[10] Liu Qian, Han Pu, Wang Dongfeng. Soft-Sensing of Oxygen Content in Flue Gas Based on ANFIS Model[J]. Computer Simulation, 2014, 31(10): 437．

TheSecondaryIdentificationofPaperDefectsBasedonAdaptiveNeural-fuzzyInferenceSystem

WANG Ya-bo1ZHOU Qiang1,*WANG Wei-gang1WANG Ying2

(1.CollegeofElectricalandInformationEngineering,ShaanxiUniversityofScience&Technology,Xi’an,ShaanxiProvince, 710021;2.MaterialScienceandEngineeringInstitute,ShaanxiUniversityofScience&Technology,Xi’an,ShaanxiProvince, 710021)

In order to ensure the contradiction between the speed and accuracy in paper defects detection on the wide and high speed paper machine, a method of paper defects secondary identification was put forward based on adaptive neural-fuzzy inference system (ANFIS) on the mode of “FPGA+computer”. The paper images collected by CCD cameras were completed image preprocessing and the first identification through FPGA; by using the ANFIS, the computer was able to complete the second identification of the suspected paper defects area to determine whether the paper defects existed and its type. Experiments showed that the method could accurately identify various paper defects.

machine vision; FPGA; secondary identification of paper disease; adaptive neural-fuzzy inference system (ANFIS)

王亚波先生，在读硕士研究生；主要研究方向：机器视觉。

TS736

A

10.11980/j.issn.0254- 508X.2017.12.010

2017- 07-19(修改稿)

陕西省教育厅专项科技项目(16JK1105)；陕西省科技攻关项目(2016GY- 005)。

*通信作者：周 强，博士，教授；主要研究领域为智能信息处理技术。

(*E-mail: zhouqiang@sust.edu.cn)

马 忻)