基于活跃度的脉冲耦合神经网络的苹果腐烂分割方法

邓晨曦，周国雄

（1.湖南环境生物职业技术学院，湖南 衡阳，421005；2.中南林业科技大学，湖南 长沙，410004）

1 研究意义

水果图像识别在智慧农业和现代医疗健康领域具有重要意义。近年来，随着我国水果产业的发展，越来越多的研究人员开始着手研究如何对水果进行快速有效的识别。为了满足对水果进行大规模、高效率的识别需求，研究人员使用多种图像识别算法对水果图像进行检测识别。[1]吕秋霞[2]等在对水果的纹理、颜色及形状特征进行分析提取后，使用BP神经网络作为分类器实现对水果图像的检测识别，平均识别准确率达到了95%以上。虽然取得了较为理想的识别结果，但需要人工去设计特征，并且存在网络训练不充分的问题。在多数识别任务中，实验中所使用的图像往往是在十分严格的环境中采集的，并没有外界环境的干扰。因此，对图像的有效分割能够提高识别的准确度。

基于上述研究，本文以苹果为研究对象，提出一种基于活跃度的脉冲耦合神经网络图像分割算法。

2 数据集构建

本文在某果园现场采集了不同形态、不同环境下的苹果图片，包括腐烂苹果图片1000张，未腐烂苹果图片1000张。采摘季节树上腐烂苹果占总量的比例平均为11%。本文所收集使用的苹果图像会因拍摄角度和距离的不同而存在尺寸大小的差异，所以需要对样本中的图片进行定位分割，根据苹果在图像中所处的位置对水果进行完整的分割,减少图像中的背景干扰。

本文采集的部分苹果图片如图1所示。

3 基于脉冲耦合神经网络图像分割算法对苹果进行腐烂检测

对苹果进行腐烂检测的关键是其腐烂的部位较为完整地从原图中分割出来，对分割出来的部位做出标记，最后再跟原图合并。图像分割的过程不仅会受到光照产生的阴影的影响，还会受到苹果某些部位（如苹果果柄）的影响，造成无法准确、彻底地分割出腐烂的部位。图像分割就是按照特定的原则，将图像分为若干个相互独立的区域,它是图像处理中较为基础的研究领域之一。目前有许多图像分割方法，其中脉冲耦合神经网络（PCNN）已在图像分割、目标检测、模式识别等众多计算机视觉领域得到了较为广泛的应用。[4-5]

3.1 脉冲耦合神经网络图像分割算法

脉冲耦合神经网络建立在仿生视觉皮层神经元模型基础上，它是一种二维单层结构，是以脉冲耦合神经元为基础构成的阵列。每个神经元单位之间以特定权值作为相互连接的依据，构成可用非线性方程描述的非线性动力学系统。对于输入的图像数据中的每个像素点，脉冲耦合神经网络中都有神经元与其对应。如果某个神经元被激发，将会激发与之相邻或相近的连接神经元，具有这一特征的神经元称为脉冲耦合神经元。构成PCNN神经元的功能单元为：反馈输入域、连接输入域和脉冲产生域。Mijkl是连接权值矩阵，用来表示反馈输入域，W ijkl是连接权值矩阵，表示连接输入域。为描述相邻神经元之间的联系，可以用突触连接反馈输入域的连接权值矩阵Mijkl和连接输入域的连接权值矩阵W ijkl。反馈输入域和连接输入域两大功能单元，是脉冲耦合神经网络的重要部分，因此，在计算过程中必须进行多次迭代运算，运算量极大。反馈输入域存在外部激励函数S，用于控制加和的结果对神经元的刺激程度。通过上述分析，结合连接权值矩阵M ijkl和W ijkl，可得以下公式[6]：

式(1)与式(2)中，Fij是坐标为(i,j)的神经元的反馈输入项；Lij是坐标为(i,j)的神经元的连接输入项；Y ij是神经元的输出；V F和V L为Fij、Lij的固有电势；αF和αL分别为Fij和Lij的衰减时间常数；Mijkl和W ijkl为连接权值矩阵，用来表示网络神经元之间相互影响程度，数值大小反映相邻神经元对中心神经元影响的强弱。脉冲耦合神经元内部活动项由Mijkl和W ijkl按非线性相乘思想构成，β为突触之间的连接强度系数，需要调整不同突触间的强度系数，可得内部活动项公式：

当神经元内部活动项大于或不大于神经元动态门限θij[n]时，将产生不同的输出时序脉冲序列Y。时序脉冲序列Y可用以下公式描述：

进行多次迭代运算，神经元动态门限呈不断衰减状态。当神经元处于激发状态，所对应的动态门限θij[n]的值瞬间增大，在一段时间内，动态门限θij[n]的值又会迅速减小，可引入αθ表示衰减常数。如果该神经元被再次激发，则重复增大衰减过程。该过程可用公式（5）描述：

Vθ为阈值的幅度系数，Y ij[n]为时序脉冲序列，αθ为动态门限的时间衰减常数。由于脉冲耦合神经网络由脉冲耦合神经元等基本单元构成，所以Mijkl和W ijkl通常是在局部的神经元间传递信息。θij[n]的初始值通常设置为0，但是也可以根据实际应用的需要而设为其他的值。PCNN有许多参数，通过对参数的调整可以改变其运行行为。比如连接强度系数，由于具有许多能保证自身性质的特性，所以对其进行调整会对图像分割效果产生较大的影响。反馈输入项和连接输入项中的连接权值矩阵Mijkl和W ijkl，体现神经元之间相互的感知与影响力，进而对自动波的传播速度造成影响，最终对图像的分割结果造成影响。同时，参数的设置对PCNN的性能有较大的影响。

3.2 基于图像活跃度的脉冲耦合神经网络图像分割算法

实际使用中，PCNN的性能依赖于所设置的网络参数。为了解决这一问题，一些研究者使用遗传算法，LMS准则自适应确定网络参数，但依然存在以下两个主要问题：（1）难以得到作为标准的期望值；（2）在得到较优的参数前，通常需要反复调整参数。因此，本文提出一种基于图像活跃度（activity degree of picture，ADP）指标的PCNN图像自动分割方法。在使用Stewart改进PCNN模型对图像的分割后，提出对图像复杂度进行量化的ADP指标。再利用统计实验方法建立ADP指标与PCNN关键参数的对应关系，最终实现PCNN参数的自适应选择。

PCNN模型改进后，仅有W ijkl，Eij[n]，β三个参数，以下是这些参数的确定方法。

（1）连接矩阵W ijkl定义邻域神经元对中心神经元的影响程度，连接权值通常采用像素间欧氏距离平方的倒数，即

（2）阈值E[n]根据图像自动获取，且每个时刻相互独立，Imax为邻域像素最大灰度值，如式(7)所示。

（3）较小的耦合系数β表征PCNN模型区分图像时具有较高的分辨率。对于越复杂的图像，β则具有越高的分辨率。[7]本文提出一种基于“图像活跃度”的自动设置方法来确定该参数。

定义图像活跃度(ADP)为一个定量的值，表示图像的复杂度。为便于对数据进行标准化处理，令ADP的最大值为1，表示图像中各灰度级像素都有相同的概率出现，并且在空间位置上是均匀分布的；最小值为0，表示图像中所有像素灰度值都是相同的，并且无纹理。找到一个有效描述区域像素灰度信息及灰度空间分布的方法，对于ADP的计算十分重要。本文在对多种图像描述因子进行全面比较后，选择了灰度共生矩阵来描述区域的图像信息。用两个位置像素的联合概率密度定义的灰度共生矩阵，不仅描述了像素灰度信息，还描述了灰度空间分布信息。这些特点使得灰度共生矩阵可以有效度量图像的复杂程度。在确定图像区域描述方式后，以下是计算ADP的具体步骤[8-9]：

步骤1：计算区域图像的灰度共生矩阵GLCMT，记录最大灰度值max，最小灰度值min。

步骤2：利用式（8）计算灰度共生矩阵GLCMT的信息熵BE。其中Pφ,d表示完备共生矩阵，其元素Pφ,d(a,b)表示具有灰度级a,b的两个像素在方向φ上间隔距离d出现的次数。计算时取距离d=1，方向分别取φ=0°，45°，90°，135°，得到四个矩阵，再将这四个矩阵对应元素相加，得到完备共生矩阵Pφ,d。

步骤3：计算该区域图像在最小、最大灰度值[10-11]范围内生成灰度共生矩阵GLCMT理论上的最大信息熵max(BE)，即GLCMT中所有元素相等时的信息熵，其计算方法与式（9）相同。

步骤4：计算区域ADP指标[12]，如式（9）所示。

在对实验结果进行回归分析后[13]，ADP与β对应关系可拟合为式（10）所示的高斯函数。

4 应用与结果分析

4.1 软硬件环境搭建

本文所用数据集包括两类共2000张图片，通过置放嵌入式设备在果园现场采集。嵌入式设备的下位机由H264宽动态摄像头和ARMCortexA9开发板构成，上位机由配置为英特尔i7-CPU，16GB运行内存，GTX1060-GPU的台式电脑构成。同时，为了达到更好的应用效果，将所有的图片大小设置为320×320px。本文的软件环境为Fedoral 25 Desktop TLS操作系统，同时安装具有高效、模块化、速度快等优点的Caffe框架作为深度学习框架。

4.2 基于脉冲耦合神经网络图像分割算法的苹果腐烂区域检测结果与分析

采用传统的脉冲耦合神经网络图像分割算法对苹果腐烂区域的检测结果如图2所示。由于水果腐烂图像较复杂，所以β应具有较高的分辨率，根据多次试验对β值进行调整，设置β=0.10。结果证明：在使用传统的脉冲耦合神经网络图像分割算法时，检测的结果不仅把水果没有腐烂的部位也包含进来了，还受到了水果的果柄和光照产生的阴影的干扰。

4.3 基于活跃度的脉冲耦合神经网络图像分割算法的苹果腐烂区域检测结果与分析

在采用基于活跃度的脉冲耦合神经网络图像分割算法对苹果腐烂区域的检测结果如图3所示。ADP的计算结果从左到右依次为0.718，0.420，0.506，0.615。参数β根据式（3）依次计算得到。结果证明：在使用基于活跃度的脉冲耦合神经网络图像分割算法进行腐烂区域检测时，可以准确有效地把水果腐烂区域检测出来。

为了消除由于光照产生的阴影带来的干扰，在进行图像分割之前在HSV空间把图像的亮度值进行了调整，阴影消除效果如图4所示。结果证明：经过阴影消除后，有效降低了由于光照产生的阴影对腐烂区域检测的干扰。

5 结论

基于现有的机器视觉技术，针对水果的腐烂检测受到水果形状、大小、颜色影响而提取困难的问题，以苹果为研究对象，检测苹果腐烂区域以便后续进行自动化处理。不同水果腐烂的方式各不相同，采用基于活跃度的脉冲耦合神经网络图像分割算法对苹果腐烂区域进行检测，应用结果验证了本文方法的有效性。