基于图像分割的葵花籽脱壳率在线估计技术

王 浩，孙福明，贾 旭

(辽宁工业大学电子与信息工程学院，辽宁锦州121001)

近年来，随着技术的进步与发展，自动化生产装备不断问世。葵花籽作为一种重要的油料来源和休闲食品，其脱壳机得到了广泛的应用。脱壳机的分离系统由风机、导流装置、分离筛、振动电机等组成［1］，为提高葵花籽脱壳品质，在脱壳机工作时，经常须要手工不断调整分离系统的相关参数。例如，当葵花仁内含皮量较多时，须要及时调整风机的进风量;当精仁中含未脱开的籽粒超标时，须要及时调整振动电机和筛面的角度，以提高精选效果［2］。如果用户经验不足，则容易导致脱壳率偏低。为此，本研究采用计算机视觉技术，针对葵花籽脱壳时获取的工作面图像，利用图像分割算法实现葵花籽脱壳率的在线实时估计，从而使脱壳机自动调整相关参数。

图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。现有的图像分割方法主要有基于阈值的方法、基于区域的方法、基于边缘的方法以及其他方法。针对不同任务，须要选择合适的图像分割算法［3］及彩色空间［4－5］。常用的彩色空间有红、绿、蓝(red，green，blue，简称 RGB)，青、品红、黄(cyan，magenta，yellow，简称 CMY)，色调、饱和度、明度(hue，saturation，value，简称HSV)及色调、饱和度、亮度(hue，saturation，intensity，简称HSI)等。周丽萍等利用改进的最大类间方差(Otsu)算法在HSV空间实现了规模化生猪养殖场中非接触式体温检测［6］。兰红等利用改进的Otsu算法在HSV空间实现了免疫组化图像分割［7］。李正明等利用改进的Otsu算法对HSV彩色空间的色调(hue，简称H)分量进行分割，克服了目标茄子表皮反光对分割结果的影响［8］。戴丹利用改进的分水岭算法对粘连颗粒图像进行分割［9］。缪慧司等结合距离变换与边缘梯度的分水岭算法对血细胞图像进行分割［10］。

在脱壳过程中，葵花籽与葵花仁的比例呈动态变化趋势，且二者相互堆叠在一起。这种相互堆叠，可导致图像分割时，葵花籽和葵花仁的边缘难以被有效分割，且堆叠处可产生大量孔洞。如果葵花仁较多，这些孔洞易导致对脱壳率的严重错误估计。当对工作面进行拍照时，如果光照度较强，黑色的葵花籽反光强烈呈白化现象，往往导致葵花仁与葵花籽在色调上十分相似。为消除孔洞、光照及重叠等因素的影响，本研究采取如下措施:(1)针对由于孔洞过多导致的葵花籽与葵花仁面积难以准确统计的问题，通过色调空间结合亮度空间来区分孔洞;(2)针对葵花籽的强反光问题，通过对亮度空间进行2次Otsu算法计算并采用H－mininma技术提取葵花仁标记;(3)针对图像中目标由于重叠而难以分割的问题，采用分水岭算法依据标记修正后的形态学梯度图进行精确分割［11］。最后，通过统计图像分割后的葵花籽与葵花仁所占比例，估计获得葵花籽的脱壳率，进而引导对脱壳机器进行参数调整操作，提高脱壳机的工作效率。

1 基本原理

1.1 HSV 彩色空间

HSV颜色空间的参数分别是色调(H)、饱和度(saturation，简称S)、明度(value，简称V)。色调表示色彩信息，即所处的光谱颜色的位置，该参数用一角度量来表示，红、绿、蓝分别相隔120度，互补色分别相差180度。饱和度为一比例值，范围从0到1，表示所选颜色的饱和度和该颜色最大饱和度之间的比例，当S=0时，只有灰度。明度表示色彩的明亮程度，范围从0到1，须要注意的是，它和光照度之间没有直接联系。

RGB彩色空间与HSV彩色空间的转换公式为

式中:R、G、B的取值范围为0～255。为便于计算机进行数据处理，H取值设为0～180，S和V取值设为0～255。

1.2 分水岭算法

分水岭算法是一种基于区域的图像分割算法。基本思想是把图像视为测地学的拓扑地貌，图像中每一点像素的灰度值视为该点的海拔高度，每个局部极小值及其影响区域视为集水盆地，其边界可形成分水岭［12］。可以参照浸水法进行理解，在每个局部极小值表面刺穿一个小孔，然后把整个模型浸入水中，随着浸水程度的加深，每个局部极小值的影响区域会慢慢向外延伸，在集水盆交汇处形成分水岭［13］。由于输入图像存在过多的极小值区域，所以基于梯度图像的直接分水岭算法存在过分割现象，通常采用2种方法处理:(1)依据某种准则，对过分割后的图像进行区域合并;(2)基于标记的分水岭算法，其原理是通过先验知识对图像中部分像素作标记，表示其为已知区域，分水岭算法依据这些初始区域确定其他像素的所属区域。

1.3 二维Otsu算法

最大类间方差法是一种全局的自动非参数无监督的阈值确定方法，又叫大津法，简称Otsu算法［14］。它按照图像的灰度特性，将图像分成背景和目标，且背景和目标之间的类间方差越大，表示2个部分的差别越大。部分目标错分为背景或部分背景错分为目标都会导致二者之间的类间方差变小。设图像的灰度级为L，则灰度级为i的像素概率密度pi为

式中:w0表示背景的像素概率密度;μ0表示背景的像素均值;w1表示前景的像素概率密度;μ1表示前景的像素均值。

当σ2达到最大值时，取得最佳阈值点(H)，公式为

但在实际应用中，由于环境干扰因素的影响，灰度直方图的波峰与波谷差异不明显。此时，使用Otsu算法得到的阈值难以满足要求。在原有基础上，刘建庄等加入像素与邻域的空间关系，提出灰度图像的二维Otsu算法，该方法同时考虑像素点的灰度值分布及其邻域像素点的平均灰度值分布，最佳阈值为在二维类间方差下取最大值得到的二维矢量，可大大提高算法的抗噪能力［15］。经典二维Otsu算法由于计算过于复杂而不适合在线系统。为提高计算速度，本研究采取迭代的方式得到查询表来消除冗余计算［16］，从而适用于在线估计。

2 本算法描述

本研究算法流程如图1所示，主要包括预滤波、彩色空间转换、目标标记图像、图像分割、后滤波及脱壳率估计。

本算法具体步骤为(1)将输入图像经中值滤波预处理，去除图像采集时的噪声干扰;(2)将图像由RGB彩色空间转换为HSV彩色空间;(3)使用二维Otsu算法对S分量进行二值化;(4)将V分量和S分量相结合获得孔洞标记图;(5)通过形态学重建技术去除V分量中的无用信息，对图像进行简化处理，通过对去噪后的V分量进行多次二维Otsu运算处理，提取出前景标记图与背景标记图，即葵花仁标记图与葵花籽标记图;(6)对去噪后的V分量进行形态学梯度运算得到物体的边缘轮廓特征，由于提取的物体边缘特征图较为复杂，直接使用会因为局部极小值过多而导致图像出现严重过分割现象，应通过形态学极小值标定技术依据标记图像去除形态学梯度图中过多的局部极小值，再对处理后的形态学梯度图进行分水岭算法分割，并在分割后的梯度图中标记出孔洞，进而更为准确地计算出脱壳率。

2.1 颜色空间转换以及形态学重构

2.1.1 预滤波处理 图像在形成和传输过程中，会因受到外界各种离散和随机的噪声干扰而导致其质量退化。为减小噪声的影响，须采用滤波方法对输入图像进行预处理。由于中值滤波能较好地保护目标的边缘特征，因而本研究采用中值滤波器对输入图像进行去噪。样本图片分辨率为250×250 pixel，所以本研究中值滤波采用3×3 pixel的窗口对图像进行滤波处理。

2.1.2 颜色空间转换 葵花籽脱壳率的估计须要在图像中分割出葵花籽与葵花仁区域，但葵花籽与葵花仁互相堆叠造成大量孔洞，且目标边缘不清晰，特别是当图像中葵花仁占比较大时，简单应用二维Otsu算法对原始图像进行二值化分割，效果并不理想。图像分割的目标包括孔洞、葵花籽、葵花仁，使用分水岭算法［17］可以分割多目标和互相重叠的目标。由于彩色图像转换为灰度图像会丢失许多信息，单纯通过灰度图像无法分割出过暗的孔洞，因此须要利用灰度图像结合HSV颜色空间中的S分量信息进行相关目标判断。在HSV空间，V分量中孔洞的灰度值低于40且S分量的中数值接近255。为加强泛化能力，使用Otsu算法对S分量进行二值化处理，并把V分量中数值低于40且S分量二值化为255的像素点作为空洞的标记，如图2所示。

通过中值滤波与颜色空间转换可以得到原始图像的灰度图像，即使排除孔洞以及光照不均、葵花籽姿态各异、葵花籽易反光等因素，仍可使部分葵花籽的部分区域V分量较大，且与葵花仁的V分量部分重合，如果直接使用二维Otsu算法对灰度图像进行二值化分离，前景与背景会出现较大误差。本研究对V分量采用形态学开闭重建运算，既可以去除噪声信息、简化图像，也可以保留物体的主要轮廓。

2.1.3 形态学重建处理 形态学重建主要涉及3个部分，分别是结构元素、1幅表示标记的图像和1幅表示掩膜的图像。标记的图像代表变换的起始，掩膜的图像用于约束变换过程，结构元素用于定义其中的连接性。测地膨胀与测地腐蚀是形态学重建运算的基本运算。测地膨胀是指根据某种运算规则使用结构元素对已标记的图像进行重复膨胀，目的是使多次测地膨胀迭代后的结果保留标记图像中大于等于掩膜图像的区域信息。测地腐蚀是指根据某种运算规则使用结构元素对已标记的图像进行重复腐蚀，目的是使多次测地腐蚀迭代后的结果保留标记图像中小于等于掩膜图像的区域信息。

设图像为F(x，y)，其掩膜图像为m(x，y)，则其测地膨胀定义为

式中:s为迭代次数，s=1，2，…;B表示结构元素;⊕表示形态学膨胀;DB表示形态学膨胀的结果。

测地腐蚀的定义为

式中:EB表示形态学腐蚀结果;Θ表示形态学膨胀。公式(5)、公式(6)为迭代运算，迭代停止的条件为迭代次数达到

依据公式(5)、公式(6)2个基本公式定义形态学开重建运算和闭重建运算定义如下:

式中:。和·分别表示形态学的开运算与闭运算。通常将原图像作为掩膜图像，腐蚀后图像作为标记图像，用形态学开运算作重构操作。相对应闭运算的重建为获得形态学膨胀后的图

式中:B表示的结构元素的尺寸直接影响重建后的结果，由于本研究的图像为葵花籽与葵花仁，其形状接近椭圆形，所以结构元素选用圆盘形状，该形状具有各向同性的特点。考虑图片分辨率以及噪声的尺寸，选取半径为5 pixel的圆形结构元素。虽然经过重建后的V分量得到简化，但如果直接对其进行二维Otsu算法二值化，依然不能区分葵花仁与葵花籽。对图2－b的V分量进行形态学开闭重建运算的效果如图3－a所示，对重建后的V分量进行二维Otsu算法二值化的效果如图3－b所示。从图3－b中可以看出，多出葵花籽的部分被判断为前景目标。像，并对其求补后作为标记图像，掩膜图像则是开运算重建后求补的图像，用闭运算进行重构操作。通过形态学开闭重构运算可以去除比结构元素小的区域，同时把没有被滤除的部分恢复出来，且不会产生新边界偏移现象。

形态学开闭重建运算的定义为

2.2 基于标记的分水岭算法分割

2.2.1 标记提取 为精确区分互相堆叠的葵花仁与葵花籽目标，利用V分量提取目标边缘特征图并采用基于标记的分水岭算法对其进行精准分割，该方法可以避免传统分水岭算法严重过分割的问题。为得到精准的葵花仁标记图，可以对使用Otsu算法二值化后的图像中的前景部分再次使用Otsu算法，以进一步减少前景中的葵花籽数量，采用公式(4)计算阈值，2次Otsu算法的计算公式为

式中:fgm函数为根据H阈值提取输入图像的前景图像;f1(x，y)与f2(x，y)分别为2次提取得到的前景目标图像。处理效果如图4－a所示，可以看出，前景目标中葵花籽的数量有所减少，但还是有1处葵花籽目标，此时可以结合后验知识，对去噪后的V分量使用Otsu算法取得其前景部分，然后使用形态学的扩展极小值变换技术(H－mininma)，通过设定阈值去除深度小于阈值的区域，其变换公式为

式中:T为根据经验给出的阈值;Psign为二值化得到的图像。效果如图4－b所示。

为使后续分水岭算法的分割结果更加精准，前景目标标记图与背景目标标记图间距应较远。对于选为背景的葵花籽标记图，利用之前得到的葵花仁标记图(图4－b)进行取反操作，把背景转换为前景，再通过Zhang快速并行细化算法得到目标骨架，该算法的优点是快速实用，并且可保证细化后曲线的连通性，转换公式为

式中:所得结果bgm(x，y)为细化后的背景标记图，如图5－a所示，总标记图为前景标记与背景标记的融合图，融合公式为

式中:total为总标记图，如图5－b所示。

2.2.2 形态学梯度计算与分水岭分割 分水岭分割算法中所说的分水岭即为图像中感兴趣区域的基本轮廓，也就是图像像素强度出现突变的位置，对图像的梯度图像进行分割的效果好于直接对原始图像进行分割的效果，因为梯度图像能更好地反映图像中的突变趋势。目前在主流求取梯度图像的算法中，非线性的形态学梯度具有较好的效果，可在加强图像对比度的同时，保持原图中比较平滑的区域。对于“2.1.3”节取得的图像进行形态学梯度运算的公式为

式中:b表示结构元素，效果如图6－a所示。直接对形态学梯度图应用分水岭算法进行分割将会导致过分割现象，应用形态学极小值标定技术进行处理，修正Grad中过多的局部极小值，使修正后的梯度图像中保留下来的极小值与总标记图total中的区域相对应，修正梯度图的运算公式为

式中:Min(Grad，total)表示形态学极小值标定函数，效果如图6－b所示。

对Gmodify进行分水岭算法分割，获得分割后的图像Gws，计算公式为

式中:WaterShed()代表分水岭变换操作函数，分割效果如图7－a所示，通过结合total与Gws，对分割后的前景与背景进行合并操作，再结合“2.1.1”节获得的孔洞标记图获取最终的简化图像，简化图像只包括葵花仁、葵花籽、孔洞3个部分，具体计算公式为

效果如图7－b所示。

2.3 脱壳率计算

计算脱壳率的目的是为了了解当前机器中葵花籽的脱壳状况，即葵花仁占比多少。对图像Gend求取直方图，采用函数imhist()表示求取直方图的操作，hod(i)表示第i个灰度级的统计个数，i∈［0，255］，其中灰度值为0表示孔洞像素和物体边缘像素，灰度值为50表示葵花籽像素，灰度值为200表示葵花仁像素，其关系如下:

脱壳率的计算公式如下:

3 试验部分

本研究通过对不同葵花籽与葵花仁比例的彩色图像进行试验来证明所提出算法的有效性，分为3种情况进行对比试验:(1)葵花籽占比大的情况;(2)葵花仁与葵花籽占比相当的情况;(3)葵花仁占比大的情况。

3.1 葵花籽占比大的情况

使用二维Otsu算法直接对图像进行自动阈值分割时，若图像中葵花籽较多，则孔洞被分割为葵花籽，且部分反光强烈的葵花籽会被误判为葵花仁，而本方法不以单个像素点作为分割判断的全部依据，可提高分割的准确度。当葵花籽占比较大时，使用本方法的分割结果如图8所示。

本研究输入图像的分辨率均为500×500 pixel，依据葵花籽以及噪声的具体情况，选取圆盘结构元的半径R=5对图像进行形态学重构，并采用同样大小的结构元提取图像的形态学梯度，依据图8－a所得的标记图对形态学梯度图进行修正并利用分水岭算法进行分割，利用公式(17)对分割后的图像进行合并，得到图8－d;通过公式(18)、公式(19)可得，当前时刻脱壳率为23.1%，直接使用二维Otsu算法获得的脱壳率为 30.4%。

3.2 葵花仁与葵花籽比例相当的情况

使用二维Otsu算法直接对图像进行自动阈值分割，无法消除孔洞干扰，而使用本方法可适当解决这个问题，结果如图9所示。计算所得脱壳率为57.0%，直接使用二维Otsu算法获得的脱壳率为53.6%。

3.3 葵花仁占比较大的情况

使用二维Otsu算法直接对图像进行自动阈值分割，无法消除孔洞干扰，且当图像中葵花仁占比较大时，误差较大，会把部分颜色较暗的葵花仁分割为葵花籽，而使用本方法可部分解决这个问题。使用本方法的分割结果如图10所示。计算所得脱壳率为86.8%，直接使用二维Otsu算法获得的脱壳率为67.6%。

3.4 试验数据与分析

理论上，图像灰度直方图呈现双峰图时，二维Otsu算法的最佳阈值为双峰谷底的最低点。当葵花仁与葵花籽数量相当时，其图像的灰度直方图呈现双峰，此时通过二维Otsu算法取得的脱壳率接近正确值，而当工作面中葵花仁占比较大时，其图像的灰度直方图不呈现双峰特点，即没有双峰的谷底存在，此时使用二维Otsu算法获得的最佳阈值为错误的阈值，且二维Otsu算法只把图像分割为前景与背景2类，无法区分孔洞部分，因而，二维Otsu算法无法给出准确的分类结果。

基于标记的分水岭算法在正确选取各个目标标记点的同时可准确针对多个目标进行分类，且对于目标互相堆叠的情况有较好的适应效果。而二维Otsu算法只针对图像的灰度图进行分割，由于葵花籽反光现象的存在，单纯通过灰度级阈值对图像进行分割无法准确分割出目标。本研究结合HSV颜色空间、Otsu算法与基于标记的分水岭算法对葵花籽脱壳机工作面的多种情况进行试验，以确定本算法是有效的。

在上述3种情况下，二维Otsu算法与本方法所得的脱壳率对比结果如表1所示。为提高比较的准确性，对2种算法均进行中值滤波预处理。

表1 脱壳率测试结果

由表1可以看出，二维Otsu算法在葵花仁与葵花籽比例相当时，由于其灰度直方图出现明显的波峰与波谷，此时取得的脱壳率误差小于其他2种情况，但误差仍然较大，本方法在3种情况中均可将误差控制在1.4百分点以内，可以满足实际需求，该结果可验证上述理论分析的正确性。

4 结论

为减少脱壳机人工干预频率，提高其脱壳效率，本研究提出一种基于图像分割的葵花籽脱壳率估计方法，该方法具有在线非接触式估计的特点。本研究的创新性在于利用计算机视觉技术，针对脱壳工作面图像，通过图像分割统计葵花籽与葵花仁所占的比例，估计脱壳率。葵花籽与葵花仁的相互堆叠、光照影响以及孔洞大量存在，导致难以准确地进行图像分割。本方法在HSV彩色空间上，将葵花籽、葵花仁标记图构建成1个目标总标记图，然后引导分水岭算法对工作面图像进行图像分割，提高了葵花籽和葵花仁边缘的分割精度，减少了错分的误差率，提高了脱壳率估计精度。结果表明，对于多目标、目标相互堆叠且边缘不清晰的图像，本研究所提出的基于标记图引导的分水岭算法相比二维Otsu算法自动阈值分割算法具有更优异的性能。