基于形态学和贴标签法的苹果图像增强①

欧阳林群, 阮承治

(1.武夷学院机电工程学院，福建 武夷山 354300;2.农机智能控制与制造技术福建省高校重点实验室，福建 武夷山 354300)

0 引 言

中国是世界上最大的苹果生产和消费国，据国家苹果产业体系统计，我国的苹果种植面积和产量均超过世界的50%，且呈连年增长的趋势[1]。为减轻农业作业者劳动强度，降低农业生产成本，实现果蔬的适时采摘，果蔬采摘机器人的相关研究逐渐展开[2,3〗，使得苹果采摘作业也朝着数字化、信息化的方向转变。

在国内外诸多学者的努力下，苹果采摘机器人的研究也达到一个新高度[4-6]。比利时学者开发的AFPM苹果采摘机器人，采摘率在80%左右，采摘周期约为9s，代表了当前世界的发展水平[5]。我国由中国农机院和江苏大学共同研制的苹果采摘机器人样机，采摘率约为80%，而采摘周期约为15s，基本反应了国内的研究现状[6]。当前的研究主要集中在目标果实的识别与定位[7]、采摘路径规划[8]、机械手避障[9]等等，分别从苹果图像的分割、去噪、识别等方面对静态、动态下的单个、重叠目标果实[10]，以及苹果夜间图像[11]展开研究。

在苹果采摘机器人执行采摘作业的过程中，目标果实的识别与定位很大程度上制约着采摘效率，成为研究的瓶颈所在。以提高苹果图像识别精度为目标，对苹果图像的分割进行完善和去噪研究。图像的分割视为图像处理过渡到图像分析的关键一步[12]，因此图像的分割效果以及分割图像的完善及去噪，将关系着图像的识别效果。苹果图像的分割研究相对较多[13]，但对于目标果实的分割图像的完善与去噪研究相对较少。对于分割图像的处理，通常采用数学形态学方法，然而传统的形态学处理却有着很大的局限性，如使用不同尺寸或形状结构元素对结果有很大的影响，小尺寸去噪能力弱，而大尺寸易丢失边缘细节。为此，在传统数学形态学的基础上采用贴标签法，对分割后的苹果图像进行去噪完善。最后将苹果图像在HSI、Lab颜色空间下得到的目标果实的分割图像进行去噪完善，结果表明该方法不仅可以很好地填补分割图像的细小孔洞，而且不影响侵害图像的边缘信息。

1 苹果图像分割

图像分割的好坏对后续处理效果有很大关系，并且，得到的分割图还会对图像的识别、分析等效果等产生决定性的影响。根据研究需要，现在先采集得到一张原始的苹果图像，如图1所示，利用自动阈值分割方法(Otsu)进行分割(分别在HSI和Lab颜色空间下进行)。

图1 原始苹果图像

1.1 基于HSI颜色空间分割

首先将原始苹果图像的RGB图像转换到HSI颜色空间，得到图像的H分量图，接着采用直方图均衡化进行增强处理，再进行中值滤波简单去噪处理。预处理后还要进行自动阈值分割，阈值设为H分量像素最大值的70%。处理效果如图2所示。

(a)H分量图像

由图2处理效果看，在H分量下，图像分割效果并不理想，存在明显的过分割现象。

1.2 基于Lab颜色空间分割

为了避免图像的过分割现象，再将原始苹果图像的RGB图像转换到Lab颜色空间，对图像进行自动阈值分割，在a分量下其处理效果如图3所示。

(a)a分量图像

由图2处理效果看，在a分量下，图像分割效果较为理想，但仍需要进一步完善与去噪处理。

2 苹果图像增强

由图2和3得出，在苹果图像的分割过程中，得到的分割图像包含很多的分割噪声，这些噪声对后期的识别造成很大干扰，若要对得到的分割图像进行识别，还需要做进一步的增强处理。尝试利用数学形态学对分割图像进行完善，该方法操作方便，计算简单；再利用贴标签法对其进行去噪处理，以期使得分割图像得到增强。

2.1 数学形态学处理

设a、b分别是原始图像和结构元素，且均为Z2中的集合。

1)膨胀

如果两个物体比较近，通过膨胀运算可以将这两个物体联通到一起。膨胀的作用可以扩大目标区域，填充物体中的空洞。膨胀原理如图4所示。

(a)原图像

膨胀可以用数学描述为：记a被b的膨胀为a⊕b，其中⊕表示膨胀算子。膨胀的定义为：

(1)

(2)

2)腐蚀

腐蚀可以把小于结构元素的物体去除和分开，它的作用就在于消除物体边界点。假设有两个成分之间存在微小的联通，选择一定大的结构元素那么就可以将两个成分分开。腐蚀原理如图5所示。

(a)原图像

aΘb表示a被b的腐蚀，具体定义如下：

aΘb={x|(b)x⊆a}

(3)

即aΘb可理解为所有使b被x平移后包含于a的x的集合。

3)开运算

结构元素b将原图像a做开运算可表示为：

a°b=(aΘb)⊕b

(4)

公式(4)理解为a被b开运算就是a被b腐蚀后的结果再被b膨胀。所以说开运算能够使对象的轮廓变得光滑，由此断开细小的间断和消除细的突出物，图像处理中，开运算可以理解成去除小的区域噪音。

4)闭运算

结构元素b将原图像a做闭运算的数学描述为：

a·b=(a⊕b)Θb

(5)

a被b闭运算就是a被b先膨胀后腐蚀，算子记为a·b。因此闭运算可以平滑和磨光图像中的较大物体的边界，是具有延伸性的运算，去除小颗粒噪声的作用。

2.2 贴标签法去噪

贴标签去噪处理就是二值图像中所有连通域设置不同编号来进行区分，对每一个对象贴上不同的“标签”，将二值图中属于同一个连通域的像素标记起来，用来方便辨识。通常，通过设置一个与输入图像空间尺寸相同的标签矩阵来显示二值图像中所有不同连通域的区分结果。

采用八连通域进行处理，二值图像与标签矩阵分别假设为f、g，贴标签法的步骤如下所示：

Step 1 首先设标签、已贴标签数分别为λ、N且取值为0，从上到下从左到右依次扫描，按行遍历图像寻找二值图像中像素值为1的目标像素点；

Step 2 没有贴标签的像素点f(i,j)处理如下，由已经扫描过的四个邻接像素的标签值，做按图6做以下判断(如图6所示，⊗表示当前点像素，表示已扫描像素，⊕表示未扫描像素)：

图6 标签示意图

1)如果标签值为0，则λ=λ+1，g(i,j)=λ，已贴标签数N=N+1；

2)如果其标签值相同，即全部为λ，则g(i,j)=λ；

3)如果标签值出现冲突，四个邻接像素的取值只为两种情况，取值为λ、λ'(设0<λ<λ')，称为标签冲突，处理的做法是令g(i,j)=λ，将所有已贴标签为λ'的像素改贴为λ，同时修改已贴标签数N=N-1。

Step 3 重复step2，直至所有像素均全部扫描；

Step 4 算法要判断λ等于N吗？如果等于，那么贴标签这个操作就算完成了，该算法结束；否则，说明已贴标签编号还不连续，那就还需要对其进行一次影射编码校正，处理方式是将不连续编号的标签校正为连续编号来完成贴标签处理。

对于分割后的二值图像，往往存在不同的噪声干扰，如会有这种情况出现，苹果图像中一部分背景像素被错误判断为苹果，反之亦然，部分苹果区域的像素被误判为背景图像。假如要采用常规的形态学去除这一类的噪声，苹果的边界信息会在一定程度上遭到破坏，还是采用贴标签去噪的方式，具体步骤如下所示：

Step 1 采用贴标签法对分割图像中像素为1的连通区域进行标识。

Step 2 经过多次实验确定一个阈值T，判断step 1中所有已标记连通区域的面积是否小于阈值T，若小于，则将当前连通区域中的所有像素值设为0，反之，则保留当前连通区域。这样就把苹果区域外的噪声去除了。

Step 3 就是将step 2步骤中得到的图像进行去反色操作，就是把苹果区域内部的噪声和背景的像素置为1，然后取反色后的图像用贴标签的方法进行标记苹果内部的噪声，保留并且是只保留已标记连通区域的面积最大的一个(通常对应的是背景区域)，其他的连通区域的所有像素的处理方法是标记为0；

Step 4 对上面步骤step 3中得到的二值图像再次做反色操作，这样，分割图像就最后结束了。

2.3 实验结果与分析

在HSI、Lab两种颜色空间下的苹果图像的分割图像，利用数学形态学和贴标签法分别对分割图像做增强处理，最后对处理后的图像还要再用Sobel算子进行边缘检测处理，从而可以验证分割图像增强处理后效果如何。处理效果如图7和8所示。

(a)开运算

由图7可知，针对分割图像首先进行开运算处理，去除部分外边界，找出其中的较大的连通区域，由于连通区域边界相对模糊，应对该区域进行闭运算，平滑磨光内边界，最后利用贴标签法对图像中的小洞进行处理，得到最终的增强图像。

由图8可知，分割图像开运算处理后，较大的连通区域的边界相对平滑，无需做闭运算处理，直接利用贴标签法对图像进行处理，得到最终的增强图像。结果相对理想，经Sobel算子检测之后的轮廓较清晰。

(a)开运算

由两组实验效果图可知，数学形态学组合贴标签算法能够在不破坏苹果图像边界信息的前提下对孔洞进行修复，去除外围噪声，实现目标果实分割图像的增强。组合方法对于HSI和Lab两种颜色空间下的分割图像均有较好的适用性，尤其是处理HSI颜色空间下分割出的目标果实图像所产生的孔洞较大，噪声明显。

3 结 语

围绕苹果图像的目标果实分割图展开相关研究，由于分割图像的孔洞、噪声等因素影响着分割图像的利用效率，制约了下一步识别分析的效果，因此需要对其进行完善和去噪处理，实现苹果分割图像的增强。首先针对目标果实的分割图像利用数学形态学方法进行完善，并选取合适的参数，不破坏目标果实的边界信息的前提下去除部分噪声；再对最大连通区域进行贴标签处理，对分割图像的像素进行标记，设定阈值，若标记区域面积小于阈值认为是噪声，对该区域进行反色处理，反之则被认为是果实，保留该区域，实现分割图像区域外部的进一步去噪；最后再对图像进行反色处理，重复贴标签处理，对目标果实区域内部的噪声进行处理。

分别对在HSI颜色空间下H分量图像和Lab颜色空间下的a分量图像的分割图像进行完善和去噪处理，从而验证了数学形态学和贴标签组合方法对分割图像的增强效果。实验结果显示，分割图像的噪声组合方法能够更加有效地去除掉，并且很好地保留目标果实的边缘信息。相比较而言，Lab颜色空间下分割效果更为理想。