基于背景分离与亮度校正的苹果表面缺陷提取

王银敏 费树岷 真昕欣

摘 要：苹果是我国年产量最高的水果，但出口量不足总产量的2%，采用基于图像处理的水果表面缺陷检测技术可促进水果的分级与销售。以红富士苹果为研究对象，首先采集苹果的RGB图像，并根据转换公式得到图像的HSV彩色模型，对饱和度S分量进行阈值分割与孔洞填充，获得苹果背景分离模板;然后根据背景分离模板得到R分量的背景分离图，并对分离背景后的R分量进行亮度校正;最后采用单阈值分割法提取缺陷。实验共采集300个苹果样本，包括缺陷果200个，正常果100个，其中对缺陷果的识别率达到96.5%，对正常果的识别率达到100%。实验结果表明，采用S分量获取背景分离模板，并结合亮度校正算法，可在不增加额外拍摄装置的情况下获得较好的缺陷提取效果。

关键词：缺陷提取;背景分离;亮度校正;阈值分割

DOI：10. 11907/rjdk. 192663 开放科学（资源服务）标识码（OSID）：

中图分类号：TP317.4 文献标识码：A 文章编号：1672-7800（2020）008-0234-05

Abstract： Apple has the highest yield of fruits in our country， but the export volume is less than 2% of the total output. Fruit surface defect detection technology based on image processing can promote the classification and sale of fruits. This article takes Red Fuji Apple as the research object. Firstly， the RGB image of Apple is obtained， and the HSV model of the image is obtained based on the conversion formula. The threshold segmentation and hole filling of the saturation S component are used to obtain the apple background separation template. Then the background separation map of the R component is obtained according to the background separation template， and the R component after the separation of the background is subjected to luminance correction. Finally， the single threshold segmentation method is used to extract the defects. A total of 300 apple samples were collected during the experiment， of which 200 were defective and 100 were normal. The defect recognition rate of the defective fruit reached 96.5%， and the discrimination rate of the normal fruit was 100%. The experimental results show that the S-component acquisition background separation template combined with the brightness correction algorithm can obtain better defect extraction results without adding additional cameras.

Key Words： defect extraction; background separation; brightness correction; threshold segmentation

0 引言

截至2018年，我國水果总产量已达到29 000万吨，然而总出口量只有490万吨，不足总产量的2%，经济效益不够明显。与其它水果出口量占比较大的国家相比，主要差距表现在果品的采后处理环节。果品采后处理是果品增值的关键，采后处理一般包括催熟、分级、打蜡及储存保鲜等步骤[1]。其中水果分级技术是果品采后处理的核心技术，也是目前亟待解决的技术难题[2]。水果分级的依据主要是颜色、尺寸、形状以及有无缺陷，与其它指标相比，表面缺陷检测一直是果品分级中的重点及难点[3]。苹果是一种四季畅销的大众水果，含有矿物质、糖酸、维生素等多种营养物质[4]，深受广大消费者喜爱，是我国十分具有代表性且年产量最高的水果[5]，也是我国出口量最大的水果之一，因此对于苹果表面缺陷检测技术的研究意义重大。

传统图像处理方法和深度学习方法在水果表面缺陷检测中都有应用。如Heinemann等[6]利用RGB图像信息计算出H分量，并依此识别出苹果表面的果锈;Leemans等[7-8]基于苹果的彩色图像信息，分别采用高斯分类器及贝叶斯分类方法对苹果图像的每个像素进行分割，从而识别出缺陷部分;朱伟华等[9]通过RGB彩色模型获得HSL彩色模型，并基于此提出模糊颜色聚类方法用于缺陷分割;李锦卫等[10]将马铃薯的RGB图像转换为亮度指标，并利用灰度截留分割法快速找出可能的缺陷区域，再采用十色模型识别缺陷。

苹果的类球体特性导致苹果图像中间亮、边缘暗，这是造成缺陷误分割的主要原因。因此，很多学者针对该问题进行了研究，如Tao等[11]采用自适应球形变换法补偿水果弯曲部分的反射强度梯度，实现水果表面的缺陷分割;冯斌等[12]利用标准球体灰度值与水果表面灰度值差的变化进行缺陷识别，规避了亮度不均的问题;李江波等[13-14]采用掩模法分割背景，并采用快速灰度补偿法对边缘灰度进行补偿，根据照度—反射模型，利用低通濾波后的R分量对去除背景的图像进行亮度校正，最后通过单阈值分割法识别缺陷。

除采集水果的RGB图像进行缺陷检测外，还有大量学者针对水果的多光谱与高光谱图像进行研究。如Aleixos等[15]提出设计多光谱照相机应用于生产线，以捕捉柑橘类水果可见光及近红外光区4个波段的多光谱成像系统，并利用贝叶斯定理，根据苹果有无缺陷进行分类;Ariana等[16-17]将多光谱反射及荧光成像技术应用于苹果缺陷检测中;Xing等[18]建立400～1 000nm波长范围内的高光谱成像系统，利用主成分分析法检测苹果瘀伤;Blasco等[19]提出一种结合近红外、紫外及荧光光谱进行水果缺陷识别的方法;赵杰文等[20]利用500～900nm范围内的高光谱数据，采用主成分分析法以及二次不均匀差分法获取苹果表面的轻微损伤。

以上关于水果表面缺陷检测的研究方法主要包括3个方面：基于图像处理方法进行缺陷检测、基于深度学习等智能算法进行缺陷检测、基于高光谱与多光谱成像技术进行缺陷检测。基本的图像处理方法多用于缺陷提取工作;智能算法多用于提取缺陷特征并对其进行分类;高光谱与多光谱成像方法通常需要特殊的图像采集设备，成本较高，且数据处理过程非常复杂，多用于水果内部探伤。因此，根据缺陷提取目标，本文主要采用图像处理算法进行缺陷提取，主要涉及到图像预处理、背景分离模板获取、亮度校正以及单阈值分割等方法。

1 图像采集及处理

1.1 图像采集

本文选择最常见的红富士苹果为研究对象，在超市选购了具有腐烂、划伤、磨损等常见缺陷的苹果。具体图像采集装置如图1所示，包括封闭不透光的箱子、自带闪光特效的相机、白色背景板等。拍摄时为尽可能避免阴影对后期处理造成的影响，应当将摄像头置于苹果正上方。

1.2 图像预处理

图像预处理过程包括颜色空间转换与图像滤波。

HSV是一种面向视觉的颜色空间，更符合人眼观察事物颜色的过程，在本研究中可利用S分量获取背景分离模板。但图像采集装置只能得到苹果的RGB图像，因此需要利用式（1）-（3）将RGB彩色模型转换成HSV彩色模型[21]。

在HSV颜色空间中，H代表色调，S代表颜色饱和度，V代表亮度。已知白色物体的饱和度S是0。

常见的滤波操作主要有均值滤波和中值滤波，为了在滤除噪声的同时保留尽可能多的图片细节，本文采用中值滤波对苹果图像的R分量及S分量进行降噪处理。

2 缺陷提取

缺陷提取过程主要涉及背景分离模板获取、亮度校正与单阈值分割。

2.1 背景分离模板获取

文献[3]和文献[22]采用NIR图像获取背景分离模板，该方法虽然比较直接，但在图像采集装置中需要增加近红外照相机，增加了图像采集成本。本文在不增加额外采集装置的情况下，仅利用图像的S分量即可获得效果颇佳的背景分离模板。

因为苹果图像的背景色为白色，其饱和度接近0，而苹果部分饱和度远大于0，故滤波处理后的S分量图中，苹果部分与背景部分的灰度值存在较大差异，可以采用单阈值分割方式获取初步的背景分离模板。选定阈值后，将高于阈值部分的灰度值置为255，低于阈值部分的灰度值置为0，从而使苹果所在部分大多呈现白色，背景则为黑色。

但由于苹果部分存在反光或缺陷，这些都会对其饱和度产生影响，使其低于选定阈值。因此，初步的背景分离模板并不完美，苹果部分可能存在黑色孔洞。为解决这一问题，实验中采用孔洞填充技术对初步的背景分离模板进行填充，最终得到可用于背景分离的正式模板。

2.2 亮度校正

因为苹果本身颜色以红色为主，其R分量图中可以清晰反映所有缺陷。为提高计算机处理效率，在苹果缺陷提取过程中主要考虑对其R分量图进行处理。获得背景分离模板后，将其与R分量图进行点乘操作，则可得到背景分离后的R分量。

由于苹果的类球体特性，在图像采集过程中，由于朗伯现象会出现中间亮、边缘暗的问题，朗伯现象如图2所示。球形物体上某点的亮度可根据式（6）进行计算，其中[θ]为该点法线方向与入射光线之间的夹角，[IL]为入射光线强度，[ID]为反射光线强度。由于光源与苹果之间的距离远大于苹果本身的尺寸，因此[IL]可认为是相同的。因为边缘部分的[θ]角大，故其反射光强度更小，表现在图像中就是灰度值更低，看起来比中间部分暗。

在进行缺陷提取时，通常会根据缺陷灰度值低于正常果皮灰度值这一特征选取经典的阈值分割法。但由于朗伯现象的存在，若缺陷位于苹果中部位置，则边缘部分正常果皮的灰度值可能与中间部分缺陷果皮的灰度值相近，甚至低于缺陷果皮灰度值，从而导致误分割。为解决该问题，文献[3]给出了亮度校正思路。

由于光源位于苹果正上方，就苹果而言，光源是对称的，且苹果属于类球体，在图像中可认为苹果类似一个圆。如图3所示，以该圆心向外辐射，相同半径所在像素点接收到的光源强度是均匀的，因此可对这一圈果皮进行亮度校正。

具体亮度校正公式如式（7）所示，其中[Mi，j]为该圆上某点的灰度值，[Mavg]表示该圆上所有像素点的平均灰度值，[Ii，j]则是亮度校正后该点的灰度值。

根据以上分析可知，在实验过程中，关键是要找到苹果的最小外接圆。假设最小外接圆的圆心为O，半径为[r1]。亮度校正步骤如下：①以点O为圆心，选取半径[r2=1]作圆，校正该圆所在像素点的亮度;②令[r2=r2+1]，不断增大校正圆的半径，逐圈进行亮度校正，直至[r1=r2]。需要注意的是，采集到的数字图像由规则的像素点组成，作校正圆时会遗漏一些像素点。因此，采用该方法进行亮度校正后，还应再进行一次中值滤波，以排除遗漏像素点对整个图像亮度校正效果的影响[22]。

[13] 李江波，饶秀勤，应义斌，等.  基于掩模及边缘灰度补偿算法的脐橙背景及表面缺陷分割[J]. 农业工程学报，2009（12）：133-137.

[14] 李江波， 饶秀勤， 应义斌.  基于照度-反射模型的臍橙表面缺陷检测[J].  农业工程学报， 2011，27（7）：338-342.

[15] KLEYNEN O，LEEMANS V，DESTAIN M F. Development of a multi-spectral vision system for the detection of defects on apples[J].  Journal of food engineering， 2005， 69（1）： 41-49.

[16] ARIANA D P，SHRESTHA B P， GUYER D E. Integrating reflectance and fluorescence imaging for apple disorder classification[C].  2003 ASAE Annual Meeting. American Society of Agricultural and Biological Engineers， 2003， 12（10）： 301-312.

[17] ARIANA D， GUYER D E， SHRESTHA B. Integrating multispectral reflectance and fluorescence imaging for defect detection on apples[J]. Computers and electronics in agriculture，2006，50（2）： 148-161.

[18] XING J， DE B J. Bruise detection on ‘Jonagold apples using hyperspectral imaging[J].  Postharvest Biology and Technology， 2005， 37（2）： 152-162.

[19] BLASCO J， ALEIXOS N， GóMEZ J， et al. Citrus sorting by identification of the most common defects using multispectral computer vision[J].  Journal of Food Engineering， 2007， 83（3）： 384-393.

[20] 赵杰文， 刘剑华， 陈全胜.  利用高光谱图像技术检测水果轻微损伤[J].  农业机械学报， 2008， 39（1）： 106-109.

[21] 唐光艳. VB中RGB颜色模型与HSV颜色模型转换的实现[J]. 科技信息， 2009（2）：466-467.

[22] 张保华. 基于机器视觉和光谱成像技术的苹果外部品质检测方法研究[D]. 上海：上海交通大学，2016.

[23] GONZALEZ R C， WOODS R E， EDDINS S L，et al. 数字图像处理（MATLAB 版）[M]. 北京：电子工业出版社，2013.

（责任编辑：黄 健）