基于机器视觉的柑橘表面缺陷检测

龚中良 杨张鹏 梁力

摘要：针对柑橘人工分类强度高、效率低、精度差的问题，为实现快而准确的柑橘缺陷检测，提出一种基于机器视觉技术的缺陷检测方法。在VS2013环境下利用开源计算机视觉库OpenCV进行开发，根据柑橘的颜色与形状特点，将图像颜色模型由RGB转换为HSV，利用HSV图像进行背景去除后，在HSV顏色模型下利用V分量灰度图边缘检测与形态学处理的方法以提取柑橘表面的缺陷特征。结果表明，柑橘表面缺陷检测的总体识别率为92%，所用方法能有效地识别柑橘表面的缺陷。

关键词：柑橘;缺陷检测;机器视觉;HSV;边缘检测

中图分类号： TP391.41  文献标志码： A  文章编号：1002-1302（2019）07-0236-03

柑橘是我国产量最大的水果之一，也是重要的外贸果品，但由于采摘后水果产品化处理技术落后，造成我国上市的柑橘品质等级混杂、良莠不齐，商品价值受到影响。目前，国内柑橘的分选主要采用人工分选方法，缺点是工作量大、效率低、准确性差，无法达到统一的质量标准。而机器视觉技术处理水果的方法具有效率高、速度快、无损性等特点，已在水果表面缺陷检测领域获得了广泛运用[1]，国内的机器视觉技术在缺陷检测方面还不是很成熟，因此研究基于机器视觉柑橘表面缺陷检测的方法迫在眉睫。

近20年来，国内外学者对机器视觉在水果产后缺陷检测中的应用进行了较深入的研究。Leemans等采用K均值聚类的方法提取RGB图像中苹果缺陷的特征，然后采用二次判别分析的方法实现缺陷区域的检测[2]。Whitelock等通过提取缺陷和形状等特征对苹果进行分级检测，但提取缺陷特征算法单一，不能提取多种缺陷，同时没有考虑苹果的球形特点而导致光照不均匀的问题，因此识别效果欠佳[3]。Blasco等开发了一个范围定向分段算法检测柑橘果面缺陷，并在HIS颜色空间通过使用传统机器视觉系统的准确度达到95%[4];应义斌等以黄花梨为研究对象，根据表面缺陷区域与非缺陷区域的颜色特征差异，提出利用R分量与G分量在缺陷与非缺陷区的突变，求出可疑受损点，再运用区域增长法确定黄花梨的整个受损面，试验表明该方法可较准确地识别黄花梨的缺陷区域[5]。冯斌等利用CCD摄像机和平面镜对静态采集的图像进行傅里叶变换，从水果的三维空间结构特征中识别缺陷[6]。朱伟华等提出了基于模糊颜色聚类的缺陷分割方法，构建了颜色模糊集，并将该方法应用于西红柿的缺陷分割[7]。赵杰文等在HIS颜色空间下提取H均值与均方差作为红枣的颜色特征值，并采用支持向量机识别缺陷红枣[8]。刘静等利用面积标定法获取芒果的缺陷图像，并采用线性回归分析的方法确定测量值与真实值的相关性，结果表明，该方法具有较高准确率与稳定性[9]。李江波等提出一种在线水果图像的表面亮度均一化校正的方法，利用一个简单的阈值对亮度校正后的图像进行缺陷分割，总体检测准确率超过99%[10]。还有一些学者在RGB颜色模型下利用分量R、G、B对水果的缺陷进行识别，但涉及的特征参数过多，在一定程度上影响检测系统的实时性。

目前，水果表面缺陷检测难题主要是如何高效快速地检测缺陷区域并且能保证有较高的经济性。本研究以冰糖柑为研究对象，通过CCD工业相机采集图像，采用基于形态学处理柑橘图像V分量图像的分割方法，快速地提取柑橘的缺陷特征，并且通过判断缺陷的形状来区分柑橘的果梗与缺陷，识别柑橘表面缺陷区域，从而实现柑橘快速缺陷检测。

1 材料与方法

1.1 试验装置与材料

柑橘图像获取装置如图1所示。该装置主要包括CCD工业相机、图像采集卡、光源、光照箱。图像采集区域在密封的光照箱内进行，果杯及水果拍摄背景布置为黑色，这样不仅能够区分水果与背景，还能避免光照形成的阴影对图像后续处理造成的影响。光源采用光线柔和的荧光灯，安装在光照箱的两侧，使得光线均匀以防影响检测结果。为尽可能采集柑橘表面更多信息从而达到缺陷检测的目的，采用互为120°安装双相机进行图像采集，CCD工业相机采用德国Basler工业相机（型号为：acA750-30gc/gm），其分辨率为752×480，像素位深8 bit，jpg格式存储，相机曝光时长、焦距、光照强度及图像采集大小均保持一致。当步进电机驱动传动链将水果以恒定速度运动至图像采集区域时，光电传感器产生上升沿信号触发工业相机拍摄，拍摄后的图像由图像采集卡存储至计算机进行图像分析与处理后，将判断结果输送给分选装置进行分选。整个图像处理软件在VS2013环境下用VC+ +结合Opencv视觉库进行编写。

试验样品为长沙当地采购的50个洪江冰糖柑，其中有25个是完好的，25个表面带有缺陷的，表面缺陷包括黑斑、虫咬、压伤等缺陷类型。

1.2 柑橘缺陷特征检测方法

1.2.1 图像预处理 首先进行图像预处理是为了去除噪点及背景，为后续缺陷特征提取做准备。采集到的柑橘图像中背景部分对检测影响虽然较弱，但为了更高效地进行图像分割并较好地去除背景，首先对图像进行灰度线性变换，能凸显感兴趣区域并削弱或去除不必要的信息，使得处理结果更有利于后续图像分析[11]。线性变换可突出感兴趣灰度区间内的图像细节，抑制不感兴趣区域，增大图像对比度并提高图像质量，其表达式为g（x，y）=a×f（x，y）+b，其中参数a表示图像对比度变化;b表示图像亮度变化[12]，本试验中参数a选取为1.2，参数b选取为40。将变换后的图像转换为灰度图像再经过中值滤波以去除噪点，并且保证其边缘轮廓较清晰，之后提取RGB颜色模型下的灰度直方图（图2-a），发现柑橘表面与背景对比并不是很明显，并没有呈现明显的双峰，而柑橘的缺陷部分通常与正常色泽有很大区别，将柑橘图像由RGB颜色模型转换为HSV颜色模型后，作其灰度直方图（图2-b），在HSV颜色模型下柑橘前景与背景能够很好地区分，易于去除背景以提取目标果实图像。

在去除噪声之后，将二值化图像作为掩模，并设置背景为白色以获得背景分割后的图像，背景分割后的图像如图2-d所示。

3.2 基于形态学处理的柑橘缺陷提取

柑橘缺陷常见类型主要包括溃疡果、虫伤果、裂伤果，缺陷区域的主要颜色为灰色、深褐色，针对缺陷颜色偏暗的特点，利用亮度V分量灰度圖对柑橘缺陷进行检测。由于柑橘为近似球体的形状，即使在柔和光照条件下，柑橘边缘处的灰度值也比较低，极易将边缘区域误判为缺陷，因此需排除边缘对检测的干扰，采用形态学处理的方法去除边缘以获得缺陷特征图像，整个流程如图3所示。

从背景分割后的图像分别提取H、S、V分量图像如图4所示，其中V分量图最能体现出水果的缺陷特征，可作为后续检测缺陷的依据。为获取柑橘的缺陷部分，采用固定阈值化与OTSU阈值化分割并不能达到很好的效果，采用自适应阈值化分割的方法，处理效果较好。自适应阈值化是通过图像像素领域块的分布特征来自适应确定区域的二值化阈值，保证图像中各个像素的阈值随着周围领域块变化而变化[12]。由于某些柑橘表面会存在一些细小斑点，阈值分割处理后会形成许多小黑点，而这些小斑点并不能作为缺陷看待，因此采用形态学闭运算来消除这些小黑点。由于柑橘边缘处的灰度值较低，处理后的图像中黑色部分包括缺陷部分与边缘部分，因此须处理边缘部分，将预处理得到的二值化图像用canny算子获取其边缘图像，再用形态学膨胀的方法对边缘图像进行处理，得到边缘膨胀图像，其中边缘膨胀部分为白色，然后将阈值分割后的边缘及缺陷图与边缘膨胀图像相加，最终得到柑橘缺陷部分的图像（图3-h）。

3.3 缺陷与果梗的区分及缺陷果的判定

由于柑橘本身的果梗颜色较暗，其形态与缺陷部分相似，在缺陷提取的过程中，往往容易造成误判，将果梗识别为缺陷，从而影响识别率，因此需要将果梗面积剔除，排除果梗对缺陷面积的影响。在RGB与HSV颜色模型下，利用各个分量参数来区分果梗与缺陷都不能达到很好的效果，而采用分量组合计算较为复杂，影响实时性。柑橘的缺陷大多数是不规则形状，而自身的果梗基本上近似于圆形，考虑到这一点，本研究采用检测轮廓圆形度的方法来去除果梗面积以排除果梗对缺陷识别的干扰。

3 结果与分析

采集到的原始图像经过计算机图像处理与分析后，得到每个水果的检测结果，若P<0.031，则认为是完好果;若P>0.031，则认为是缺陷果，应将其剔除。通过试验，得到的缺陷分类准确率如表1所示。结果表明，对于正常果的检测准确率为100%，对于缺陷果的检测准确率为92%。试验中产生的几个误判的柑橘主要原因有：个别柑橘表面的某些缺陷形状近似圆形，圆形度较高的缺陷被当做果梗去除，因此将缺陷果误判为完好果;柑橘的缺陷部分恰好位于拍摄边缘，此时缺陷部分可能会被相机重复拍摄或是本身产生几何畸变，导致检测的面积结果与实际面积结果相差较大，导致误判。系统检测缺陷结果基本稳定，能够保证较高的准确率。

4 结论

本研究在VS2013环境下利用开源计算机视觉库OpenCV进行开发，将RGB颜色模型转换为HSV颜色模型后对柑橘图像进行背景分割，分割采用OTSU自动化阈值分割，通过分析和试验验证，利用V分量图结合形态学处理的方法能有效地提取柑橘缺陷部分。

运用检测圆形度的方法来区分柑橘的果梗与缺陷，只涉及1个参量，计算较为简便，同时区分效果较好;根据缺陷总像素与柑橘总像素的比值来判断表面完好的柑橘准确率为100%，判断表面有缺陷的柑橘准确率为92%，该方法具有较高的准确率，能有效地识别柑橘表面的缺陷。

参考文献：

[1]应义斌，饶秀勤，赵 匀，等. 机器视觉技术在农产品品质自动识别中的应用（Ⅰ）[J]. 农业工程学报，2000，16（1）：103-108.

[2]Leemans V，Magein H，Destain M F. Defects segmentation on ‘Golden Delicious apples by using colour machine vision[J]. Computers and Electronics in Agriculture，1998，20（2）：117-130.

[3]Whitelock D P，Brusewitz G H，Stone M L. Apple shape and rolling orientation[J]. Applied Engineering in Agriculture，2006，22（1）：87-94.

[4]Blasco J，Aleixos N，Molto E. Computer vision detection of peel defects in citrus by means of a region oriented segmentation algorithm[J]. Journal of Food Engineering，2007，81（3）：535-543.

[5]应义斌. 机器视觉技术在黄花梨尺寸和果面缺陷检测中的应用[J]. 农业工程学报，1999（1）：197.

[6]冯 斌，汪懋华. 计算机视觉技术识别水果缺陷的一种新方法[J]. 中国农业大学学报，2002，7（4）：73-76.

[7]朱伟华，曹其新. 基于模糊彩色聚类方法的西红柿缺陷分割研究[J]. 农业工程学报，2003，19（3）：133-136.

[8]赵杰文，刘少鹏，邹小波，等. 基于支持向量机的缺陷红枣机器视觉识别[J]. 农业机械学报，2008（3）：113-115，147.

[9]刘 静，黄勇平，章程辉. 视觉系统开发模块在芒果果面缺陷检测中的应用[J]. 食品与机械，2009，25（2）：82-85.

[10]李江波，饶秀勤，应义斌. 基于照度-反射模型的脐橙表面缺陷检测[J]. 农业工程学报，2011，27（7）：338-342.

[11]冯 斌. 计算机视觉信息处理方法与水果分级检测技术研究[D]. 北京：中国农业大学，2002.

[12]朱 伟，赵春光，欧乐庆，等. OpenCV图像处理编程实例[M]. 北京：电子工业出版社，2016.

[13]陈兵旗，孙 明. 实用数字图像处理与分析[M]. 北京：中国农业大学出版社，2007.焦德志，曹 瑞，姜秋旭，等. 石油污染对芦苇幼苗生长及生理特性的影响[J]. 江苏农业科学，2019，47（7）：239-242.