基于Halcon的苹果品质视觉检测试验研究

项辉宇 薛 真 冷崇杰 胡 晶

(北京工商大学材料与机械工程学院，北京 100048)



基于Halcon的苹果品质视觉检测试验研究

项辉宇 薛 真 冷崇杰 胡 晶

(北京工商大学材料与机械工程学院，北京 100048)

基于视觉检测平台和Halcon开发环境进行苹果典型品质检测试验，采集图像并处理。提取感兴趣区域，找出包含苹果的区域，用动态阈值分割的方法提取苹果的轮廓，并计算轮廓面积，以该面积来评定苹果的大小。对苹果的腐烂这一典型缺陷进行试验，用阈值分割的方法完成图像分割，不同灰度值显示为不同的颜色，据此将缺陷部分显示出来。颜色特征的检测是依据RGB颜色模型，采用模板匹配的方法，选取好的区域创建匹配模板，进行参数设置，并根据标准颜色的R分量设定合适的阈值作为合格苹果的颜色。该试验完成了水果轮廓的提取及面积的计算，实现了苹果部分区域的缺陷检测以及苹果颜色的检测。采用Halcon和机器视觉的方法对苹果品质的大小、缺陷、颜色检测能取得较好的效果。关键词：苹果品质；大小检测；缺陷检测；颜色检测；Halcon

水果的品质指标主要包括水果的大小、颜色、形状、纹理、缺陷等外在品质和水果的糖度、酸度、营养物质等内在品质。近年来，机器视觉的方法在水果等农产品检测上的应用越来越广泛。胡发焕等[1]根据提取的脐橙的颜色、果面缺陷、大小等综合特征建立了基于支持向量机的脐橙品质综合评价模型，提高了检测系统的识别率和实时性。刘静等[2]提出应用视觉系统开发模块，采用面积标定法获得芒果缺陷图像，利用线性回归分析确定测量值和真实值之间的相关性，算法准确且稳定。游家训等[3]研究水果分级中的颜色指标，选用色调H来判别水果颜色，并将径向基神经网络应用于水果颜色分级中。在苹果分级测试中，特等果的分级正确率约为91.7%，一等果的分级正确率约为89.5%，二等果91.2%，等外果为100%。张俊雄等[4]由颜色因子2G-R-B和G值识别出山竹的果柄、果蒂和果皮，由果柄、果蒂和果皮区域形心位置判断水果的姿态，提取水果的最大横径作为大小分级指标，果径检测精度达到±1.8 mm。J. Blasco等[5]在柑橘分级系统中，获得柑橘的可见光图像、近红外图像、荧光图像和紫外线图像对其进行分选，结果表明用近红外图像对柑橘炭疽病检测的识别率达到86%，用紫外线图像对柑橘绿霉病检测识别率达到94%，而用可见光图像对绿霉病检测的识别率仅为65%。黄星奕等[6]对动态情况下的苹果进行了研究，提出了一种适用于实时在线检测的苹果果形计算方法。对水果等农产品内部品质的检测，黎移新[7]提出了基于前馈神经网络的脐橙糖度有效酸度的检测方法。不同的学者采用不同的方法对水果品质检测及分级进行了研究，水果的视觉检测成为计算机视觉领域的重要应用内容。本试验在维视视觉检测平台上，采用基于Halcon的图像处理方法，以苹果为研究对象，对苹果的大小、颜色以及是否存在缺陷进行试验，为水果的视觉检测提供一种方法。

1 材料与方法

1.1 材料与仪器

维视视觉检测平台：MV-BDP200型，维视数字图像技术有限公司；

苹果：红富士，市售。

1.2 方法

由于大多数的水果如李子、橘子、苹果等均近似球形，为便于研究，本研究将试验对象苹果理想化为球体。图像的采集在图1所示的试验平台上完成。开启试验平台，打开光源，将图像采集方式设置为外触发采集，启动传送带使其运动，当苹果被传送经过传感器时，触发相机采集图像。

图1 视觉皮带传送平台

2 基于Halcon的图像处理

随着计算机视觉技术的不断发展，图像处理的算法也不断完善和更新。开发环境Halcon提供了一个全面的视觉处理库，包含了所有标准和高级的图像处理方法，覆盖了从不同的硬件采集图像到高级的模式匹配算法；提供了机器视觉应用程序中常用的一些工具，如文件处理、数据分析、算法操作或分类等[8]。本研究基于Halcon开发环境，编写了图像处理的程序，完成了水果的大小、颜色及缺陷检测。

2.1 图像平滑处理

采集的图像往往会受到噪声的干扰，为改善图像质量，需要进行滤波平滑，一般可采用均值滤波和中值滤波的方法进行噪声的去除[9]。本试验采用均值滤波的方法进行平滑处理。均值滤波是线性滤波的一种，选择一个(2n+1)×(2m+1)的一个窗口，根据窗口中的像素的灰度值按式(1)计算真正的灰度值。

(1)

式中：

gr,c——真正的灰度值，像素；

nr,c——一个针对每一像素的平均值为0且方差是σ2的随机变量，像素。

均值滤波在平滑噪声方面比较理想。试验所采用的算法中利用Halcon的算子mean_image(Image, ImageMean, MaskWidth, MaskHeight)进行均值平滑滤波，多次改变参数MaskWidth，MaskHeight进行试验，确定滤波效果较好的参数。

2.2 图像分割

基于灰度阈值的图像分割算法是通过确定合适的灰度门限来将物体和背景区分开。阈值的确定是阈值化方法的关键内容，主要有边界灰度作为阈值、直方图双峰法、统计学法等方法，大多数进行阈值分割时采用的是直方图双峰法实现阈值分割[10]。在大多数情况下使用基于直方图计算可以得到最佳的阈值，但是在直方图中不满足存在双峰的假设时，这种方法就不能达到预期的效果。实际应用中的不均匀照明的出现会移动相关的峰值或将这些峰值移动到错误的位置上，使得无法进行正确的阈值分割处理。本试验中先利用直方图双峰的方法检测图像中的前景图像，然后利用动态的阈值分割处理再分离出前景图像中的缺陷。

先分割出水果所在区域，再对水果区域进行图像处理操作，可以节省处理图像背景的时间，从而缩短了整体试验所需的时间。本试验中，在进行图像处理寻找苹果区域时，利用Halcon算子draw_circle (WindowHandle, Row, Column, Radius) 和gen_circle (Circle, Row, Column, Radius) 创建包含水果图像的感兴趣区域，再对感兴趣区域进行图像处理、分析，获取感兴趣区域的灰度直方图。

2.3 模板匹配

在进行水果颜色检测时，需要依据合适的颜色模型，常用的颜色模型有RGB模型和HIS模型[11]。本试验依据RGB模型，采用了模板匹配的方法，将待检测图像与标准模板进行比对分析，从而得出结论。使用RGB中R的分量设定简单的阈值，并在其一定范围内进行匹配，根据获得的图像色度判断苹果是否合格。其操作流程见图2。

图2 系统设置流程

3 图像处理结果

3.1 苹果大小检测试验

以市售苹果为研究对象，在试验平台采集图像后，将图像导入Halcon进行处理。图像平滑后，提取的感兴趣区域见图3。

图3 滤波后感兴趣区

其灰度直方图见图4。

图4 灰度直方图

根据灰度直方图设定阈值，分割苹果的轮廓。一个好的阈值应该对应着直方图中两个峰值之间的最小值，所以试验中选择两个波峰之间谷底的最小值作为算法中threshold (Image, Region, MinGray, MaxGray) 算子中的参数MinGray，MaxGray设为255。提取的苹果图像见图5。

图5 提取到的苹果轮廓

水果的大小衡量指标一般包括面积、周长、体积等[12]，以苹果图像的面积作为苹果大小的衡量指标，得到的苹果区域的面积为159 998个像素，在Halcon中显示结果见图6。

3.2 苹果缺陷及颜色检测试验

水果不同部位的灰度值会存在差异，尤其在缺陷部位会与正常水果存在显著不同[13]。本试验采用的缺陷检测方法是基于颜色的模板匹配法。

图7(a)为具有缺陷的苹果原始图，图7(b)是苹果前景的灰度直方图，可以看出该直方图没有明显的双峰，所以采用的是动态阈值的分割方法，结果见图7(c)。不同的灰度值处显示不同的颜色，可以清楚地将缺陷部分显示出来。

图6 苹果轮廓的面积

图7 苹果缺陷图像及缺陷检测结果

图8(a)是选取的标准模板，选取苹果图像好的区域作为匹配的模板进行参数设置见图8(b)。设置颜色阈值为±26的范围，在此范围内的颜色均认为与模板在同一等级。在慢速的实时检测时，图8(c)和(d)均是检测到的结果，图中方框内的区域是待检测的区域，图8(c)检测到的区域是完好的部分，其颜色与模板的颜色在同一个等级，判定结果为合格的苹果，图8(d)检测到的区域恰好是腐烂的部分，颜色与模板的颜色不同，判定结果为不合格的苹果。

图8 水果颜色的检测结果

4 结论与展望

本试验实现了低速条件下对苹果大小、缺陷以及颜色这3种典型特征的检测，提出了基于Halcon的图像处理算法。用动态阈值分割的方法实现了苹果轮廓的提取，并计算出其面积。根据苹果正常区域和腐烂区域的不同颜色对应的灰度值不同，提取出来缺陷区域。基于模板匹配的方法，将苹果不同区域的颜色与标准模板进行对比，区分了合格苹果和不合格苹果。

由于试验条件的影响未能对水果进行全面的图像采集，如表面缺陷可能会出现在水果的任何位置，而类似于球体的水果在进行图像采集时可能会因为形状的畸变带来缺陷的消失，给缺陷检测技术带来很大的困难。在实际的生产中，需要对滚动的水果进行连续的图像采集，保证水果的各个方位均能被检测到，才能提高检测准确率。试验中的不足之处在于只完成了对苹果部分区域的检测，还不能保证苹果的整体部分合格与否，下一步的研究需要针对苹果的各个区域进行图像采集，由综合的试验结果来判断苹果是否合格。

[1] 胡发焕, 董增文, 匡以顺. 基于机器视觉的脐橙品质在线分级检测系统[J]. 中国农业大学学报, 2016, 21(3): 112-118.

[2] 刘静, 黄勇平, 章程辉. 视觉系统开发模块在芒果果面缺陷检测中的应用[J]. 食品与机械, 2009, 25(2): 82-85.

[3] 游家训, 陈超, 郭创新. 径向基神经网络在水果颜色分级机中的应用[J]. 轻工机械, 2008, 26(3): 24-26.

[4] 张俊雄, 荀一, 李伟. 山竹的计算机视觉分级方法[J]. 农业机械学报, 2009, 40(11): 176-179, 188.

[5] BLASCO J, ALEIXOS N, MOLTE. Machine vision system for automatic quality grading of fruit [J]. Biosystems Engineering, 2003, 85(4): 415-423.

[6] 黄星奕, 魏海丽, 赵杰文. 实时在线检测苹果果形的一种计算方法[J]. 食品与机械, 2006, 22(1): 27-29.

[7] 黎移新. 基于前馈神经网络的脐橙糖度及有效酸度检测[J]. 食品与机械, 2009, 25(2): 78-81.

[8] 王宏丽, 赵不贿, 孙智权, 等. 基于HALCON的医疗袋缺陷检测[J]. 包装工程, 2015, 36(13): 125-129.

[9] 刘娟娟. 基于红外和可见光图像融合的苹果缺陷检测[D]. 南昌: 华东交通大学, 2012: 29-33.

[10] STEGER C. 机器视觉算法与应用[M]. 杨少荣, 译. 北京: 清华大学出版社, 2008: 144-149.

[11] 闫之烨. 基于计算机视觉的苹果颜色分级系统的研究[D]. 南京: 南京农业大学, 2003: 8-10.

[12] 应义斌, 王剑平, 蒋焕煜. 水果直径和缺陷面积的机器视觉检测(英文)[J]. 农业工程学报, 2002, 18(5): 216-220.

[13] 刘佳男. 基于机器视觉的水果表面缺陷识别方法的研究[D]. 无锡: 江南大学, 2012: 49-50.

Experimental study of apple quality vision detection based on Halcon

XIANGHui-yuXUEZhenLENGChong-jieHUJing

(MaterialsandMechanicalEngineeringCollege,BeijingTechnologyandBusinessUniversity,Beijing100048,China)

Apple’s typical quality detection experiment was conducted on visual detection platform and the development environment Halcon in this paper. After image acquisition and processing the region of interest was extracted to find out the specific area containing the apple. Moreover, its contour was extracted using dynamic threshold segmentation method, and the area of this contour was calculated and used to assess the size of the apple. Furthermore, the typical defect fruit rot was detected using threshold segmentation method, and then the different gray values were shown in different colors. Based on different region’s colors, the defects were detected based on the colors of different regions, and the color feature was valued using RGB color model and template matching method. A good region was selected to create a template and set parameters, and then the appropriate threshold was set as a qualified color according to the standard color of the R component. In this study, the extraction and the area of the fruit contour were calculated, and the defect and color detections of apples were realized. Finally, good results in the size, defect and color detections of apples were achieved by using Halcon and machine vision methods.

apple quality; size detection; defect detection; color detection; Halcon

项辉宇(1966—)，男，北京工商大学教授，博士。

E-mail：xianghy@th.btbu.edu.cn

2016—07—21

10.13652/j.issn.1003-5788.2016.10.029