计算机视觉技术在红富士苹果自动分级系统中的应用

钱中华

(周口职业技术学院，河南 周口 466000)

0 引言

水果的品质分为外观品质和内部品质，其中外观品质是水果内部品质的外在体现，也是分级的主要依据。外观品质包括大小、形状、颜色和表面缺陷，优良品质主要体现为个体较大、性状规则、颜色鲜艳、着色均匀和缺陷面积少。针对外观品质进行分级是水果在上市销售之前的一个操作环节，对水果的销售价格和种植前景有着重要的影响。

传统的水果分级依靠人工操作和判定，没有较高的技术要求，在人力资源丰富的条件下较为适用；但是，各人对分级标准的理解和把握不同，分级结果受到较多主观因素的影响，缺少客观性和准确性[1]。同时，人工长期作业会引起专注力降低和情绪的波动，影响到分级的精度，且作业效率受到体能的限制而无法进一步提高[2]。随着我国社会的发展和人口年龄结构的改变，人工分级的生产成本开始凸显，因而建立高效的自动化分级技术体系势在必行。目前的机械式分级方法，因分级速度较快，会损伤水果表皮，且考察的外观特征种类有限，未能得到大范围的应用。

随着计算机和图像处理技术的发展，计算机视觉应运而生，并在国民经济和社会发展的各个领域得到应用。计算机视觉是利用拍摄设备代替人眼获取图像，然后用电脑对目标物体进行识别、追踪和检测[3]。计算机视觉在农业领域主要应用于农产品品质检测、收获机器人、精准农业和生物生长状态的监控中，且农产品的分级是计算机视觉应用于农业的一个重要方面[4]。

目前，计算机视觉技术已经被引入了许多种水果的自动分级中，包括苹果、脐橙、柑橘、马铃薯、葡萄、芒果和槟榔等[5-12]。此外，人们还对基于计算机视觉的水果分级相关算法和识别特征进行了研究，提出了遗传神经、神经网络等精细的分析模式，研究水果外观特征也由大小和形状发展到颜色和纹理等，极大地提高了分级的精度。该技术利用拍摄设备代替了人眼的观察，利用计算机软件分析代替了人的主观判断和评价，且不会受到情绪波动和精神状态的影响，因此分级结果更加准确客观。但是，基于计算机视觉的水果分级还面临一些问题和改进的空间，如针对单一特征的分析不能真实评价水果的等级，建立反映水果全面特征的分级模型又增加了运算的复杂程度，影响水果分级的实时性。另外，对水果图像的获取要从静态拍摄向动态摄影转变，以实现分级的自动化。

苹果是我国产量最大和最受欢迎的水果，2016年我国的苹果产能达到4 300万t，占世界总量的55%，且质量高于其它国家。近10年来，我国的苹果产量一直稳步增长，消费量也在持续增加。但是，我国苹果的分级技术和水平不高，影响了出口量和在国际市场上的竞争力，因此加强苹果分级相关技术的研究，提升分级自动化水平具有重要的意义[13]。

苹果外观品质中的大小、形状和表面缺陷特征表现直观，比较容易通过人工判别进行分级，而其颜色和着色度为数量性状，通过人工准确评价的难度相对较大，适合利用计算机视觉技术进行分级。苹果生长过程中会依次显现出绿、黄、红3种颜色，分别是由叶绿素(绿色)、类黄酮(黄色)、胡萝卜素(红色)和花青素(红色)表现出来[14]。目前，体现苹果优良颜色品质的花青素组成成分和特性已经研究清楚，为基于计算机视觉的颜色分级奠定了基础。

我国种植的苹果最著名的是红富士晚熟品种，其味道好、耐储藏，具有很高的营养价值和经济价值。红富士苹果原产日本，1966年被引入中国，该系列的苹果几十年来在我国的苹果生产和消费中一直占有重要的地位，具有极高的研究应用价值。本文利用计算机视觉检测红富士苹果的表面颜色和着色面积，并模拟苹果在自动分级流水线上的运动状态，开发了一个自动分级系统，并,通过试验进行验证，以便为我国苹果产业的技术升级提供支撑。

1 系统设计原理及结构

1.1 设计原理

选择苹果外观品质中人工判别难度较大的颜色特征作为分级依据，将拍摄箱内的苹果按照一定的角速度旋转，模拟其在自动分级流水线上的运动状态。利用摄像头代替人眼拍摄获得苹果的原始图像，转换为数码格式后导入计算机中通过图像处理软件进行灰度化和二值化处理，识别出反映苹果品质等级的颜色特征并计算所占苹果轮廓的面积，最后根据设定的参数实现对苹果的分级。

1.2 系统组成

自动分级系统主要由拍摄箱和计算机这两大硬件，以及计算机中安装的图像处理软件组成。拍摄箱是尺寸为0.6m×0.5m×0.7m的长方体，内壁涂成黑色以减少反光，4个功率15W的白炽灯分别安装在内部的4个角上。样品台用于放置苹果样品，经过改装后使其绕中心匀速转动，自传角速度设定为1.5。在拍摄箱内壁的4个面上分别放置4个罗技C930型小型摄像头，拍摄形成苹果的4幅图像，最终的分析结果取其4个数值的平均值。A/D转换器为AD6673型，将摄像头获取的模拟信号转换为数码信号后导入计算机。自动分级系统组成如图1所示。

电脑主机为戴尔XPS8910型，配置Intel i7处理器、GTX1070型显卡和16G内存，体积较小、兼容性强、快速稳定。用于图像分析的计算机视觉软件为MatLab工具箱，可以快速地处理分析各种类型的图像，能够满足实时自动分级系统的要求。

图1 自动分级系统的组成Fig.1 The structure of automatic grading system

2 图像分析

拍摄图像时苹果处于转动的状态，因此获得的图像存在一定的噪音，会影响图像的质量和后续分析处理的准确性。本文采用3×3的中值滤波法对噪音进行去除，得到不同等级苹果的代表性图片，如图2所示。

(a) 一等品 (b) 二等品 图2 苹果的原始图像Fig.2 Original image of apple

根据苹果图像受光照强度影响的情况，首先选用HSL模型的颜色空间，以色调H、饱和度S和亮度L作为分量来对图像进行处理，增加对比度，减少亮度，得到在HSL颜色空间下对L分量进行灰度化的图像，如图3所示。

原始图片中的背景为黑色，苹果为红色和黄色。对此，首先利用这些部分之间颜色或亮度的明显差异将苹果轮廓从背景中分离出来。在HSL模型中，亮度L不会受到其它颜色因素的影响，还可以减少光照变化引起的差异。因此，采用以亮度L为分量的阈值分割法从图像中提取苹果的轮廓，以便进行果实大小和形状的计算分析，如图4所示。

(a) 一等品 (b)二等品 图3 苹果的灰度化图像Fig.3 Gray image of apple

(a) 一等品 (b) 二等品 图4 苹果的轮廓图像Fig.4 Outline image of apple

苹果表面同时出现红色和黄色，其中黄色为背景，红色则反映苹果的品质，其所占面积比例是分级的主要依据，须要将其从背景中提取出来。首先，建立图像的RGB模型，然后根据R分量的中值滤波，通过Otsu算法得到分割阈值，形成二值化图像，将两种颜色的区域分开，并计算所占面积比例,如图5所示。

(a) 一等品 (b) 二等品 图5 苹果的颜色分割Fig.5 Color segmentation of apple

3 试验结果与分析

3.1 试验设计

按照新鲜苹果分级的GB10651-89标准，以鲜红或浓红色的着色面积70%、50%、25%为界限，将苹果划分为优等品、一等品、二等品和等外品。利用人工方法分级，选择上述4个等级的成熟新鲜红富士苹果各25个，果径60～80cm，颜色和着色度各异，排除畸形果和缺陷果。将100个苹果按等级分组，依次用本自动分级系统检验，比较两种方法分级结果的差异。

3.2 试验结果和分析

对于单个苹果，自动分级系统从拍摄图像到输出结果的耗时为0.2s，因此其作业速度为5个/s，能够满足流水线实时分级的要求。两种方法分级的结果比较(见表1)：以人工分级结果为标准，则基于计算机视觉的自动分级对4个等级苹果的分级准确率都较高，分别为92%、88%、84%、88%，平均为88%，每组中仅有个别苹果被误判入相邻的等级。

表1 两种分级方法的比较Table 1 Comparison of the two grading method

4 结论

设计了一种基于计算机视觉的红富士苹果自动分级系统，通过转动模拟苹果在分级流水线上的运动状态，获取苹果在拍摄箱中的图像。利用计算机软件对原始图像依次进行去噪、灰度化、轮廓提取和颜色特征提取等处理，依据颜色和着色度实现了对红富士苹果的自动分级。在准确性验证试验中，自动分级系统的作业速度为5个/s，分级结果与人工比较的准确率高达88%，具有实际推广应用的前景。

[1] 何东健，杨青，薛少平，等.果实表面颜色计算机视觉分级技术研究[J].农业工程学报，1998,14(3):202-205.

[2] 李庆中，汪懋华.基于计算机视觉的苹果自动分级系统硬件开发[J].农业机械学报，2000,31(2):56-59.

[3] 阙玲丽.计算机视觉信息处理技术在苹果自动分级中的应用[J].农机化研究，2017, 39(5):246-248.

[4] 李庆中，汪懋华.基于计算机视觉的水果实时分级技术发展与展望[J].农业机械学报，1999,30(6):1-7.

[5] 籍保平，吴文才.计算机视觉苹果分级系统[J].农业机械学报，2000,31(6):118-121.

[6] 冯斌，汪懋华.基于颜色分形的水果计算机视觉分级技术[J].农业工程学报，2002,18(2):141-144.

[7] 黎静，薛龙，刘木华，等.基于计算机视觉的脐橙分级系统研究[J].江西农业大学学报，2006,28(2):304-307.

[8] 张俊雄，荀一，李伟，等.基于计算机视觉的柑橘自动化分级[J].江苏大学学报：自然科学版，2007,28(2):100-103.

[9] 郑冠楠，谭豫之，张俊雄，等.基于计算机视觉的马铃薯自动检测分级[J].农业机械学报，2009,40(4):166-168.

[10] 陈英，廖涛，林初靠，等.基于计算机视觉的葡萄检测分级系统[J].农业机械学报，2011,41(3):169-172.

[11] 李国进，董第永，陈双.基于计算机视觉的芒果检测与分级研究[J].农机化研究，2015,37(10):13-18.

[12] 许月明，蔡健荣，龚莹辉.基于计算机视觉的槟榔分级研究[J].食品与机械，2016,32(8):91-94.

[13] 李聪，高海燕，袁超.基于计算机视觉的苹果自动分级方法研究[J].计算机仿真，2012,29(9):293-296.

[14] 闫忠业，伊凯，李作轩，等.苹果果皮色素类物质含量变化及其相互关系的研究[J].沈阳农业大学学报，2006,37(6): 821-825.