果实图像质量无损检测方法研究

罗超群 王铮 王蕾

（东华理工大学信息工程学院，南昌，330013）

0 引言

中国是世界上最大的水果出产国，其水果年产量超过1000万t，而且世界上大部分的热带水果均是中国大宗的品种。目前，水果产业已成为仅次于粮食和蔬菜的第三大农业种植产业，未来中国水果的销量还将持续增长。不过，水果会因为生长、收货或运输等过程中受到不同程度的损害，提前对水果进行检测可以提高水果的平均质量，但人工检测成本高，而且效率低下，故本文基于图像处理技术，设计出一种果实图像表面质量检测系统。

该系统使用VC++6.0软件，通过对果实图像的灰度化和滤波算法处理，实现对水果的高效率、高精度的筛选。

1 研究现状与发展

1.1 我国水果生产现状与发展

近年来，为了满足消费者对水果的需求，我国的水果产量在不断增加。根据世界粮农组织的统计数据，全球的苹果产量在不断提升，由2000年的5913万t增长至2016年的8868万t[1]。我国是世界上最大的水果生产国之一，其水果产量超过全世界的10%。虽然中国的水果产量很大，但是在国际市场上的价格却被压得很低[2]。其主要原因是我国没有完整的水果分级制度，水果的商品化程度较低，导致在国际市场上的竞争力下降，自然得不到一个满意的价格。市场现状说明，水果的分类和后加工是提高产品价值的重要因素。近几年，我国的水果分类和后加工处理行业发展迅速，特别是基于图像处理技术的使用，能快速实现水果分类。

1.2 基于数字图像处理的水果商品化研究现状

在早期，国外利用计算机技术对水果进行分级的研究，以苹果为研究对象，研究者利用CCD相机采集苹果的外部品质信息，再使用计算机进行数据分析，之后根据制定的标准对每一个苹果进行逐一初步分析和判别，最后得到较为准确的数据。后来，人工神经网络技术的诞生为数字图像处理和现实世界提供了更加便利的条件，它可以将模仿生物大脑结构和功能得到的信息转化为计算机能够处理的图像信息，极大地提高了果实图像品质检测的准确性和智能性。

高精度的图像是机器视觉系统提取数据的必要条件之一，为了更好地取得能提供足够有效的外观品质特征信息的图像，发达国家的研究者通过对水果的传输、水果定向和传感器设计等方面进行大量的研究，取得了很多的研究成果。实验研究表明，可以采用高光谱和多光谱的技术方法快速得到高精度的图像，其中，高光谱图像具有光谱分辨率高的特点，能够精确获得水果外观特征光谱段，可清楚地分辨水果品质的缺陷、污点等，但是该方法也会造成水果识别的误判，比如，将果梗和花萼的成像误判为苹果的损坏区域。经过Throop等人对高光谱图像方法的完善，设计出对果梗和花萼不可见的传送机器，其解决方法是让水果倾斜45°并旋转以减少误判问题对图像精度的影响。

中国农业大学籍保平教授的项目组也研发了一套机器视觉水果分级系统，该系统利用简单算法可以对水果的外部缺陷、色泽、尺寸和形状进行全面检测，在此基础上，再对水果进行分级，其缺陷检测采用界面合成技术和近红外技术，可保证检测的精度和速度[3]。

色彩是衡量水果品质好坏的重要指标之一，已经有大量的国内外学者通过数字图像处理技术手段，对水果颜色进行研究，并取得了很大的进展。基于数字图像处理技术原理是使用机器视觉取代人眼对水果颜色进行判断，更加客观地采集水果的颜色信息，再将其颜色信息送到检测系统，由该系统对接受的特征信息进行运算和处理，进而判断出水果的品质[4]。通过机器视觉系统可以极大程度地消除人工处理带来的不良影响，避免不同的人工判别，使检测精确度和效率大大提高。

2 果实图像表面质量检测系统

本文设计的果实图像表面质量检测系统以苹果作为研究对象，该系统的功能是对苹果的损坏处进行识别并标出，实现了对苹果图片的背景消除、灰度化、3×3卷积的滤波（一种滤波器的卷积核模板）等处理，最终对图片中苹果的损坏区域进行定位。

图像处理是苹果样本图像表面质量检测系统的重要组成部分之一。在该系统中，苹果的表面检测分为预处理、颜色参数提取、定位损坏区域等部分。其中，预处理包括苹果样本图分割、灰度化和中值滤波等。果实图像表面质量检测预处理流程如图1所示。

图1 果实图像表面质量检测预处理流程图

果实图像表面质量检测系统在采集信息时，不仅会采集到苹果本身的信息，还有其背景信息。所以需要把苹果从背景中分离出来，并对采集到的苹果图像信息进行初步研究，进而实现图像的预处理。

在图像输入后，该检测系统处理的第一步便是预处理，这是苹果表面质量检测的基础。通过图像预处理，可提高图像质量和颜色信息，有利于后续的操作处理工作。

2.1 颜色表达

颜色是光作用到某些物体上经过反射后，由人眼接收的视觉特性。人们用肉眼能够看到的光线，只是一段波长范围很窄的电磁波所产生的效果。在颜色的定义中，不同波长的电磁波可作为不同的颜色的能量体现。

2.2 颜色系统

按照标准的颜色划分，颜色系统大致可分为三种：显色系、色光混色系、颜料混色系。其中，以视觉等距为标准，常见的显色系包括蒙赛尔、NCS等。

2.3 颜色模型

在颜色模型的定义中，能见到的所有的颜色模型都是所处空间的所有可见光的子集，不同的模型表示不同区域的色彩。常见的颜色模型有HSV、HSI、RGB、CMYK、HSL、HSB等。本文采用HSV和RGB这两种模型进行研究。

3 实验结果分析

3.1 数据来源及开发工具

在数字图像处理研究实验中，研究者通常将实验器材搭建在固定的环境中，以减少环境对实验造成的影响。本文的实验数据是从百度图库（http://image.baidu.com/）中选取的若干张所需的BMP图像，如图2所示。BMP图像是指BMP格式的一种位图文件，即24位真彩图，适用于图像处理方面。本文采用的开发工具为Microsoft Visual C++（简称Visual C++、MSVC、VC++或VC），类库为微软基础类库（Microsoft Foundation Classes，简称MFC）。

图2 苹果BMP图像

3.2 样本分割

本系统获得的图像信息包括背景和苹果两个部分。为了对图像信息进行更准确的处理，消除背景产生的影响，首先需要将苹果从背景中分割出来，对其进行单独研究。

图像分割是将一副图像中性质不同的区域分开。因为苹果样本图像分割会直接影响最终结果，故图像分割是图像处理中最基础和最重要的过程之一。本系统采用阈值分割技术，经过试验发现，作为分割的数值有两个：图像颜色饱和度和R-G（或R-B）数值之差。

RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)3个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。R、G、B分别代表红、绿、蓝3个通道的颜色，这一标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。

图像颜色饱和度是通过将BMP位图中的RGB数值，转化为HSV数值中的S值。HSV（Hue, Saturation, Value）是根据颜色的直观特性创建的一种颜色空间,其中，H表示色调、S表示饱和度、V表示明度。

RGB转为HSV的公式如下：

色调计算：

饱和度计算：

明度计算：

该方法可判断图像中每一个像素的饱和度，并以平均饱和度为阈值。由于苹果的饱和度远大于背景的饱和度，故将每一个小于该阈值的像素RGB赋值为0，即变为黑色，这样可将大部分背景和样本图像分开。

R-G阈值法是将R-G的阈值T定为10，若当前像素点R-G数值小于10，则判断该像素在背景区域中，并赋值为0。该方法可以将苹果在饱和度较高的背景中分割开来，适用于更加复杂的背景情况。

图3 去除背景

3.3 灰度化

当彩色图像中的R、G、B三个表示色彩信息分量的值相等时，即为灰度图像。所以通常的灰度图像只存在一个灰度值。为了后续的苹果样本图像信息处理可以更加方便，通常对要研究的苹果图像进行灰度化处理[5]。灰度化处理主要有4种方法，具体如下。

1）最大值法。

最大值法是取用苹果图像中R、G、B三个色彩信息分量的最大值作为灰度图的灰度值f，即：

由于该方法是取最大值，得到的苹果灰度化图像显示效果较为明亮，所以该方法只适合偏暗的苹果图像。

2）平均值法。

平均值法是以R、G、B三个分量数值的平均值作为灰度值f。

利用平均值算法处理，可以使得苹果灰度化图像较为柔和，但并不能突出表面苹果腐烂区域。

3）极差法。

极差法是通过计算R、G、B的最大值和最小值的差作为灰度值f，即：

该算法可以减少图像因为亮度不同所产生的影响，适合亮度差异较大的图像。

4）加权平均法。

根据R、G、B三个分量的重要性等指标赋予不同的权值然后加权平均化，即：

由于本文主要研究以红色为主的苹果样本，所以可以将上式简化为：

图4为上述4种方法得到的灰度图像，经过比较，本文选择加权平均法对图像进行处理。

图4 苹果灰度化图像

3.4 平滑空间滤波器

空间滤波可以到达去除高频噪点，图像边缘增强、线性增强以及去模糊等的效果，同时可以增强当前苹果灰度化图像，改善图像质量，在处理图像领域起着举足轻重的作用。

空间滤波器由一个邻域和对该邻域包围的像素执行的预定义操作组成。为了减少干扰信息，可以利用平滑空间滤波器对苹果灰度化图像进行平滑处理。常见的处理方法有以下两种：1）3×3均值滤波器是通过对当前点和周围8个点的灰度值平均计算，可消除突变点对图像信息的影响，但缺点是会模糊当前的图像；2）中值滤波器是将以图像中一个点及其周围8个点的灰度值进行排序，并将中值作为该点的灰度值[6]。

图5 图像空间滤波

从以上两种方法得出的结果可以看出，虽然采用中值滤波器处理得到的滤波效果不如均值滤波好，但是中值滤波方法不仅能去除噪点，还能够保持图像边界，所以本文的果实图像表面质量检测系统采用中值滤波方法。

3.5 苹果图像腐烂区域定位

通过实验观察发现，从苹果的外观来看，健康的苹果区域颜色饱和度较高，且R分量值远高于G分量值和B分量值，而腐烂的苹果区域颜色的饱和度会降低，直到病变为黑色。上述的灰度化处理采用R值灰度化，由于苹果腐烂时R值会变化，因此可以利用平均阈值分割的方法，将低于平均一定比例的定位出来，实现苹果腐烂区域的定位。

阈值分割算法通过将图像分为若干个小区域并计算该区域的平均灰度值，如果该区域平均灰度值小于阈值，则定位出该区域，说明该区域为腐烂区域。

3.5.1 图像的分割

本文采用图像分割的方法最终定位出水果的腐烂区域，具体步骤是：将若干个腐烂的区域与健康的区域分开，然后分别对这些小区域进行判别，确认是否为所研究的腐烂区域，最后将每一个符合要求区域的彩色图像进行输出[7]。

首先计算出整个苹果区域的平均灰度值T和每个小区域的灰度值t，以及整个苹果区域的平均方差值F和每个小区域的方差值f，由于苹果的健康区域的灰度值比腐烂区域的要高，所以通过比较T与t的大小，可以有效区分苹果的健康区域与腐烂区域。另外，苹果样本图像受场景亮度影响，所以本文采用通过给平均灰度值T加权的方法区分图像的区域。

根据预处理图像产生的结果，可以将灰度值为0的像素判断位于背景区域，即只需要计算非0区域的灰度值就可以得到苹果样本的平均灰度值T，再根据方差的定义，得出若干数据的变化幅度。由于预处理图像后仍然可能会存在噪声影响腐烂区域的判断，所以需要根据方差算法去掉灰度值变化较大的误判区域。具体方法是：将图像分为宽、高同时为10像素的若干个小区域，分别计算出这些小区域的平均灰度值t和方差f。

通过上述计算可以分别求出T、t、F、f的数值，经过比较，最后输出彩色的腐烂区域图像。当t＜T×0.6且f＜F时，判断该区域为腐烂区域，反之区域涂成白色，则可以输出消除背景后腐烂区域的彩色图像，如图6所示。

图6 腐烂区域图像

3.5.2 图像噪声消除

从图6中可以看出，图像中存在着不同大小的噪点，它们会影响苹果腐烂程度的信息，这噪点信息往往是不必要或多余的，即是图像噪声。这些噪声的存在严重影响了后续系统对苹果腐烂信息的判断，因此对图像进行腐烂区域定位处理之前，需采取一些方法来消除图像噪声。

1）腐蚀。

在形态学中，图像腐蚀不仅具有去除图像某些部分的作用，还可以将图像中两个物体分开。图像中目标X用结构元素S腐蚀的结果是：使S在X中平移（x,y）后S（x,y）仍在X中的(x,y)的集合。

2）膨胀。

膨胀是指图像的某些部分按照规律向外扩张，图像膨胀可以将分开的物体连接成一个。

X用S膨胀的结果是：使S平移(x,y)后S（x,y）与X的交集不为空的(x,y)的集合。

3）开闭运算。

开运算：先对图像进行腐蚀，然后膨胀其结果。

闭运算：先对图像进行膨胀，然后腐蚀其结果。

将开运算和闭运算相结合（先开后闭、先闭后开）可当成是一个噪声滤波器。

试验结果对比图如图7所示，可以看出非腐烂区域的噪声去除了。

图7 去噪后腐烂区域图像

4 总结

对苹果外观图像信息的研究，尤其是对腐烂的苹果区域进行定位，是苹果表面检测重要的内容，本文对苹果进行区域分割研究，重点研究苹果腐烂区域的定位的算法过程。