机器视觉技术在农产品色选机上的应用

2021-01-03宋骋

科技创新与应用 2021年18期

宋骋

（天杭办公耗材（杭州）有限公司，浙江杭州 311100）

近年来，随着机器视觉理论的不断完善和图像识别技术的发展，基于机器视觉的农作物分拣技术也得到了迅猛发展，已广泛用于水稻、红枣、辣椒、苹果、西红柿、西瓜、大蒜、玉米、花生、大豆、茶、坚果等农作物的预加工分拣，这给人们的生产和生活带来了极大的便利。随着图像处理算法的日益成熟，色选机在识别率及速度上的提高取得飞速进步，将机器视觉算法应用于农产品的分拣工作已经成为近几年研究的热门问题。色选机是集光、机、电等科学技术于一体的农产品快速分选设备，是保证食品品质及安全的重要设备。使用色选机代替手工劳作并消除人为因素的干扰，不仅可以提高生产效率，而且可以降低生产成本。色选机主要原理是基于农/副产品各种光学特性来检测材料中的异常颜色或表面缺陷和杂质，并自动对其进行分类和挑选去除[1-2]。而在合格产品与残次品品相相似的情况下，传统的筛选则难以实现，色选机具备明显优势[3-4]。

1 机器视觉算法在色选机上的应用

1.1 基于RGB数值变化

基于RGB的数值变化可对农作物表皮的颜色进行评级，基于计算机视觉系统具备以下优势：提供一种自动、客观的方式来实现更一致、更准确的颜色评级，改进当前果实的颜色与标准色表之间的手动比较，这既费力又主观。该系统成功地使用了照相机时代的灰度来减少户外色彩等级中的两个主要障碍的影响：（1）环境光线不一致；（2）产品表皮（如樱桃）有明显的反光[5]。

为了有效地消除反光，该算法实施了两步过程：（1）使用颜色评级区域的绿色通道（在RGB颜色模型中）检测出反光的像素；（2）消除了图像颜色等级区域中检测到的像素。优质的樱桃表面的皮肤颜色相对均匀。如果没有明显的反光，则额定区域的红色、绿色和蓝色的直方图应接近对称分布。从统计上讲，对称性可以描述为直方图的平均值μ和中位数Md相等。当出现明显的反光时，这些直方图的分布将向右偏斜μ＞Md，因为这种反光通常比樱桃皮的颜色要亮得多，该消除眩光的算法首先将搜索一个阈值以区分原始肤色和反光区域。该算法将计算并比较绿色通道中获得的直方图的μ和Md值。如果μ＞Md，则图像中将出现明显的反光。然后，该算法将通过以μ为增量尝试从μ到255的值来启动搜索循环以找到阈值T。在每个循环中，该算法将重新计算直方图分布的均值μ’和中值Md’从0到T。将重复该过程，直到最终阈值Tf满足关系μ’≤Md’。绿色值大于阈值Tf的所有像素都代表水果表面上的耀眼反光，并且图像处理软件会使用白色填充空间，从选定的评级区域中删除那些反光像素。

1.2 基于RGB、HSV、CIELab3种颜色模式

常规的色选机被广泛用于按颜色区分谷物[5-6]、坚果和其他产品，但它们不具有空间分辨率或图像处理能力来检测籽粒上的小斑点，即无法检测出内核上的单个斑点或多个斑点且准确度较低[7]。基于RGB、HSV、CIELab这3种颜色信息的视觉系统算法，使用颜色信息来帮助农作物上的斑点与其他较暗区域分开从而可实现检测和去除具有较小局部瑕疵或缺陷的单个谷粒。基于高像素图像传感器使用色彩Bayer滤光片来感测不同像素上的红色R，绿色G和蓝色B三原色的值。像素数据在图像传感器芯片上被数字化，并在不插值色彩的情况下传输到FPGA[8]。当从图像传感器接收到每个像素时，它将进入缓冲区，并且当前像素位置正上方两行的像素数据将由缓冲区输出。这些缓冲器的输出和当前像素数据随后被输入到三个旋转存储变量中，形成3×3像素阵列。颜色插值是使用相邻像素的颜色为图像中所有像素计算R，G和B像素值的三元组的过程。这个过程可能涉及大量的像素和数值运算。为了最大程度地减少计算量，3×3阵列的中心像素仅用作RGB的颜色之一，在G像素居中的情况下，两个相邻R像素的平均值和两个相邻B像素的平均值用于完成RGB三元组。通过将像素值相加并随后右移1位以获得平均值来计算平均值。

首先对爆米花仁的图像进行彩色插值，并以BMP格式保存以进行离线（off-line）分析，从而开发出用于检测受损内核的图像处理算法。进行的第一个离线分析是将蓝眼受损区域与内核的其他部分区分开，在Adobe Photoshop中打开每个保存的内核图像，并在蓝眼区域（如果存在）中记录10个像素的RGB值，在内核的其他区域中记录20个像素的RGB值，R值与蓝眼区域相似。由于内核表面起伏不定，其他区域通常位于内核边缘附近或有阴影的区域。在未损坏的内核上，从散布在内核周围的30个像素记录边缘和阴影区域的RGB值。将所有像素的RGB值转换为色相，饱和度和值（HSV）和CIELab颜色值。另外，计算每个像素的三个颜色值（R-G，R-B和G-B）中的两个之间的差。所有计算出的颜色值和RGB值以及它们与蓝眼受损区域，阴影或内核其他部分的关联均保存在电子表格中。使用逐步判别选择单个最佳颜色值，以区分蓝眼区域中的像素与内核上的其他区域。逐步过程选择饱和度作为区分内核其他区域的蓝眼睛像素的最佳功能，并选择R-B区分阴影的蓝眼睛区域。文献[9]中列出了蓝眼受损内核的彩色图像和仅显示HSV图像饱和度分量的图像。接下来，处理饱和度图像以提取指示蓝眼损伤的斑点，细菌和顶盖区域的饱和度较高，而蓝眼区域的饱和度较低。靠近内核边缘的部分可以具有与蓝眼区域相似的饱和度[9]。

1.3 基于色度和R-B分量

基于色度和R-B成分农作物图像识别原理[10]，对采集的图像数据进行对比度自适应直方图平均化，然后对处理后的图像进行中值滤波。以灰度带比例作为西瓜子分类特征值，用色选机进行特征量分类训练，将非正常的西瓜子进行特征识别，实现分拣工作。预处理算法：首先用高斯滤波器对灰度图像进行噪声去除，去除污渍小的区域后，对噪声去除后的灰度图像进行对比度自适应直方图平均化、二值化处理，中值滤波；设定灰度带比例特征：提取正常瓜子的轮廓（例如canny算子法），定义单粒瓜子外轮区域为s，定义内外轮的区域为S1，S-S1为中部灰质区域为S2，比例值K=S2/S1；使用边界跟踪求出对象区域的轮廓点，并且根据各轮廓点的跟踪方向信息，计算出轮廓内画像素总数的和以计算目标区域的面积。该方法的识别速度为1.2t/h，准确率为95%。

1.4 结合HSI空间的FCM算法

HSI（Hue，Saturation，Intensity）是以色度、饱和度、强度这三个特征来感知不同色彩的，最为直观地反映了人类的对色觉感知。其中日常生活中见到的白、黄、青、绿、红、蓝、黑等宏观颜色就是色度；而饱和度通常是指颜色的纯度，用来表达颜色的鲜艳程度，颜色越鲜艳亮丽，则饱和度越高。

H、S分类可以用于识别彩色图像，而强度与图像的灰度相对应，反映了颜色的亮度。HSV颜色空间中的H、S分量与HSI中的H、S分量一致，V分量（Value）表示亮度。由于HSI和HSV更适合人类的直接视觉感官，它们并不特别适合机器对图像的感知，所以一般将颜色从RGB空间域转换为HSI和HSV空间域，进行图像处理后，转换为RGB空间域进行显示。模糊聚类算法扩展了隶属度的可能范围，具有强大的图像分割能力，目标函数的模糊聚类算法主要包括：模糊c均值聚类算法（即FCM、Fuzzy c means algorithm）和可能性c均值聚类算法。在实际的使用中，我们需要将图像处理空间由RGB空间转换到HSI空间中，此时需要处理的图像就不再是灰度域的图像，而特征空间也变成了三维，而此时结合了HSI空间后，聚类中心也变成了三个，在此为了算法的实现，本文中选取了欧氏距离，统一了三维空间中的聚类距离dij。

基于FCM的图像识别算法具体流程：首先是读取大米图像的RGB信息，由RGB空间向HSI空间转换，得到大米图像在HSI空间下的H、S、I分量图，并将其合成在HSI空间中大米图像，通过FCM算法去除背景后，进行大米边缘提取，最终可提取出大米图像中的异色米粒信息，该方法的实现是将杂质归于异色米粒一类中，从而实现大米图像中杂质。

1.5 基于神经网络算法

卷积神经网络（Convolutional Neural Network，CNN）已广泛应用于图像识别领域，相比于传统的基于颜色值的图像分类算法，是一种经典的深度学习方法。基于深度学习的图像分类算法不仅准确率高、速度快，而且对于颜色丰富、形状不一的复杂物料的筛选具有明显的优势。一方面，通过选用L2范数正则化、指数衰减法和滑动平均模型的方法优化卷积神经网络，以提高分类的准确性；另一方面，通过简化神经网络的结构，来降低计算量，从而实时性大为提高。在挑选出破损的农作物的过程，基于卷积神经网络的图像识别算法构建基本流程为：数据采集及预处理，卷积神经网络的建立，评价指标。算法优化过程为：L2范数正则化，指数衰减，滑动平均模型，神经网络的结构简化。