机器视觉在大蒜生产中的应用现状与研究进展

2023-11-27罗昌志李维华周进邸志峰向阳朱正波

农业装备与车辆工程 2023年11期

罗昌志，李维华，周进，邸志峰，向阳，朱正波

（1.250100 山东省济南市山东省农业机械科学研究院；2.255090 山东省淄博市山东理工大学农业工程与食品科学学院）

0 引言

大蒜作为我国重要的食品和有药用价值的作物，种植面积、产量均位居世界前列[1]。随着智慧农业[2]概念的提出，信息感知、定量决策、智能控制、精准投入等成为农业生产的新手段，大蒜生产方式开始从机械化向自动化、智能化的转变[3]。以机器视觉为代表的识别、检测技术大量应用在农业生产中，如何利用信息识别、检测手段分析大蒜图像，适用于大蒜生产并提供便利，是一项重要的课题。

机器视觉（Machine Vision，MV）是现代人工智能（Artificial Intelligence，AI）的分支，应用在农业生产领域已有50 多年的历史[4]。机器视觉结合机器学习（Machine Learning，ML）等技术，作为识别、检测、分析工具应用在农作物生产的全过程[5-6]，包括产前种苗筛选检测、定向精确播种，产中的病虫害识别预防、作物长势检测以及产后智能收获、果实采摘、食品加工等环节[7]。机器视觉相比传统人工、机械等检测手段，效率、精度方面有很大优势，利用机器视觉进行识别检测，可以大幅提高大蒜生产的自动化、精确化和自动化程度。我国机器视觉技术起步于20 世纪90 年代，在农业领域应用仅有20 多年时间，大蒜生产机器视觉相关设备的研究多处于实验室阶段[8-9]，但研究种类较为齐全。

本文深入分析机器视觉技术带动大蒜产业发展的潜力，论述机器视觉及相关技术发展现状，分析国内机器视觉技术在大蒜生产过程中的实际应用现状，梳理大蒜相关领域研究进展，为大蒜机器视觉设备与技术研究提供参考。

1 机器视觉概述

机器视觉的本质是利用机器代替人工视觉进行判断和测量[10]，是最常用的非接触检测方式之一。其原理是根据像素分布、亮度、颜色等信息提取被测物的特征[11]，通过拍摄装置将被测物体特征转换为数字信息，进而对被测物进行识别、检测、测量。机器视觉是多领域集成、交叉的技术，涉及机械、图像处理技术、计算机编程等领域，具有使用灵活、自动化程度和效率高等优势[12]，可作为高效的识别、分析工具应用在农业生产的各个环节。

1.1 机器视觉系统

机器视觉系统是机器视觉最基本的应用方式，典型的机器视觉系统从功能上大致分图像采集、图像分析、决策执行3 个部分[13-14]，如图1 所示。工作时，由图像采集部分采集、转换、传输目标图像，再利用图像分析软件和识别算法对图像进行处理，最后由决策执行部分根据图像处理结果进行相应的反馈和操作。

图像采集完成对图像的拍摄、数字转换、图像传输，传统的图像采集硬件包括光源、镜头、相机、图像采集卡等。核心部件相机决定了拍摄图像的清晰度、识别准确度，按芯片类型分为CCD 相机和CMOS 相机[15]；图像采集卡的功能是对相机输出图像数据的实时采集[16]，并为计算机及分析软件提供高速通道。近年来，光谱成像、热成像、激光成像等视觉传感器[17]在农业上广泛应用，彩色RGB、可见光-近红外光谱、3D 与热红外等图像成为图像分析的数据源，针对不同的农业作物及环节选择合适的图像采集手段才能发挥其优势，促进农业图像采集方式的发展。目前，传统的单目视觉、双目视觉系统由于稳定、高效、简单、成本低的优势，仍是农业上应用最广的图像采集手段[18]。

图像分析是机器视觉系统的核心，完成对目标图像的识别、分析，包括图像处理和算法分析[19]。传统的图像处理过程大致分为图像预处理、特征提取、分类识别。通过图像预处理将图像无关信息消除，最大限度简化图像，同时增强图像质量[20]；再对图像中被测目标和复杂背景进行分割，分割后对目标颜色、纹理、形状等进行特征提取，为了提高效率和准确率，一般视觉系统会增加特征优化环节，特征筛选并优化；最后分类器依据优化后的特征得出识别结果。识别、分类算法是研发人员的研究重点，随着机器学习的发展，深度学习（Deep Learning，DL）及人工神经网络（Artificial Neural Network，ANN）等技术、遗传算法、聚类算法等模式识别技术和算法大量应用在农业的图像识别、分析中[21]，通过组合识别对象底层特征，抽象表示高层的属性和特征，以更精确地分析识别对象。

决策执行是机器视觉系统的运作反馈部分，系统根据图像处理结果进行对应操作，如温室环境的控制、检测结果的界面显示、采摘机器人进行的摘取、果实分级中将不达标的果实剔除等，不同设备的功能决定设备对应的操作。

1.2 图像分割

图像分割是提取图像特征的关键步骤，其本质是根据不同像素信息将图像分为不同的特征区域。图像分割方法中最简单、最常用的是基于边缘的分割方法和基于阈值的分割方法，是最早研究的图像分割方法，具有原理简单、分割效果好且处理速度快等优点，仍是各领域常用的方法。基于边缘的分割方法[22]是通过图像像素点的差异寻找识别目标的边缘，具体就是图像的灰度、色彩、纹理中存在的不连续的像素位置，使用算子对其进行计算处理，得出分割结果，常见的边缘检测算子有Sobel、Prewitt、Roberts、Canny 等；基于阈值的分割方法是根据图像灰度值确定分割的阈值[23]，使目标图像和背景分离，此方法对于背景和目标图像颜色差异大的情况分割效果好，最常用的是单阈值法和双阈值法，蒜种的图像阈值分割如图2 所示。

图2 蒜种图像的阈值分割Fig.2 Threshold segmentation of garlic seed image

图像分割方法还有基于区域的分割方法、聚类分割、分水岭算法分割以及深度学习图像分割法等。其中深度学习对应的人工神经网络分割技术相对成熟，卷积神经网络（Convolutional Neural Networks，CNN）的分割方法[24]突破了传统机器视觉识别的流程，不再需要分类器频繁的对特征向量进行识别，通过前期大量的样本训练，自动提取目标特征，自动对图像的特征优化，通过多层特征转换，把图像变成更高层次、更抽象的表示，训练出特征鲜明的识别模型。以蒜种的识别检测为例，如图3 所示，前期训练可将蒜种的颜色、纹理、形状、大小、残缺等特征归类统一。设备工作时，识别蒜种特征后根据模型归类即可得出识别结果，其准确率远高于传统的识别方式。

图3 蒜种的CNN 技术路线Fig.3 Training process of CNN for garlic seeds

1.3 机器视觉软件

常用的机器视觉软件开发平台有OpenCV、HALCON、VisionPRO、Vision master 等[25]。代码型开发软件OpenCV 因为其开源、灵活的特点被众多研究者喜爱。刘星星等[26]利用OpenCV 对白葡萄干进行色泽识别，设计一套可实时、多通道处理葡萄干的设备；刘立强等[27]基于OpenCV 的开源库提出一种除草机器人的识别方法，可对杂草、作物植株实时定位；王玉飞等[28]利用MATLAB软件和OpenCV 函数库提取番茄的3 个形状特征和5 个纹理特征，双目机器视觉系统进行图像采集，构建番茄的识别模型，设计番茄识别的平台软件。OpenCV 提供了C++、Python、Java 等主流编程语言的接口，支持Windows、Linux、Android、MacOS 等操作系统，其函数库很多通用算法可以直接调用[29]，OpenCV 模块如图4 所示[30]。

图4 OpenCV 模块示意图Fig.4 Schematic diagram of OpenCV module

2 大蒜生产环节机器视觉的研究进展

2.1 蒜种检测与直立播种

大蒜种植的农艺要求鳞芽朝上、根部向下、直立播种[31]。机器视觉的蒜种识别研究多通过蒜种鳞芽与根部的差异对蒜种朝向进行识别。杜云等[32]利用Canny 算子对蒜种轮廓进行提取，设计出蒜种品质无损分级的办法；郭英芳等[33]运用Canny 边缘检测算法对蒜种轮廓进行提取，并使用SUSAN交点检测法对蒜种朝向进行识别；杨清明等[34]对蒜瓣图像进行转换、分割，开发出基于形态学的蒜瓣朝向识别模型；吴献等[35]采用一种观测窗的方法识别定位蒜瓣的尖角位置，并根据质心位置确定蒜瓣的偏角。依据外形轮廓虽然可以快速高效识别蒜种，但对形状不规则的杂交大蒜识别效果较差，利用深度学习进行样本训练，可解决这方面问题。方春等[36]利用深度学习的卷积神经网络训练1 700张蒜种图片，提取蒜种特征并组合高维度逻辑特征，提出蒜种朝向识别的新方法；曹金凤等[37]提出基于卷积神经网络和支持向量机的分类优化改进算法，实现蒜种鳞芽的自动识别与修正。

国内大蒜机械式单粒精播播种机存在杂交大蒜播种效果不理想的情况，机械结构改进相对困难，利用机器视觉判断则可轻松解决问题。大蒜直立机械式播种装置对蒜种体态调整，再利用机器视觉判断蒜种形态，矫正蒜种状态。李玉华等[38-39]设计了基于Jetson Nano 处理器的大蒜鳞芽调整装置，通过双卷积神经网络模型判断大蒜鳞芽朝向，并通过Y 型料斗对大蒜进行形态调整；侯加林等[40]提出基于双侧图像识别的蒜种鳞芽正芽方法，设计正芽试验台，实现蒜种单粒取种、鳞芽方向识别、鳞芽扶正等功能，扶正率为90.56%。

2.2 大蒜病虫害与生长信息监测

机器视觉相较人眼更容易发现大蒜生长中的细微变化，判断其是否健康。研究者通过植株图像的变化判断其是否缺少微量元素，预测病虫害。复杂背景下大蒜病虫害图像的分割识别需结合多种方法；张博等[41]将多种害虫的样本进行识别，利用金字塔池化与深度卷积神经网络设计出一种农作物害虫种类识别算法，有效识别体型较小害虫，识别率达88.07%；孙俊等[42]利用多通道卷积神经网络模型的机器视觉系统对复杂背景下的甜菜和杂草进行区分，此方法亦可用于大蒜的杂草识别；曹乐平[43]分析了国内外机器视觉作物病虫害研究，得出需多方法结合监测才能提高准确率，这对大蒜病虫害监测有一定参考意义。

作物生长监测和病虫害监测在识别方法上相似，不同的是生长监测只需提取作物各时期的形态特征，而病虫害监测往往需要提取每种病虫害特征。江晓庆等[44]使用游戏设备Kinect，实时监测农作物长势形态图像，设计作物长势算法，可准确获取后期的三维图像数据，用于长势分析；韩文霆等[45]研究了作物图像，总结出一种作物长势识别方法；李晨阳[46]采集大蒜生长期图像，利用卷积神经网络模型提取大蒜各生长时期的特征，对大蒜生长周期识别的综合准确率为97.02%；马战林等[47]利用遥感影像数据提取大蒜的种植面积，构建了大蒜种植面积模型；刘正春等[48]以山西3 个县的作物为对象，用四维变量、集合卡尔曼滤波同化算法对作物遥感图像的叶面积指数进行推演，得出各作物的估产模型。作物生长监测必须依托对应的农业设施，利用固定的传感器获取作物的信息，因此前期投入较大，监测系统稳定性较强。

2.3 收获大蒜的切根和分级

传统方式收获大蒜需要大量人工或半机械筛选、切须、分级，大蒜分级靠主观判断，蒜须处理质量参差不齐。借助机器视觉技术判断大蒜等级、根须位置，相比纯机械式切割装置精度更高、伤蒜率更低。杨柯等[49]设计了基于卷积神经网络的大蒜切根试验台，如图5 所示，用单目视觉系统进行图像采集，用深度卷积神经网络训练模型判断根部的切入位置，调整双圆盘切根刀完成切根操作，得到检测时间为0.088 7 s，切根合格率为95.33%；赵丽清等[50]通过GUI 编程开发大蒜根须切除机器视觉软件，实现大蒜根须自动精确定位；宋伟等[51]以蒜头最大横截面直径为分级标准，利用VC6.0 进行算法编程，对蒜头总体筛选的精度达90.937%；Thuyet 等[52]利用卷积神经网络算法设计出评估大蒜根部修剪状况的模型，将大蒜分为3 类，可实时分类，准确率达96%。

图5 深度学习的大蒜切根装置Fig.5 Garlic root cutting device for deep learning

3 机器视觉在大蒜生产中的制约因素

机器视觉拍摄大蒜图像时容易受到外界环境变化影响，光照强度变化、光照不均、风速变化大等可能会使拍摄的图像模糊、失真，导致机器视觉的特征提取存在障碍，影响机器视觉的稳定性、准确性；同时机器视觉也受到自身硬件性能、图像分析算法准确度、网络传输速度的影响。机器视觉通常实时反馈结果，如果视觉使用复杂的深度学习算法，设备性能较差，图像采集速度、处理速度慢，导致系统无法应用于大蒜生产。机器视觉系统需要针对大蒜每个生产过程单独开发，对不同品种、形态的大蒜，识别检测效果可能存在差距，不能开发通用视觉系统，因此造成成本过高的情况。降低外界环境影响、升级机器视觉设备、提高识别算法性能是提高机器视觉系统可靠性的关键。