双目视觉技术在农业监测中的应用现状及展望

2022-01-10鞠执一邓干然李旭荣何冯光李国杰

现代农业装备 2021年6期

鞠执一，邓干然，李旭荣，李玲，何冯光，李国杰

（1.华中农业大学工学院，湖北武汉 430070；2.中国热带农业科学院农业机械研究所，广东湛江 524091；3.农业农村部热带作物农业装备重点实验室，广东湛江 524091）

0 引言

随着我国农业技术水平的发展，农业生产正在向信息化和智能化方向发展[1]。为了实现智慧农业，应对农产品进行实时监控，这就需要把农产品从复杂的生产环境中识别出来。双目视觉作为一种可以模拟人类视觉的视觉系统，可以拍摄景深图像（RGB-D 图像），其生成的文件不仅可以得到目标物的色彩图像（RGB 图像），而且可以得到目标物空间位置的立体图像（D 图像），从而为后续的生产活动提供精准的数据。因此，双目视觉技术已经越来越多的在农业生产当中使用[2]。

较传统的人工识别手段，双目视觉技术使用成本低，可持续工作时间长。科研人员可以根据不同的使用场景，配套不同的机构，从而实现不同的功能[3]。

1 国内外研究现状

目前，根据不同的农产品的实际使用需求，国内外对双目视觉技术进行了很多研究。这些研究成果可以帮助生产者及时获取农产品的生产信息，减少农业生产中的劳动力使用，增加农产品的产量。

1.1 成熟果蔬识别与定位

在传统的农业生产当中，尤其在农产品日常管理阶段（如施肥、喷洒农药等）和收获阶段需要大量的劳动力。由于人工作业的局限性，易造成田间信息采集的延后，从而延误了对农产品的管理或已成熟农产品的采摘，导致减产，最终影响经济收益。针对这些问题，国内外的科研工作者利用双目视觉技术提出了很多解决方案。经过近些年的研究，通过双目系统可以随时获取农业生产中的视觉信息，为生产活动提供及时的数据反馈，从而让管理人员可以及时作出反应。其工作流程图如图1 所示。

李元强等[4]利用双目视觉技术设计了一种葡萄识别与定位系统，其特点是可以消除不同光照强度和葡萄果穗重叠对识别定位精确度的影响，并利用双目相机视差获得深度图进行葡萄定位，试验表明，在识别范围在80～150 cm 时，其定位误差小于1%；识别范围在150～300 cm 时，其定位误差不超过2%，准确率可达85.4%。

陈燕等[5]利用双目视觉技术设计的荔枝采摘机器人，其特点是通过神经网络学习提高荔枝的识别与定位精度。其在预定位距离为3 m 时，最大误差为36.6 mm，最大误差率为0.84%，并且处理速度可以达到22 帧/s。在识别精度与识别速度上都能满足实际生产中荔枝视觉预定位要求，提高机器人的采摘效率。

LEHNERT 等[6]设计了一种基于双目视觉的甜辣椒采摘系统，使用Kinect 双目视觉技术采集甜椒的信息之后，通过最小二乘法和超椭球拟合优化处理图形，识别出成熟甜椒。其最大特点是在仅得到部分甜椒空间数据的情况下，通过超椭球拟合优化算法可以补全甜椒的空间数据，如图2 所示红色部分为识别出的甜辣椒，蓝色部分为算法补全的甜辣椒空间数据，在视角有30°干扰时，识别率可达80%。

图2 超椭圆模型拟合结果

1.2 农作物长势监测

农作物的生长过程中几何形态的变化数据可以直接反应其生长情况，同时也对农作物的产量和品质预测有非常重要的指导意义。传统的人工测量效率低下，甚至可能对农作物的正常生长造成影响。为了克服这些缺点，科研工作者开始将双目视觉技术应用到农作物的生长监测当中[7-8]。

陈冉[9]根据双目视觉技术设计了一款绿叶植物的几何形态监测软件，可以对绿色植物的叶片进行多方位监测，并建立三维模型，用来获取叶片的角度、面积等信息，用来分析植物生长情况，方便管理。与传统方法相比该软件不会干扰植株的正常生长，并且可以得到连续的数据。与传统的投影面积法相比其建模最大误差较小，最大误差为10%。

殷悦等[10]根据双目视觉技术设计了一款拟南芥三维重建系统，通过图像预处理后使用SURF 特征检测算法和SIFT 特征匹配算法对拟南芥进行建模，其原理图如图3 所示，可利于后期拟南芥功能研究和植保机械研究等。其单次建模时间为30 s，最大误差为5%。

图3 拟南芥图像采集双目立体视觉系统原理框图

FAN Y 等[11]设计了一种使用双目视觉系统的树木监测系统，可以通过得到的树木高度和树径数据分析树木长势。其特点是使用手机端进行测量控制和使用量增强现实技术（Augmented Reality），不仅大大增加了监测时的便携性，而且可以让观察者直观地判断观察的准确性。其树高测量误差为1.08%，树径测量误差为1.78%。

1.3 牲畜长势和行为监测

近些年来，我国的畜牧养殖行业有了飞速的发展，为了提高养殖的管理水平，笼养和圈养的动物越来越多。但是对其健康和体态的监测，还是主要通过人工场地巡视，如果不能及时发现患病或死亡的牲畜，可能造成其他健康的牲畜感染，影响正常的生产活动。因此，科研工作者将双目视觉系统用于牲畜的日常监测。

肖林芳[12]根据双目识别技术设计了一种监测蛋鸡饮水和觅食行为的系统，用来反馈蛋鸡的健康状况，其工作原理如图4 所示。在蛋鸡图像采集之后，系统对蛋鸡的身体和头部分别识别，可以对多只蛋鸡在同一笼的情况下，对每一只蛋鸡分别统计其饮水和觅食情况。其采样率可达到25 fps，识别率为93%。

图4 笼养蛋鸡行为感知示意图

申云辉[13]设计了一种基于双目视觉技术的羊体尺寸实时监测系统，在图像预处理之后，将羊体关键点的数据信息导入到Matlab 中处理，得到羊体尺寸，从而分析羊的生长发育状况。可以防止因人工测量造成的应激反应，与手工测量相比，最大相对误差为2.5%。

NAKARMI 等[14]设计了一种基于双目视觉技术和射频雷达的圈养鸡饲养监测系统，将双目镜头安装在鸡舍的顶部，并且在每只鸡的腿部安装有20 根微型天线的被动射频芯片，通过该系统自动跟踪记录每只鸡的生长状况和活动轨迹，记录准确率为95%。

1.4 田间昆虫监测

随着农业生产的不断发展，研究昆虫这种对农业活动有重要影响的物种的重要性愈发明显。例如对昆虫授粉行为的研究可以提高农产品的产量，对昆虫物理或化学特性的研究可以减少昆虫对农产品的危害[15]。传统的昆虫行为研究方法主要依靠人工，效率低下，而且不能获得精确的运动轨迹和运动参数。因此科研人员开始使用双目视觉对昆虫进行相关研究。

王文周[16]根据双目识别技术设计了一种水稻害虫的定向施药机器人，样机如图5 所示。在双目视觉视同识别和定位水稻害虫之后，将害虫空间坐标传递给施药机构，实现精确给药，显著减少农药的使用，提高产品的安全性。该机器人施药精度角度误差为±1°，距离误差最大不超过20 mm。

图5 喷药机器人样机

李天宝等[17]使用Hirox RH-2000 双目摄像机构建了一套显微摄像系统。该系统拥有160 倍放大镜头，可以在一次拍摄中对昆虫进行360°拍摄。针对昆虫不同部位需要的放大倍数不同的问题，该系统可以将不同倍数下的立体照片进行拼接合成一个完整的立体图像。但是该系统对于鞘翅目昆虫进行拍摄时会受到该类昆虫引起的反光干扰。

GUO Y[18]利用双目视觉技术设计了一种捕捉菜粉蝶运动轨迹获取技术，可以对快速飞行菜粉蝶进行追踪，精确获得菜粉蝶的运动轨迹与运动参数，统计其数量；并根据上述数据，适量地使用农药，达到减轻虫害的效果。该技术识别速度可达60 帧/s，对菜粉蝶最大的识别速度为0.68 m/s，可识别的最大加速度为12 m/s2，最大相对误差为3.44%。

1.5 农产品分级

为便于运输、加工和售卖，果蔬等往往需要经过分级，按照不同的品质进行处理。传统的人工分拣方式往往仅凭工人的经验，缺少统一的标准。为了能增加果蔬识别的效率和准确性，科研工作者将双目视觉技术使用在果蔬分级当中。

孔霄[19]使用双目视觉技术设计了一种马铃薯快速无损分级技术，使用BM 算法在OpenCV 下获取马铃薯表面信息和尺寸信息，采样信息点达到3.4×105个，然后根据相应行业标准对马铃薯进行自动分级。其分选模块示意图如图6 所示。

图6 分选模块运行示意图

童旭[20]使用双目视觉技术设计了一种水果表面缺陷检测技术，利用优化后的BP 神经网络对水果进行表面质量检测，根据结果对水果进行分级。与其他研究相比，该技术不仅研究了水果的表面缺陷，而且对缺陷的形状等进行了研究，可以提升分级精确度，减少人工分级中的不确定性，客观性更强；使用的优化BP 神经网络比普通BP 神经网络识别率提高14%，达到94%。

NISHI T 等[21]基于双目视觉技术设计了一种果蔬分级系统，该系统为了提高运算效率，降低了对硬件处理能力的要求：首先对图片进行压缩，将图片压缩为50×50 像素，再进行识别，识别率为98.1%。

1.6 无人设备路径规划

目前智能农机的发展趋势是无人化作业，在这种情况下无人农机必须装配实时的路径规划和障碍物检测系统以保证无人农机作业的安全性和效率。因此，国内外科研人员利用双目视觉技术进行了大量的研究[22-23]。

张礼帅[24]根据双目识别技术设计了一种履带式无人喷药机路径规划系统，可以实现无人喷药机在果园中自主施药作业，并且对行人和其他障碍物进行规避，可以实现果园环境下行人和障碍物的检测，为无人喷雾机的避障决策提供实时依据。其障碍物检测流程如图7 所示。该系统提高了无人机喷药作业效率，减少了农药对工作人员的健康危害，检测速度达到62.50 帧/s，在Z 方向上的相对误差为1.64%，X 方向的相对误差为1.83%。

图7 双目视觉障碍物检测流程图

程曦[25]利用双目识别技术设计了一种植保无人机环境感知系统，使用立体匹配算法和边缘特征加强算法，可以准确识别并躲避电线杆等障碍物。其对探测范围内尺寸在100 mm 以上物体的探测误差小于3%。

AGHI D[26]设计了一款基于双目视觉技术的葡萄园导航系统，应用D435i 并提供1 080 p 的高清画面，使用高性能的处理器足以支持CNN 卷积神经网络学习光线对路径规划的影响。该系统内置防碰撞系统，系统发现与障碍物距离过近时会紧急停止，在葡萄园中的运行精度可达94%。

2 存在的问题

不同双目视觉识别与定位技术都有其适合的使用环境，同时也受其所处环境的影响。即使是针对同种的应用场景，也会受到诸多因素的影响。

2.1 光照

双目视觉技术和其他视觉系统一样，容易受到光源和光照强度影响。适当的光源可以使目标区域得到加强或减少背景的干扰，减少目标区域和背景区域之间边缘部位的干扰，让目标物更容易被提取出来[27]。

因此如果目标物在自然条件下使用就需要系统根据使用时候的阳光条件进行设置，如果目标物在室内环境条件下使用就可以选择合适的光照条件。目标物在不同光照条件和背景条件下又有着不同的识别特点，这就需要科研工作者进行进一步的研究[28]。

2.2 硬件性能不足

目前，双目视觉技术的硬件选择余地比较小。尤其是针对农业生产环境的双目摄像头还没有相关企业进行生产。对知网已经发布的有关农业的双目视觉系统统计发现，有90%的研究者要选用英特尔公司生产真实感系列摄像头（Intel Realsence）和微软公司的动态连接系列摄像头（Microsoft Kinect）。这两个系列的摄像头共同的缺点是其拍摄普通图片的视场角均大于其拍摄立体图片时候的视场角，这使得其部分图像区域提供的信息无法准确定位。

其中真实感系列摄像头部分使用卷帘快门技术，该技术只适合在低帧率条件下使用。而动态连接摄像头主要是为室内体感游戏研发，将其适配到农业生产当中需要研究者进行单独适配[29-30]。因此，适用于农业的双目视觉硬件有待开发。

2.3 软件设计不足

目前双目视觉识别算法在使用中仍有不足，例如容易受到复杂环境的影响，一种算法只能识别特定的目标物，双目识别算法的成功率和准确度有待提升等问题。尤其是双目视觉系统往往需要加装其他机构，如果识别过慢和定位精度不足，将无法为其他机构提供可靠的数据，双目识别技术的算法有待加强[31]。

3 发展趋势

3.1 多目摄像

双目摄像头由于视角的限制，无法获得足够的图像和空间信息。目前已有科研工作者开始研究三目甚至四目视觉系统。郑伟峰等[32]设计了一种四目视觉定位方法，其视场角可达360°，信息获取能力比一般的双目相机高很多。该四目视觉系统任意2个摄像头可构成1 个双目系统，对同一个点可以得到6 组测量数据，然后将其求均值得出最终结果，大大提高了测量的定位精确度。

3.2 其他硬件

因为双目视觉系统在某些情况下无法工作，一些科研工作者开展了与其他硬件同时使用或联合使用的研究。马芳武等[33]设计了一种基于激光雷达和双目相机的障碍物识别方法，这两种技术有各自的使用场景，联合使用解决了双目视觉技术在低光条件下定位精度不足和激光雷达在高光条件下定位精度不足的问题，大大增加了适用场景。

3.3 神经网络

双目识别系统在使用之前需要人为对目标物进行标定，设置识别参数。识别参数范围过大，会使识别的范围扩大，将某些并不符合标准的目标物识别出来。反之，识别参数范围过小，会使识别的范围缩小，将某些符合标准的识别物漏掉。因此，科研工作者开始进行神经网络与双目视觉系统联合使用的研究。郭思琦[34]设计的基于神经网络和双目视觉的苹果识别与定位系统，使用卷积神经网络CNN后，在低遮挡的情况下匹配精确度达到97.8%,在部分遮挡的情况下匹配精确度达到96.8%。大大提高了对苹果的识别率。