深度学习在蜜蜂研究中的应用

孙逸飞,丁桂玲,路运才,刘振虎,黄家兴*

(1. 黑龙江大学现代农业与生态环境学院,哈尔滨 150006;2. 中国农业科学院蜜蜂研究所,资源昆虫高效养殖与利用全国重点实验室,北京 100093;3. 中国农业科学院蜜蜂研究所,农业农村部授粉昆虫生物学重点实验室,北京 100093)

蜜蜂是一类重要的传粉昆虫,为多种虫媒植物的主要传粉者,对维持生态系统的平衡起着重要作用(Huang and An, 2018; Bjergeetal., 2019)。全球气候的急剧变化以及人类行为的干预,导致蜜蜂栖息环境逐渐恶化,栖息地丧失或呈碎片化(Xuetal.,2021)。环境污染、病虫害等问题也给养蜂业的发展带来了巨大挑战。因此,保护蜜蜂,维持养蜂业可持续发展迫在眉睫。而传统养蜂业生产效率低,蜂农缺乏专业养蜂技术培训,不利于大规模养蜂管理。随着现代技术与传统养蜂业的不断融合,研究人员利用射频识别(Radio Frequency Identification,RFID)、光电传感器、红外传感器、物联网(Internet of Things,IoT)和逻辑回归、支持向量机(Support Vector Machine, SVM)、深度学习(Deep Learning, DL)等机器学习(Machine Learning, ML)方法对蜂群行为进行监测(Heidingeretal.,2014; Jiangetal.,2016; Bragaetal.,2020; Voudiotisetal.,2021),代替了传统养蜂业中大量重复、低效的劳动,提高了对蜂群信息数据的获取和处理能力。

随着精准养蜂(Precise beekeeping, PB)概念的提出,基于人工智能大数据的养蜂系统逐渐开发,极大的促进了养蜂业的数字化与智能化(Zhangetal.,2021; Hadjuretal.,2022)。深度学习作为人工智能的一种新的研究方向,具有多种优势,如特征提取能力强,学习能力强,适应性、可迁移性强(Wainbergetal.,2018),能够实现端到端的学习等,在生物图像分类(Affonsoetal.,2017)、计算机视觉(Abbasetal.,2019)、语音识别(Nodaetal.,2015)、自然语言处理(Collobertetal.,2011)、医疗检测(Loh and Then,2017)、人脸识别(Taigmanetal.,2014)、遥感(Yuetal.,2017)等许多领域发挥着重要的作用。同时,深度学习技术在蜜蜂领域的应用研究中也得到了快速的发展,取得了许多突出的研究成果。

目前,在蜜蜂领域,利用深度学习技术可以轻松的识别携带花粉的蜜蜂、区分蜜蜂的不同亚种、对出入蜂箱的蜜蜂计数、对蜂群异常情况以及蜂巢内部蜜蜂健康和蜂群崩溃失调等问题进行检测。随着深度学习技术应用于蜜蜂领域的研究成果不断涌现,研究人员在现有网络模型的基础上,通过数据预处理、参数优化和网络模型对比与开发等方式,不断提高深度学习网络模型的识别准确率与检测效率,为实现智能化养蜂提供了可能。本文针对深度学习技术在蜜蜂领域中的不同应用,尤其是在蜜蜂的物种识别、行为跟踪监测、蜂群健康监测和蜂巢监测等方面,通过对相关研究进展和成果进行梳理和总结分析,为深度学习技术在蜜蜂领域的进一步发展提供重要参考。

1 深度学习概述

在人工智能领域中,深度学习是研究的重点,其开端可以追溯到2006年,Hinton等人(2006)提出深度学习的概念,它是由输入层(Input Layer)、隐藏层(Hidden Layer)和输出层(Output Layer)组成的多层结构神经网络,使用多阶段非线性信息处理单元处理复杂的非线性问题,能更抽象、更深层次的描述物体的属性和特征,进而实现特征学习和模式分类(LeCunetal.,2015; Schmidhuber, 2015)。典型的深度学习模型有卷积神经网络(Convolutional Neural Network, CNN)、深度置信网络(Deep Belief Network, DBN)和递归神经网络(Recurrent Neural Networks, RNN)等。随着卷积神经网络的不断改进,基于CNN的AlexNet、VGGNet、ResNet(深度残差网络)、R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN等网络的出现显著提升了深度学习效果,使深度学习技术更好的应用于计算机视觉和语音识别等相关研究(图1)。

图1 CNN的发展历程(改自曹家乐等, 2022)

深度学习的过程由训练阶段和测试阶段组成(如图2所示),训练阶段的主要目的是利用大量标注训练数据集进行检测网络的参数学习,基于训练阶段学习的检测网络,在测试阶段输出给定图像中存在物体的类别以及位置信息(Caoetal., 2022)。

图2 以SSD网络结构为例的深度学习检测方法基本架构

2 物种分类与识别

物种分类是基于深度学习技术的计算机视觉常见应用。目前,深度学习技术基于蜜蜂形态测定法(Ruttner, 1988; Andereetal., 2008),通过对蜜蜂前翅翅脉角的特征和个体蜜蜂形态的识别,对蜜蜂亚种以及不同种属蜜蜂如熊蜂、无刺蜂等进行识别与分类。深度学习在蜜蜂物种分类与识别的应用,不依赖于已知特征集的输入,而是通过模型训练从一组标记图像中学习,开发用于物种识别的特征集。这种方式弥补了传统鉴定过程耗时和对采集样本的消耗等不足(Drew, 2011; Portmanetal., 2020),促进了蜜蜂物种多样性和蜜蜂物种地理分布的进一步研究。与此同时,基于深度学习的蜜蜂自动识别软件和监测系统也迅速发展(Nawrockaetal., 2018; Buschbacheretal., 2020)。

深度学习自我学习辨别特征集的能力,适用于蜜蜂物种的分类与识别,研究人员训练不同的网络模型,评估深度学习从图像中识别蜜蜂物种的潜力,不断提升检测的准确率和检测速度。Liu等(2021)利用经过两次卷积与池化的浅层卷积神经网络(Convolutional Neural Networks, CNN),使用二元交叉熵(Binary Cross Entropy, BCE)损失函数,对亚洲地区的熊蜂和胡蜂种类进行图像检测,精度达到99.55%。Mohd-Isa等(2019)使用区域候选网络(Region Proposal Network, RPN)生成候选检测框的Faster R-CNN网络对马来西亚的无刺蜂种类进行检测,准确率达到73.75%,但由于无刺蜂较小且与背景对比不强烈,使检测较为困难。Cai等(2021)使用包含RPN的Faster R-CNN和ResNet组成的深度学习网络来完成检测识别和预测任务,比较了主干网络ResNet 34与ResNet 101的检测准确率随着迭代轮次增多的变化,结果显示:随着训练次数的增加,使用包含残差模块的ResNet 101网络对熊蜂种类的识别准确性更高。Spiesman等(2021)比较了ResNet 101、Wide ResNet 101、Inception V3和MnasNet A1 4种卷积神经网络的性能,经过训练对36种北美熊蜂进行分类,发现Inception V3以其相对较小的尺寸和复杂的架构,呈现出速度和准确性的良好融合。在训练检测的过程中,蜜蜂物种较小、训练数据集缺少等都会影响模型泛化能力和检测准确性。

蜜蜂前翅翅脉角含有较多物种分类信息,对鉴定蜜蜂亚种具有重要价值,这种基于蜜蜂前翅几何形状的分析,被称为蜜蜂前翅几何形态测量学,可广泛应用于蜜蜂物种和蜜蜂亚种的分类与识别。Rodrigues等(2022)利用U-Net网络提取和分类前翅翅脉角检测特征,同时,结合最佳参数检测半径为4 px、卷积内核为5×5时,特征提取的精度达到91.8%;与手动注释的标志特征进行比较,19个提取特征的平均精度为0.943±0.020;同时U-Net还能够将标志特征联系起来,从而能够推断出缺失的标志特征,在处理新的和视觉上损坏的图像时表现出了精确的能力和鲁棒性。Liu等(2020)利用LeNet-5、AlexNet、VGG-16、VGG-19、ResNet 50、Inception V3和Inception Residue V2七种网络对蜜蜂前翅数据集进行分类,其中Inception Residue V2分类准确率相比Inception V3和ResNet 50等其他网络都要高,体现出初始残差块的特征提取能力。De Nart等(2022)使用卷积神经网络CNN开发用于图像识别的端到端的解决方案。使用ResNet 50、MobileNet V2、InceptionNet V3、Inception ResNet V2四种不同网络对蜜蜂8个亚种进行分类,训练过程中对数据集采用分层交叉验证的方法,以解决过拟合和统计偏差的问题。InceptionNet V3与Inception ResNet V2在不同子集间精度差异较小,其中Inception ResNet V2错误识别更低。但这种方法仅限于对7个蜜蜂亚种进行分类,并且没有应用于养蜂业。Buschbacher等(2020)为将深度学习算法应用于移动设备与云端,选择占用的空间更少,需要更少计算的MobileNets、MobileNets V2网络,与传统卷积相比,他们应用深度可分离卷积来设计卷积层。训练过程中通过类加权调整权重,与B-CNN、Inception ResNet网络比较,最终经预训练的MobileNet模型从使用类权重中获益最多,总体准确度提高了1.06%。

随着深度学习网络识别精度和速度的不断提高,用于蜜蜂物种识别与分类的计算机软件也不断涌现,且逐渐向着移动应用程序的方向发展,以完全自动、快速、简便和免费的方式帮助蜂农和研究人员通过图像或翅膀的几何形态测量来识别蜜蜂。Buschbacher等(2020)提出了基于自动蜜蜂识别系统(the Automated Bee Identification System, ABIS)概念的DeepABIS系统,在兼顾精度与速度的同时,实现参与式传输方式,采用移动智能手机和基于云的平台进行数据收集和通信。Spiesman等(2021)创建了名为BeeMachine的Web应用程序,用户可以上传图像识别熊蜂,并获取可能性最大的3个结果及概率。Rodrigues等(2022)开发了一个全自动的通过翅膀几何形态测量法识别蜜蜂的软件DeepWings,可通过翅膀对26个蜜蜂亚种进行分类识别,该软件在识别准确率和识别速率上有良好的表现,填补了蜜蜂几何形态学识别方面的空白,为使用经典识别方法和替代分析工具的研究小组提供便利。

深度学习技术的迅速发展,为蜜蜂物种分类识别带来了极大的便利。当数据集较少或分类任务中不同类别的训练样例数目差别很大导致类不平衡时,可通过数据增强、类加权和分层交叉验证的方式,提高数据集的可用性。在数据集充足的情况下,U-Net网络标志特征检测较精确;包含初始残差模块的Inception Residue V2网络分类精度更高。而相比传统发展的卷积神经网络,MobileNet以其占用空间小而检测分类速度快、准确率高的特点更适应于移动端和云端的应用研究。目前模型与软件的使用尚存在预测不准确的可能性,因此需要探索新的数据生成方式与网络结构增强模型。结合样本数据的地理位置排除错误的预测提高分类精度。将现有检测识别方法应用于可移动或现场的设备上,以实现实时大空间尺度的数据捕获和蜜蜂监测计划。

3 行为跟踪监测

蜜蜂行为轨迹揭示了重要的个体行为,对蜜蜂行为的跟踪检测有助于验证和解决蜜蜂生物学、神经学和进化中的科学问题(Huangetal., 2022)。然而,收集精细、准确的行为数据十分困难,随着自动化检测手段不断发展强化,RFID系统、光电传感器、电容传感器和基于人工智能的计算机视觉等技术手段逐渐弥补了直接观察法耗时长、存在注意力偏差等不足(Simons and Chabris, 1999; Odemer, 2022)。其中,RFID系统通过在蜜蜂胸部背板处放置大小合适的电子标签,在蜜蜂进入读写器覆盖区域时接收射频信号,产生感应电流,将自身编码信息通过内置天线发射,同时读写器接受天线接收信息并记录,用于监测蜜蜂飞行行为(Nunes-Silvaetal., 2019; Alburakietal.,2021)。田柳青等(2014)使用RFID系统对蜜蜂飞行活动进行监测,探究蜂群中的轮休现象及轮休对蜜蜂工作量和寿命的影响。Beyaert等(2012)每天24 h自动监控单个蜜蜂的飞行活动,对飞行行为监测的准确率显著高于直接观察法。Heidinger等(2014)将RFID芯片安装在蜂王身上,用于研究观察蜂王的交配行为,并监测婚飞的频率和持续时间。Alburaki等(2021)详细介绍了构建和操作RFID系统的全部材料、软件等,并用于监控各种蜜蜂行为,如觅食行为、蜂王交配行为等。蜜蜂的行为跟踪监测,不仅可以加深对社会性劳动分工的理解,还可以进一步研究蜜蜂对各种生物和非生物应激源的生理反应(de Guzmanetal., 2017; Bordieretal., 2018; Colinetal., 2021)。Hesselbach等(2020)使用RFID系统研究新烟碱类药物亚致死浓度对野生蜜蜂觅食性能和死亡率的影响。Lach等(2015)使用RFID标记喂食一定浓度的蜜蜂微孢子虫溶液以监测其觅食行为是否会受到影响,研究证明喂食低剂量的蜜蜂微孢子虫溶液会对蜜蜂的授粉能力产生不利影响。虽然RFID标签可以在更广阔的区域跟踪蜜蜂个体,但由于蜂群数量庞大、生存周期短且标签易脱落等问题导致收集大型数据集较为困难(Colinetal., 2022),同时RFID标签给蜜蜂带来的不可逆伤害同样会影响蜜蜂正常的飞行、觅食和授粉行为,甚至导致蜜蜂死亡(Colinetal., 2022)。因此非侵入式行为监测对于推进蜜蜂行为监测研究至关重要,计算机视觉和深度学习的发展为蜜蜂行为的无标记跟踪提供了可能。研究表明在高分辨率影像跟踪基础上,深度学习技术已成功应用于研究蜜蜂行为特征、觅食行为和姿势量化等问题(Rodríguezetal., 2018; Ngoetal., 2021; Knaueretal., 2022; Pereiraetal., 2022)。

对蜜蜂行为的跟踪检测主要包括检测与跟踪两部分。Yang和Collins(2019)采用以VGG-16为核心的Faster R-CNN网络模型来检测和测量蜜蜂监测视频上的花粉,实验结果表明使用深度学习的花粉检测模型测量误差为7%,相比传统图像处理方法提高了26%。Ratnayake等(2021)提出了一种混合检测和跟踪的算法(HyDaT)检测蜜蜂的觅食行为,从蜜蜂第1次出现到离开视野,包括物体遮挡时的轨迹,将一系列位置组合成一个连贯的轨迹跟踪蜜蜂。但这种算法只能按顺序跟踪一头蜜蜂,且必须重新启动才能跟踪视频中的后续蜜蜂。监测效率较低,不适合多头蜜蜂轨迹的同时检测。Bjerge等(2021)使用带有中央处理器(CPU)、图形处理单元(GPU)、网络摄像头、SSD磁盘和自动冷却系统的便携式计算机视觉系统,用于实时监测传粉昆虫,并将检测信息通过4G网络传输到客户端计算机,便于对每天的检测结果进行分析;同时,开发了一种或多种昆虫包括蜜蜂的分类和跟踪(ICT)的计算机视觉算法,使用DarkNet 53(YOLOv3)对蜜蜂检测分类,并结合过滤器、多目标跟踪算法实现对蜜蜂的过滤和跟踪。该算法实现了对单头蜜蜂的自动化实时跟踪,并且可以在下雨、强风和夏季高温期间使用,便于对蜜蜂行为的季节性和昼夜动态进行检测。Ratnayake等(2021)提出了一种能够同时跟踪多头蜜蜂的新型算法Polytrack。Polytrack算法使用基于卷积神经网络的YOLOv4对象检测算法,识别和记录帧中花朵的位置和昆虫物种位置,当检测到昆虫时,Polytrack算法会由低分辨率切换到高分辨率处理以提高准确性,再使用深度学习的前景和背景分割来检测和跟踪昆虫轨迹。算法实现了97.5%的精确率和97.2%的召回率,可用于多头蜜蜂行为的跟踪监测。

对动物运动的定量测量是研究动物行为的基础。在密集的蜂群环境下,对蜜蜂个体的姿势变化和行为轨迹进行跟踪,有助于促进对蜜蜂行为开展研究。Bozek等(2021)使用U-Net分割网络来自动识别蜜蜂和新巢房的位置、身体方向和巢房内状态,在5 min时间内从5个观察蜂群中恢复约79%的蜜蜂轨迹,实现对整个蜜蜂蜂群的无标记跟踪。后续可以根据蜜蜂的行为轨迹来监测蜜蜂的摇摆舞、睡眠(Klein and Busby, 2020)、交哺行为和翅膀扇动(Petersetal., 2017)等行为。Pereira等(2022)介绍了一种基于U-Net网络用于多动物姿势跟踪(Multi-animal tracking, MAT)的通用深度学习系统SLEAP(Social LEAP)。SLEAP具有可访问的图形用户界面,标准化数据模型,可重复的配置系统,30多种模型架构,两种身体部位分类方法和两种姿势跟踪方法,这种方法推进了动物姿势估计的最新技术,可以应用于蜜蜂、苍蝇等多个数据集,为较高精度和速度的蜜蜂姿势跟踪提供技术支持。

4 蜂群健康监测

蜂群崩溃失调症(Colony Collapse Disorder, CCD)和病虫害问题,给全球西方蜜蜂Apismellifera的养殖造成了巨大损失,因此定期检查蜂群健康状态,及时发现和预防病毒、螨虫和细菌等病虫害是至关重要的。深度学习在蜂群健康监测中的应用,包括病虫害检测、蜜蜂流量自动监测和基于音频的蜂王监测,使蜂农在不中断蜂群生命周期和减少人力资源浪费的情况下,获取大量有关蜜蜂行为的关键信息,有助于判断蜂群的健康状态。

4.1 蜂群病虫害

提前预判和早期及时发现蜂群的异常情况,包括寄生虫、蚂蚁、蜂巢甲虫、盗蜂和蜂王飞逃等,采取适当的管理措施,可以防止蜂群崩溃失调情况的发生(Berkayaetal., 2021)。传统的蜂巢病害检测方法是用糖粉或烤大豆粉测试蜜蜂是否受到瓦螨的侵害,或目视观察蜂巢中是否有甲虫(No⊇letal.,2020; Ogiharaetal.,2020)。这些传统方法耗时且效率不高,无法对受侵害蜜蜂进行准确计数。基于深度学习的分类模型对蜂群中的病虫害进行检测,可以高效快速的判别蜜蜂的健康状况和病虫害发生情况。

Üzen等(2019)使用深度学习技术对获取的图像中的蜜蜂进行分类,开发了5种用于蜜蜂病害检测的卷积神经网络架构。Karthiga等(2021)基于卷积神经网络,采用综合采样人工合成数据算法(Synthetic Minority Over-sampling Technique, SMOTE)技术进行增强数据,对数据集中的俄罗斯远东地区的蜜蜂、意大利蜜蜂ApismelliferaligusticaSpinola、卡尼鄂拉蜂ApismelliferacarnicaPollman、东方蜜蜂ApisceranaFabricius、瓦螨敏感(Varroa Sensitive Hygiene, VSH)的意大利蜜蜂、混合本地蜂和一些其他未知蜜蜂物种进行分类,对健康的蜜蜂、无王群、盗蜂群、被蚂蚁侵扰的蜜蜂和被瓦螨侵扰的不同健康状态的蜜蜂进行分类。最终,在蜜蜂亚种的分类中准确率为86%,在蜜蜂健康鉴定方面准确率为84%。Braga等(2021)开发了用于蜜蜂健康分类的超参数优化方法DCNN架构,对健康的蜜蜂、无王群、盗蜂群、被蚂蚁侵扰的蜜蜂和被不同程度瓦螨侵扰的蜜蜂健康状况以及蜜蜂是否携带花粉进行检测分类。其中,蜜蜂健康情况分类的准确率为95%。Berkaya等(2021)提出了4种不同的基于深度学习的分类模型,对获取的蜜蜂图像进行分类,并识别不同的条件,包括健康的蜜蜂、携带花粉的蜜蜂和病害情况,如寄生虫、蚂蚁、蜂群盗蜂和小型蜂巢甲虫等,最终识别不同条件的准确率高达99.07%。基于深度学习的蜜蜂健康状况检测,时间短精度高,随着卷积神经网络的优化,识别准确率也不断提高,有助于智能养蜂中对蜂群健康情况的监测。

瓦螨是对世界养蜂业威胁最大的蜜蜂病虫害,因此对于瓦螨的检测和定位对蜂群健康状态监测有重要意义。Chazette等(2016)描述了如何识别蜜蜂上的瓦螨,在受侵染的蜜蜂进入巢门口时用激光将其杀死。评估了用于检测和定位螨虫的不同算法,包括Caffe深度学习框架,对实时图像数据检测获得了93%的准确率。Bjerge等(2019)提出了一种基于深度学习的新型计算机视觉系统“侵扰水平估计器”,通过记录视频中健康蜜蜂与携带瓦螨的蜜蜂监测蜂巢中螨虫的侵扰水平。Schurischuster和Kampel等(2020)利用深度学习技术,评估了AlexNet、ImageNet、经预训练的ResNet 101、基于DeepLabv3和迁移学习的语义分割用于检测蜜蜂上是否存在瓦螨,并将蜜蜂图像分为“健康蜜蜂”和“受感染蜜蜂”。其中以ResNet 101为主干网络的DeepLabv3模型F1分数最高,每类识别准确率至少为90%。深度学习技术大大提高了瓦螨检测的效率,但仍有较大进步空间。目前对瓦螨的检测中,拍摄角度的单一性使检测情况与实际瓦螨感染水平相去甚远。因此需改变机械设置,利用3D相机获取三维信息对蜂群进行更多角度的视频记录,以提高监测结果的准确性。

4.2 蜂群流量自动监测

蜜蜂流量在一定程度上代表了蜂群的强弱和生产力,是监测蜂群健康的重要指标之一。利用深度学习技术对蜜蜂流量自动监测可应用于蜜蜂觅食行为、蜜蜂病虫害的检测以及对蜂巢中蜜蜂个数、温度、湿度、重量和声学等精准养蜂的核心数据进行综合监测(Odemer, 2022)。通过高效自动化蜜蜂计数,可远程监测食物供应、蜂群健康状态和生长状态,及时干预,改善不良情况,最大限度地减少蜂农的资源浪费,提高蜂蜜产量。Ngo等(2021)提出将YOLOv3-tiny网络应用于蜂巢进出入蜜蜂检测和计数,并调整YOLOv3-tiny用于对进入蜂箱中携带花粉与没有携带花粉的蜜蜂进行检测计数。使用混淆矩阵评估训练模型的识别性能,精度和召回率分别为0.91和0.99,F1得分为0.94。Kulyukin等(2019)通过设计和评估不同的ConvNet架构对运动检测算法识别的候选区域进行分类,并通过蜜蜂运动计数来估计全向蜜蜂流量水平,其中他们设计的ConvNet 1和ResNet 32的验证准确率达到了99.48%。Bjerge等(2019)利用卷积神经网络结合匈牙利算法(Hungarian Algorithm)检测受瓦螨侵染的蜜蜂并计数,结果显示在计数蜜蜂方面该方法F1得分较高,为0.97。Nguyen等(2022)采用YOLOv5神经网络来预测蜜蜂在图像上的位置,获得蜜蜂的坐标和每帧中的蜜蜂数量,后使用均值移动聚类算法(Mean Shift Clustering)确定潜在高密度区域的中心,并在高密度区域使用实现最佳计数性能的小样本适应和匹配网络(Few Shot Adaptation and Matching Network, FAMNET),最终这种方法的监测结果与单独的网络相比平均绝对误差(MAE)和均方根误差(RMSE)更低,计算结果更好。

随着对蜜蜂计数的卷积神经网络结构的不断探索,高密度蜜蜂计数的准确率不断提高。为了进一步减小蜜蜂计数的误差和提高蜜蜂计数网络结构在实际养蜂中的应用,应继续提高蜜蜂计数检测的速率和不同网络模型的性能,为蜂群采集蜂计数和蜜蜂聚集事件检测提供参考。

4.3 蜂王检测

蜂王是蜂群中唯一雌性生殖器官发育完全的个体,是维持蜂群存续的关键,蜂王质量决定了蜂群的群势以及生产性能,对蜂群的发展和存活至关重要。而寻找蜂王对蜂农来说是一项艰巨的任务,这不仅会扰乱蜂群的秩序分工,还有可能感染巢虫影响蜂群的健康状态。已有研究表明,深度学习可以通过对蜜蜂嗡嗡声进行分析,提取蜂群音频信号中的特征参数进行分类识别,检测蜂王是否存在、判断蜂群的聚集事件和蜂群的健康状态(Kimetal., 2021; Zgank, 2021)。声学监测设备麦克风相比基于计算机视觉的图像或视频获取设备摄像头对蜂巢内蜂群的影响更小,从而更好的对蜂群健康进行检测。Nolasco等(2019)使用SVM和CNN模型从蜂群声音中提取的Mel频率倒谱系数(MFCC)、Mel频谱图(Mel-spectrogram)确定蜂群中是否有蜂王。但深度学习方法会导致高维描述符和很高的计算成本。Sousa等(2022)探索特征提取和选择技术,以获得高效和紧凑的描述符,从而在实时监测的情况下对蜂巢中的音频分类。结果表明,将倒谱、时间和频率特征相结合的31个MFCC描述符提供了一个准确和低维度的蜂王存在特征,确度、kappa、曲线下面积、特异性和敏感性指标达到0.99,相比深度学方法使用ResNet 50、VGG-16、VGG-19、Inception V3四种CNN架构从音频频谱图中提取特征,能更好的区分蜂王是否存在。但由于蜂巢状态监测是动态和间歇性的,在蜂群中捕获音频时麦克风位置、麦克风类型和声学传播空间也影响着公共数据集的可用性,因此目前只有一个关于蜂王存在的数据集可供公众访问,由于缺乏蜜蜂声音数据集,极大的限制了研究的进一步发展。

5 蜂巢监测

蜂农通过检查巢房的花粉、花蜜、卵孵化数量以及是否有病虫害来监控蜂群。而对蜂箱内蜂群健康状态的把握,需要打开蜂箱进行目视检查。这项检查需要丰富的养蜂技能和知识,非常耗时且容易打乱蜂群的生活节律,影响蜂蜜产量。基于深度学习的高精度分类模型,通过提取蜂群声音、图像、温湿度、重量等特征信息,能够更准确地获取到蜂群的分蜂行为、蜂群群势变化、蜂王活动情况等信息,找到蜂群活动规律,从而实现对蜂群状态及时、准确的掌控,辅助蜂农高效管理蜂群(Liuetal., 2020)。

采用图像监测技术对巢内蜂群进行监测,可以通过非接触式、不开箱的手段获取巢内蜂群图像,实现蜜蜂健康状况的检查和判断。Bozek等(2018)提取了大量蜂脾影像,使用卷积神经网络对影像中的蜜蜂个体进行识别,在375 000头标记的蜜蜂个体数据集中,检测正确率为96%,基于影像的密集蜜蜂个体识别跟踪可以对巢内蜂群数量动态变化实施有效监测。Alves等(2020)对巢脾中幼虫区、储蜜区、蜂粮区的巢房计数并统计面积,用于评估蜂群群势,建立蜂群动态模型。他们开发了一种基于深度学习的模型,使用CLAHE方法、Circle Hough变换和语义分割,巢房检测的准确率为98.7%。同时训练并评估了13种不同的CNN架构,包括DenseNet(121、169和201)、Inception ResNet V2、Inception V3、MobileNet、MobileNet V2、NasNet、NasNetMobile、ResNet 50、VGG(16和19)和Xception。其中MobileNet在训练速度和准确性均较高,可以自动检测巢脾的巢房并将其分类为卵、幼虫、蛹、花粉、花蜜、蜂蜜等,准确率为94.31%。Voudiotis等(2021)提出了一个基于深度学习的Swarm-engine蜜蜂状态监测系统,用于检测蜂群状态。系统由蜂巢监控设备、BeeQ RMS(The Quality Resource Management System)系统和终端应用程序三部分组成,基于CNN的蜜蜂检测算法分别在云端和嵌入式ARM处理器进行检测,当监测到巢框上方和副盖下方的蜜蜂超过50头蜜蜂时,定义为蜜蜂聚集(一种由外来入侵者导致的蜂群防御行为机制)事件,并及时向养蜂人发出通知。Marstaller等(2019)构建了一个基于卷积神经网络MultiNet V2的DeepBees系统,对蜜蜂蜂箱进行持续、低成本的监测,获取蜂群健康情况,该系统由一个共享特征提取器和多个模块组成的多网架构,用于蜜蜂识别、花粉检测、姿势估计和对是否携带花粉的蜜蜂、雄蜂和死蜂进行分类。基于DeepBees系统的多任务学习方法除花粉检测外均高于单任务检测性能,平均精度为73.08%。对各种蜂巢数据的大规模收集,可进一步扩展DeepBees系统,实现蜂群状况的可视化监测。

巢内蜂群声音监测能够有效帮助蜂农识别蜂群健康性、蜂群群势,还可以预测分蜂、盗蜂、蜂王死亡等蜂群异常行为,是实现精准管理蜂群的重要手段之一(Struyeetal., 1994)。Kulyukin等(2018)通过电子蜂箱监测提取蜂群行为和物候学方面的关键信息,比较了深度学习中SpectConvNet、RawConvNet、用于评估RawConvNet不同卷积层作用效果的ConvNet1、ConvNet2、ConvNet3网络和4种机器学习方法在区分蜜蜂的嗡嗡声、蟋蟀叫声和环境噪声方面的表现。试验表明,RawConvNet在BUZZ1验证数据集上的分类精度为95.21%,在BUZZ2验证数据集上的分类精度为96.53%,均高于4种机器学习模型,且相比于SpectConvNet必须将原始音频信号转换为图像,而RawConvNet可以直接对未修改的原始音频信号进行分类,因此,RawConvNet训练和分类速度更快。在特征工程的处理上,机器学习方法需要大约80 h的研究和试验才获得4种机器学习方法的最终特征集,而卷积神经网络不需要特征工程,且在更加复杂的数据集中有更好的泛化效果。但深度学习方法输入的原始音频信号和训练时间都显著高于机器学习方法,机器学习方法输入大小仅为193的特征向量,而CNN的输入向量大小为20 000,相比于机器学习方法提取特征向量后训练仅需大约5 min,深度学习方法训练网络模型时间高达80 h。Kim等(2021)对蜂箱内的声音进行分类来检测蜂箱中的异常状况。使用更深层的卷积神经网络模型,研究了机器学习方法(SVM、Random Forest和XGBoost)和两个CNN模型(浅层CNN和VGG-13)用于区分蜜蜂和非蜜蜂声音的性能。通过使用来自OSBH项目的蜂巢声音数据,并利用VGG-13架构与MFCC预处理结合作为输入数据,实现了91.93%的准确率。此外,研究还发现VGG-13架构最适合检测非蜜蜂的声音,然而,这个结构会生成一个具有32 768个深层特征的高维描述符,并且没有应用任何特征选择或降维技术。尽管深度学习技术对生物声学中特征提取和分类有显著成效,但卷积神经网络输出的高维描述符和完成任务的时间限制,意味着在实时监控的情况下会导致信息丢失。因此,在进一步减小高维描述符和时间的同时,应进一步探索高性能卷积神经网络分类模型,用于检测蜂群音频信号以构建自动监控系统。

除音频、图像外,蜂巢温湿度、外部环境数据等也会影响蜂群健康状态。Braga等(2020)通过挖掘内部温度和蜂巢重量以及天气数据(温度、露点、风向、风速、降雨和日光)结合蜂巢检查,提出了一种高精度的分类模型,该模型可以自动预测蜂群健康状态。Ngo等(2021)展示了环境数据与蜂群觅食行为活动之间的相关性。结果强调温度、相对湿度、风速、雨量和光照强度会影响觅食行为。例如,大雨或微风会对觅食行为产生负面影响。

然而,对蜂巢的整体监测仅仅采集蜂巢内部音频、影像、温湿度、重量以及外部的天气数据是不够的,还需与蜂巢内部病虫害监测、蜜蜂姿势和行为跟踪等数据相结合,进行多类信息联合分析监测,提高对蜂巢整体状态监测的准确度和群体适用性。而多类信息联合分析监测需要较先进的信息处理系统,因此需进一步开发便携的、易于推广使用的蜂巢监测系统。同时,应建立蜂群健康评估标准,量化蜂群不同的健康程度,利用蜂群数据收集与分析的巨大潜力,促进养蜂业的发展。

6 讨论与展望

近年来,基于深度学习技术的蜜蜂蜂群监测,利用大量的蜂群监测数据为蜜蜂行为分析、蜂群监测等带来了巨大的发展潜力。与传统的目视检查等蜂群检测方法相比,减少人力物力损耗的同时大大提高了蜂群监测的效率和精度,是未来蜂业发展的大趋势,但仍面临着诸多挑战。

首先,数据集的质量与数量直接影响模型分类检测的性能,尤其是在数据较难收集的方面,如蜂王的音频与图像信息数据、稀有蜜蜂亚种的图像及地理数据等。应该进一步对现有高质量数据集进行分类和整理,同时不断丰富高质量数据集较少的研究方向的数据。精确地标记采集到的高质量数据,使用更复杂的、更高质量的数据集来开发蜜蜂蜂群检测领域的其他网络模型和应用程序。

其次,在目前的研究中尚缺少便携、价格合适、便于蜂农使用的应用支持系统,实际养蜂适用性差。智能养蜂需解决深度学习技术的耗能问题,实现集成、高效、自动化和易操作的深度学习分析应用系统。加强端到端系统的研究,减少人工预处理和后续处理,尽可能使模型从原始输入到最终输出,增加模型的整体契合度,使系统能够自主的实现一个完整的解决方案。结合各项蜂群检测技术构建智能养蜂系统,将现有检测识别方法应用于可移动或现场的设备上,以实现实时和大空间尺度的数据捕获和蜜蜂检测计划。

深度学习技术应用多种深层神经网络,能够对传统算法难以处理的抽象材料(如图片、音频等)进行特征提取与识别,从而降低传统蜂群信息获取所消耗的人力、物力与时间成本,提高养蜂的智能化水平。随着深度学习技术更加广泛地用于蜜蜂研究,构建高效自动化的蜂群监测与管理系统,实现智能化养蜂,将是未来养蜂业发展的新方向。

致谢：浙江省农业科学院畜牧兽医研究所董捷博士对本文提出修改意见,在此表示感谢。