蜜蜂流量自动监测技术分析
2022-09-14王锐刚王双莉
袁 红,黄 峻,王锐刚 ,王双莉
(1.云南农业大学大数据学院,云南 昆明 650000;2.云南省产品质量监督检验研究院,云南 昆明 650223;3.云南农业大学理学院,云南 昆明 650000;4.云南省蜂业协会,云南 昆明 650000)
关键字:蜜蜂;流量分析;计数
在自然界中,蜜蜂有着重要的作用[1]。蜜蜂对植物进行授粉,一方面促进了农作物的生产,另一方面蜜蜂对生物多样性和生态平衡具有重要意义[2,3]。
蜜蜂流量分析是指通过记录蜜蜂进出的数量,对蜜蜂的活动情况进行分析和研究。蜜蜂进出蜂巢的这一行为可以提供关于蜂群健康状态和生长状态的有价值的数据,特别是负责采集花粉和花蜜的蜜蜂,为整个蜂群提供必要的营养,它们的进出频率是确定蜂群活动的一个重要指标[4]。蜜蜂流量自动监测技术可以减少人为开箱检查工作,通过规范化的养殖提高蜂产品的产量,与精准养蜂的目标一致[5]。精准养蜂(Precision Beekeeping)的概念最早由Zacepins 提出,它是一种养蜂场管理策略,是指通过对整个蜂群的监控,以达到最小化资源消耗和最大化蜜蜂生产的目标[6]。精准养蜂在监控领域的目标之一是开发实时在线工具,用于在蜜蜂的生活和生产期间自动连续监控蜜蜂,旨在保护蜜蜂,支持养蜂人,并通过数字基础设施优化养蜂产业[7]。通过对蜜蜂流量分析的相关文献查阅统计,从蜜蜂流量分析技术的沿革、技术的比较展开论述,总结了这些技术的优缺点,对未来在该领域的研究进行了展望。
2 蜜蜂流量自动监测技术的沿革
根据时间发展顺序,不同时期选择蜜蜂流量分析技术时,方法会有所差异,从1925 年至今技术不断成熟,相关核心技术如图1 所示。
图1 蜜蜂流量分析技术发展历程
早在20 世纪,人们就开始进行蜜蜂的计数实验,最早的蜜蜂计数实验之一是由Lundie在1925 年完成的,他建造了一个装置,通过连接到电路的敏感压力板来跟踪进出蜂巢的蜜蜂,电路由蜜蜂经过板的重量激活[8]。Spangler等(1969 年)为单框观察蜂箱开发了一种光电计数器,从中心隔板上向相反方向突出的玻璃管将出巢的蜜蜂和进巢的蜜蜂分开,有2 个通道[9]。同样的,Erickson 等(1975 年)开发了一种在蜂巢入口处监控蜜蜂流动并以电子方式计数蜜蜂的方法,实验使用了一个5 框蜂巢,他们设置了7 个通道[10]。Rickli 等(1989 年)开发了一种具有红外光屏障和电子数据采集功能的设备,可以持续监测自由飞行的蜂群活动,蜂巢门口的进出孔设置了16(8×8×7 mm)个通道[11]。Liu 等(1990 年)使用红外光传感器自动监测蜂巢入口处的飞行活动,一个3 框的观察蜂巢(大约6 000 只蜜蜂)被用来测试[12]。Seeley 等(1991 年)通过贴标签的方式标记蜜蜂,并控制喂食器来观察蜜蜂对于不同蜜源的选择,结果显示当一个蜜蜂群体在选择两个不同的蜜源时,会趋向于选择较为丰富的蜜源[13]。Struye 等(1994 年)设计了蜂箱入口处蜜蜂飞行活动的微处理器,可以监测10 个蜂巢,并且每个蜂巢设置了32 个双向通道(15×6.5×8 mm),每个通道皆有红外探测器,由异步顺序算法控制,提高了计数器的精度,在不同情况下测量了蜜蜂的日常活动[14]。
经过不断地发展,21 世纪的技术更加多样化。Sebastian Streit 等(2003 年)提出了一种基于射频识别技术(RFID)的可靠的、低成本的解决方案,在蜂巢门口设置了一个读数器,每秒可记20 个个体[15]。Axel Decourtye 等(2011 年)也使用了RFID 标签,标签重量约3 mg,一只蜜蜂大约能够携带70 mg花蜜和10 mg花粉。通过读取器下方时,贴有标签的蜜蜂被识别,读取器将数据连同实时记录一起发送到数据库[16]。2010 年何旭江等人也曾提到RFID 技术在蜜蜂研究中的应用[17]。
人们近几十年来,经常选用图像处理技术进行蜜蜂流量分析。Adam Feldman(2003 年)等设计了一个自动识别蜜蜂运动的系统,使用摄像机拍摄视频,将视频传到追踪器,这个实验使用15 min 视频文件作为数据集,其中前5 min 蜜蜂出现的地方被人工标记作为训练集,其余作为测试集,使用了KNN(k-Nearest-Neighbor)分类器提取特征,HMM(Hidden Markov Model)平滑整个数据集的标签以提高准确性[18]。Knauer 等(2005 年)利用数字视频和计算机图像分析技术,进行自动的蜜蜂跟踪实验。实验在蜂箱内部用红外摄像机进行,照明由近红外LED 提供,它发出的光不影响蜜蜂的活动[19]。Jason Campbell 等(2008 年)提出了在养蜂场中不确定的环境因素下可视化的跟踪和计数方法,使用固定在标准蜂巢入口上的摄像机(分辨率为640×480 px;帧率为30f/s)来监测往返于蜂巢的蜜蜂活动,然后利用高斯分布对爬行和飞行的蜜蜂位置和方向的变化进行建模,通过自适应背景减法来检测蜜蜂,并使用二分图最大权值匹配算法来跟踪蜜蜂的运动,这个方法能够以较高的精度来计算进出蜂巢的蜜蜂数量[20]。Toshifumi KIMURA 等(2011 年)开发了一种用于蜜蜂个体识别和行为跟踪的系统,他们用数码摄像机(分辨率为720×480 px;帧率为29.97F/s)录制一个蜜蜂蜂巢视频。该系统能够在每一帧中自动对蜜蜂进行计数,成功识别了一个700 多只的小蜂群中的大约500 只蜜蜂[21]。
Chiu Chen 等(2012 年)开发了一个用于监测和分析蜜蜂巢门口进出活动的成像系统,为了识别每只蜜蜂,在蜜蜂胸部的背面贴上了圆形的字符编码标签。为了定位视频帧中的单个蜜蜂,使用霍夫圆检测算法来检测圆形标签的存在,标签上的黑色定位点用于识别字符的方向,以便于阅读圆形标签上的符号。提取的字符符号被进一步分割,并且使用支持向量机(SVM)分类器来识别字符并识别个体蜜蜂[22]。Ahmad Ghadiri 等(2013 年)使用摄像机(分辨率为640×480px)拍摄监控视频,视频被传输到一个服务器上,并转换成图像帧,然后用变化检测算法计算图像中的蜜蜂数量。变化检测算法是将两幅图像进行比较,并将它们之间的差异以二进制掩码的形式返回,将变化的部分标记为1,未变化的部分标记为背景。为了计算蜜蜂数量,一种方法是计算从变化检测算法中得到的变化遮罩中的片段数量。另外一种是当两只或更多的蜜蜂被检测为一个片段时,该片段的像素大小大于图像中一只蜜蜂的平均大小,在找到所有片段后,计算每个片段的大小,然后除以一只蜜蜂的平均大小,结果被用作该段中检测到的蜜蜂的数量。两种结果相加为蜜蜂数量最终检测结果[23]。
Vladimir Kulyukin 等在2014 年设计和建造了多传感器电子蜂箱监视系统,名为BeePi监视器,系统由一台“树莓派”电脑、一个微型摄像头、一个太阳能电池板、一个温度传感器、一个电池、一个硬件时钟和一个太阳能充电控制器组成。系统中计算蜜蜂流量的方法是使用Java 语言并调用Opencv 2 图像处理库实现的。第一个算法是Opencv 2 中的轮廓检测算法,采用二值化图像并返回轮廓列表,每个轮廓都是像素的连通分量,小于30 或大于50 的像素将会被删除,可以根据需要调整这些参数,找到的轮廓的数量是对降落垫上蜜蜂数量的估计。第二种蜜蜂识别方法是基于对裁剪过的降落垫(绿色)的二进制像素分离,每个像素都被检查是否存在绿色。如果绿色的存在超过了一个阈值,该像素就被标记为一个垫子像素,反之该像素被标记为蜜蜂像素。降落垫的像素被标记为白色,蜜蜂的像素被标记为黑色,然后,用检测到的蜜蜂像素数除以30(单个蜜蜂的平均像素数),就可以得到降落垫上的蜜蜂数量的估计[24]。Rahman Tashakkori 等(2017 年)早期对蜜蜂计数是从监控摄像头获得的图像,使用了阈值算法来分割蜜蜂,对含有蜜蜂的斑点进行计数,以获得对图像帧中蜜蜂数量的估计,改进后利用“树莓派”摄像头模块作为其数据采集工具[25]。Adnanq Shaout 等(2019 年)开发了一个蜂箱监视器,该设备集成了视觉系统、声音系统、温湿度系统、重量系统和警报系统。其中视觉系统是监控进出蜂箱的蜜蜂数量,将摄像机安装在蜂箱的入口处,用拍摄到的图片作为数据集,并在照片中蜜蜂出现的地方进行手工标记,通过聚合通道特征算法训练标记的数据,然后使用训练的算法来识别蜂箱入口处的蜜蜂,并将识别到的蜜蜂数存储起来[26]。Thi Nha Ngo 等(2021 年)提出了一种通过嵌入式成像系统自动监测蜜蜂采食花粉行为的有效方法。该成像系统使用安装在蜂巢入口处的相机来获取视频流,并使用图像处理算法进行处理。一个轻量级的实时物体检测和基于深度学习的分类模型,在物体跟踪算法的支持下,被训练用来计数并将蜜蜂识别为带花粉或不带花粉的类别[27]。
Vladimir Kulyukin 等(2020 年)提出了一种基于数字粒子图像测速法(DPIV)的蜜蜂运动估计算法,使用DPIV 来计算运动矢量,对它们进行分析和分类,将其归为进、出或横向,并使用分类后的矢量计数来测量蜜蜂的方向性交通。在2019 年他们也使用这个算法来检测蜜蜂的全向交通。这项研究的数据是通过BeePi 监视器获取的,自从2014 年BeePi 监视器被他们开发以来,经过了多次迭代修改,直到2020年,BeePi 监视器已经进行了6 次实地部署[28]。
3 蜜蜂流量自动检测技术的比较
经过长期的发展,人们对蜜蜂流量分析所采用的技术越发成熟,但无论是红外收发器技术,还是图像处理技术、射频识别技术、数字粒子图像测速技术等都有着各自的优缺点,图像处理技术是21 世纪以来较为流行的检测方法之一,在图像处理技术中可以使用不同的算法,每个算法之间也有着各自的优缺点。红外收发器技术、图像处理技术、射频识别技术、数字粒子图像测速技术的使用以及它们之间的比较,如表1 所示。基于图像处理的蜜蜂流量自动监测技术可以使用的算法有很多种,例如特征提取算法、轮廓检测算法、霍夫圆检测算法、高斯背景减法、阈值分割算法,均值分类算法等,使用图像处理的一大优势是容易实现对瓦螨的检测,以及带有花粉的蜜蜂检测。不同的实验要求对设备和算法的选择也会有差异,例如Babic等(2016 年)提出的在蜂巢门口监测带有花粉的蜜蜂的系统,该系统使用背景减法、颜色分割和形态学方法对蜜蜂图像进行分割。使用最近均值分类器进行分类,即携带花粉的蜜蜂和没有花粉负荷的蜜蜂[29]。这个算法虽然简单,计算效率高,并且可以在嵌入式系统上实时执行,但是结果与复杂算法相比仍然存在差异,而且需要高清的监控视频,另外背景板的颜色需要与蜜蜂以及花粉有颜色上的区分。
表1 蜜蜂流量分析方法的比较
Joe-Air Jiang 等(2016 年)在他们的研究中使用了红外LED 检测蜜蜂流量,在蜜蜂进出通道的巢门外和巢门内分别安装了两对LED 模块,外面的叫作“IR1”,里面的叫作“IR2”,先中断IR1 的信号,再中断IR2 的信号被记为“进”,反之则为“出”。在该算法机制中规定了蜜蜂进巢的事件和蜜蜂出巢的事件,蜜蜂在门口徘徊以及一只蜜蜂进入和另一只蜜蜂同时离开的特殊事件[8]。使用红外收发器能够实时记录蜜蜂的进出情况,但是每次只能记录单只蜜蜂单独通过通道[30]。
RFID(射频识别)技术也可以用在对蜜蜂计数的研究中,虽然该技术是自动识别系统,对蜜蜂计数精度也很高,但是它需要对蜜蜂进行人为的贴标签,并且该方法在蜜蜂的长期监控中具有不可持续性,对每次新繁殖的蜜蜂需要再进行贴标签。
在蜜蜂流量自动监测的研究中使用基于数字粒子图像测速技术的方法,其特点在于把蜜蜂的运动轨迹转化为矢量,通过分析将其分为传入、传出或侧向这三类运动方向,这被称为定向交通,并将分类后的矢量计数作为定向交通水平的测量值[28]。与定向交通并列的还有全向交通,指的是蜜蜂在巢门口任意方向的运动矢量[31]。该算法是一种纯粹的分析技术,但不适合蜜蜂流量过大的计算,可以测量的速度范围也有一定限制。
综上所述,从1925 年开始的很长一段时间,基本依靠机械的电子监测装置,再后来使用基于传感器的监测装置。在20 世纪末到21 世纪初期,基于传感器的监测装置占有重要地位,比如光学传感器(光电传感器、红外传感器)、电磁传感器(RFID 技术)和电容传感器等[32-33]。21 世纪以来,越来越多的研究者更倾向于选择基于图像处理的蜜蜂流量自动监测装置,DVIP 技术是近几年才开始使用在蜜蜂流量自动监测研究中的[34-35]。相关文献数量统计如图2 所示。
图2 蜜蜂流量分析技术相关文献数量
4 蜜蜂流量自动监测技术的局限性
通过对几种常用蜜蜂流量分析技术的比较,我们可以看出这些技术在不同的应用场景都存在着一些局限。图像处理最大的不足在于蜜蜂计数结果的精确度不够高,例如在两只或多只蜜蜂堆叠在一起的情况下,可能会被误判[28],所以这种技术应用在专门的蜜蜂科学研究领域是不够严谨的。红外对射传感器需要在蜂箱的巢门口设置专门的通道,这一定程度上影响了蜜蜂的正常活动,这个通道只允许单只蜜蜂通过,在蜜蜂流量过大的时候会扰乱蜜蜂的秩序[16]。RFID 技术在蜜蜂计数这个过程中,人为贴标签不仅是一项烦琐的工作,而且会影响蜜蜂的正常活动,在蜜蜂更新繁殖期间,这项技术也体现出了不可持续性[20]。数字粒子图像测速技术在蜜蜂流量过大、飞行速度很快的时候会产生严重的误差,蜜蜂又是一种体积小,数量多的群居物种,所以该方法在蜜蜂计数这项研究中面临着很严峻的考验[30]。
5 展望
监测一个蜂群的状态需要多种特征值,例如蜂箱的重量,蜂群的声音,蜂箱内的气体浓度、温度、湿度,蜜蜂的进出量(蜜蜂流量)[16]。蜜蜂流量可以反映整个蜂群的某些特征,并且为养蜂人提供相应的帮助[8]。研究者们希望通过蜜蜂流量自动监测技术在不影响蜂群正常活动的情况下及时发现蜂群的活动情况,科学分析蜂群的繁殖能力,生产能力,健康状态等,对蜂群的异常活动提供有价值的参考,如分蜂事件、逃跑事件、受到攻击等等[37];在精准养蜂领域,可以通过这些自动监测技术监控蜜蜂,养蜂人无需开箱检查就能及时发现蜜蜂的状态,在蜂群发生异常情况时及时通知养蜂人,以便快速做出应对,最大程度降低蜂群的损失,通过规范化的管理提高蜜蜂产能[11]。自动监测技术对科学应用来说,应提高其精确度,以便准确分析蜜蜂的特征;对养蜂人来说应该是低成本,容易安装,容易操作并且信息反馈及时的。总的来说这些自动监测技术都应该以不影响蜜蜂的正常活动为基础,希望在未来的研究中人们能充分考虑这些因素,设计出更加合适的装置适用于科学研究或者是精准养蜂。