农用无人机避障技术的应用现状及展望
2018-06-01兰玉彬王林琳张亚莉
兰玉彬,王林琳,张亚莉
(1. 华南农业大学工程学院,广州 510642;2. 国家精准农业航空施药技术国际联合研究中心,广州 510642)
0 引 言
自2004年以来,中央一号文件连续14年聚焦“三农”问题,近四年的主题均与“加快推进农业现代化”有关,并明确提出“要加强农用航空建设”[1]。科技部和农业部在“十二五”科研规划中都将农业航空应用作为重要支持方向[2]。在党的十九大报告中,习近平总书记首次提出了“实施乡村振兴战略”,并提出要坚持农业农村优先发展,加快推进农业农村现代化。
随着中国农业现代化稳步推进,农业生产对农业机械的需求日益增长,中国的农用航空器得到了快速发展。农用无人机是农用航空器的重要组成部分,是中国精准农业航空领域的一支新兴力量。2016年农业部农机化司对全国31个省份(不含香港特别行政区、澳门特别行政区和台湾省)以及新疆建设兵团的植保无人飞机实际拥有量和作业情况进行了专项调查统计,结果表明:截止2016年6月30日,全国实际田间作业植保无人飞机拥有量为4 262架,其中,以电动多旋翼植保无人飞机为主;2015年全国农用植保无人飞机的作业面积达476 035.67 hm2[1]。
由于农用无人机起降操作灵活,作业效率高,防治效果好,经济效益明显,不但有利于资源节约与环境友好,且广泛适用于地面机械难以耕作的农业区域[2-6]。因此,它在实践推广应用中已表现出明显特点和优势。但作为新生事物,在安全系数的提高、作业流程的规范、管理机制的健全、数据信息的采集等方面,农用无人机的人工智能程度尚待完善与提高。
在2017年9月《农业部办公厅财政部办公厅中国民用航空局综合司关于开展农机购置补贴引导植保无人飞机规范应用试点工作的通知》中,试点产品的技术条件首次明确指明:补贴机型需加装避障系统软件等,以期实现作业飞行可识别、可监测、可追查。但农田作业环境复杂多变,病虫害爆发期,尤其夜间作业或环境可视度低时,若主要依靠肉眼观察判断,作业受限因素多且危险性高,因此,实现障碍物的自主识别与有效回避将是农用无人机智能化发展的必然趋势之一。
农用无人机避障技术指的是农用无人机能够自主识别障碍物类型并完成指定避障动作的核心智能技术,理想的避障系统能够自动地、及时地避开飞行路径中出现的各类障碍物,避免因操作失误、自主飞行失效或其他突发故障引发的意外事故,有效地减少不必要的财产损失及人员伤亡。
1 农用无人机避障技术所涉难点、重点
1.1 农田作业环境复杂
由于气象条件不可控,尤其在强风洪涝、高温干旱、低温冷害、沙暴扬尘等恶劣天气下,作业难度系数急剧提高。以主要受光强影响的机器视觉避障技术为例,当农田作业环境存在镜面反射等光污染时,不仅易使飞手产生眩晕及不适感,更易对避障系统的识别判断功能造成光学失真和噪声等干扰[7];当农田作业环境光照不足时,飞手视物能力削弱,机器视觉避障技术则需辅助红外技术才能夜视功能,如广州极飞科技有限公司的Xcope天目自主避障系统,采用的主动近红外照射技术实现暗环境作业。
1.2 农田障碍物类型复杂
农田作业中,农用无人机的飞行速度、高度等作业参数将直接对雾滴沉积、病虫害防治效果产生影响,作业参数的设定与农作物的种类、生长发育状况、作业区的地形地势等有关[8-11]。但实现农用无人机的低空低量精准喷施作业的同时,应保证农用无人机作业的安全性。农田中为生产需要放置的不同辅助农具,如农田防护网、攀援植物的支撑引导架等,农田周围的民居建筑、绿化建设、电网设施、通信设施、照明设施等,以及出没无规律性的各类生物都增加了农用无人机避障环境的复杂程度,对农用无人机避障技术的要求也有所提高。
气象条件多变、作业环境复杂导致农用无人机避障技术需要克服光照变化、场景旋转、图像分辨率低、运动速度、目标遮挡甚至淹没特征、目标特征不稳定等因素的干扰[12-13],以保证在不同的外界条件下正常工作。例如,视觉避障传感器需避免高速作业时因运动模糊造成的系统误识别,降低镜头畸变,提高成像质量,减少图像的变形和失真。
要解决农用无人机的避障问题,实现避障系统对障碍物的实时感知、图像快速解析、智能识别、潜在区域获取、避障行为决策等功能,需要从根本上分析农田障碍物的物理特征,如大小、形状、种类等,从而明确针对不同障碍物的最小识别距离、避障动作指令及响应时间等避障参数。因此,下文将根据作业环境中可能出现的各类农田障碍物特点提供2种分类方法。
1.2.1 根据障碍物特征分类
1)微小型障碍物:电线及斜拉线、树枝、长势突出的农作物、各类电网或通信线、田间树立的木杆或藤架、测试杆、网状物(尼龙网、铁丝网)等;
2)中小型障碍物:零星树木、电线杆、草垛、风力涡轮机等;
3)大型障碍物:防护林、高压塔杆、房屋、气象塔等;
4)无特征规律障碍物:飞禽走兽、人、表面纹理模糊或易产生镜面反射的物体,如水塘、温室大棚的塑料薄膜、PC阳光板等。
1.2.2 根据障碍物相对距离分类
1)短距障碍物:距离农用无人机5 m以内的障碍物;
2)中长距障碍物:距离农用无人机5~15 m的障碍物;
3)长距障碍物:距离农用无人机15 m以外的障碍物。
1.3 作业视场避障分区
对于飞行状态中的农用无人机,需对其飞行主方向的视场区域进行划分,并结合其自身传感器系统探测到的障碍物远近,对每个区域的不同障碍物执行不同的避障策略。将前方视场区域划分为安全区(15 m外,安全飞行,保持警惕)、避障预警区(5~15 m,自动预警,持续追踪)和避障执行区(5 m内,执行避障动作指令),如图1所示。
图1 避障分区图Fig.1 Obstacle avoidance zone
障碍物远近随农用无人机的运动而改变,是相对的;但由障碍分区图 1可知,农用无人机主视场的避障分区是固定的,绝对的。安全区内的障碍物暂时可忽略,直到其进入预警区,方可进行避障预处理。避障执行区内需执行避障动作指令,主要回避短距障碍物;避障预警区需对中长距障碍物进行自动预警,并持续追踪,以防突发事故。
大型、中小型障碍物由于其特征明显,因此,当它位于避障安全区时即可被避障传感器整体或局部有效识别,进入避障预警区、执行区后相对容易成功躲避。微小型、无特征规律障碍物由于其视场中占比小,出没具有突发性、无规律性,即使它进入避障预警区、执行区,仍难以及时地完全地识别并成功躲避。
值得注意的是,在农田作业环境中出现的多为微小型、无特征规律型障碍物,而对于这类障碍物,避障系统的技术难点、重点在于如何实现障碍物的实时感知、大量图像的快速解析、智能识别,高度还原出障碍物潜在区域,并根据障碍物的类型、远近,优化避障路径并执行不同的避障动作,这其中还涉及避障系统的避障动作响应时间、执行效率,避障前后及避障时农用无人机飞行速度、高度、姿态等参数的调整,避障后作业路径的重规划,避障全程定位信号防丢失及抗磁场干扰,单一、多重、静态、动态农田障碍物的单独或随机组合出现时的避障决策等复杂问题。
目前大多无人机“炸机”事故,除了人为的操作不当或机器的突发故障,更多的是避障不及时,尤其是电线、树枝等微小障碍物。虽然因微小障碍物导致的 “炸机”事故率较低,但由此引发的财产损失率、人员伤亡率却极高,不能因其事故率低而忽略它的高危险性。因此,微小型障碍物如何避障,应作为当前农用无人机避障问题研究中的重中之重。
2 农用无人机避障技术的应用现状
2.1 国外农用无人机避障技术的应用现状
美国农业航空对农业的直接贡献率为15%以上[14]。美国在农用航空作业中使用的农用飞机约有20多个机型[15],以有人驾驶固定翼飞机为主,但这类农用飞机与新增电线、新生树木等微小障碍物碰撞导致的安全事故不在少数,且引发的人身伤亡率极高,危害极大。美国小型农用无人机主要用来获取农作物生长状况,如PRECISIONHAWK公司是美国最大的农业数据分析提供商之一,通过利用无人机自主飞行获取农业遥感图像,并进行处理和分析;3D Robotics公司Solo无人机的Site Scan程序可扫描农业用地,目前其定点扫描技术已整合进中国的大疆无人机。
澳大利亚、加拿大、巴西、俄罗斯等国家由于农田作业环境条件相似,户均耕地面积较大,其农用飞机作业机型也以有人驾驶固定翼飞机和直升机为主[14]。
日本是第一个使用农用无人直升机进行农药喷施的国家,截止2015年植保无人飞机保有量为2 668台[1]。日本植保无人飞机的发展经历了有人直升机到植保无人飞机的发展阶段,最终选择以植保无人飞机为主的病虫害防治手段[16-17],也与其丘陵地形地貌和小型农户耕作的农业生产模式密切相关。YAMAHA公司无人直升机目前的机载GPS飞行控制系统并未增加避障模块,主要依靠飞手与观察员进行避障操作,其飞机的故障率为5.8%,引发坠机的主要原因是飞机与电线、树枝的接触。由于每次修理费用昂贵,因此每架无人机都有保险[18-21]。
韩国与日本农田作业环境条件相似,人均耕地面积较小,于2003年首次引进直升机用于农业航空作业,农业航空作业面积逐年增加。截至2010年,全国共有农用飞机121架,其中,农用植保无人飞机101架,有人驾驶直升机20架,约 80%的农用飞机归地方农协所有。但韩国本身并不生产农用无人机,主要是引进日本的设备及施药技术[1,18,22]。
加拿大AG-NAV有限公司研发了多重障碍物的相关技术,并在其导航系统里实现了相应功能。飞行员可通过美国联邦航空局下载各州障碍物文件,得到作业区域周围所有探明的障碍物信息,并可自行通过谷歌地球或在飞行过程中标记新的障碍物,障碍物依其高度被绘成不同颜色。同时设置了电力线报警的相应功能。受体积、质量所限,目前该套系统只应用于有人驾驶固定翼飞机与直升机。
法国 Parrot派诺特公司针对精准农业的 Disco-Pro AG无人机可通过移动设备制定飞行任务,创建农作物地图。Parrot Sequoia传感器包含2部分:机身下方的多光谱传感器可捕获农作物的RGB图片,通过捕获植物吸收和反射的光量来分析植物的活力;背部的阳光传感器,可记录太阳光的光强,从而执行辐射校准,以确保数据测量的一致性。还可通过 AIRINOV First+农业云平台生成的 NDVI地图来了解农作物生长状况。而该公司的Parrot S.L.A.M dunk开源开发套件平台具备自主导航、避障、室内导航、3D重建等能力,即使在在多障碍及GPS信号弱的环境中依然能够进行避障。它的2个60 fps广角摄像头可获取环境深度图,帮助无人机了解周围环境。
目前,东南亚、南非、巴西、乌拉圭、阿根廷、智利、澳大利亚、新西兰等国家也都在使用无人机定位牧群,监控农作物的生长、收获及旱涝病虫害的情况[23]。
2.2 国内农用无人机避障技术的应用现状
据不完全统计,目前国内共有植保无人飞机生产企业约 200 多家,其中绝大多数企业为中小型企业,技术力量和研发水平较低。通过调研以及国家工商管理系统查寻到的生产植保无人飞机的部分企业名单及区域分布,发现广东省(35家)、山东省(24家)、河南省(11家)等省市的植保无人飞机生产企业数量较多[1]。本节将以典型企业的实际生产机型为代表,分析国内农用无人机避障技术的应用现状。
安阳全丰航空植保科技股份有限公司是由“安阳全丰生物科技有限公司”投资组建的现代农业智能装备高新技术企业,目前安阳全丰航空植保科技股份有限公司已完成了具有自主知识产权的3WQF120-12、3WQF80-10、3WQF125-16、3WQFDX-10及3WQF294-35型多款农用无人飞机机型的研发、生产与推广。目前安阳全丰正在筹划避障系统的研发。
无锡汉和航空技术有限公司现发售的植保无人机有CD-15型农药喷洒无人直升机和水星一号第三代农用植保无人机。目前,无锡汉和植保无人机的避障系统作为选配供用户选择,例如CD-15型的自主避障系统采用的是“前后双目+激光”探测障碍物,下方采用定高雷达实现仿地飞行。
北京韦加无人飞机科技股份有限公司目前的植保无人机有四旋翼5 kg级无人机“四妹”JF01-04型、六旋翼10 kg级无人机“六叔”JF01-10型以及八旋翼20 kg级无人机“八爷”JF01-20 型等。韦加为用户提供两种避障手段,航线避障和探测避障。前者是韦加植保无人机的标配,即通过航线规划来避开作业范围内的大中型障碍物,属于被动避障,具有依赖性,后者为选配,属于主动避障,但选择用户较少。目前,韦加已分别就雷达、红外以及视觉类等传感器进行避障测试,认为相对成熟的方法仍是采用组合传感器避障模式。
深圳高科新农技术有限公司生产的HY-B-15L、S40、M23等型号植保无人飞机在全国得到了广泛应用。目前,高科新农正在研发一套可进行实时避障的毫米波雷达避障系统,未来作为标配搭载在其生产的植保机型上,如外形尺寸较大的无人直升机类将在前后方向各放置一套毫米波雷达避障系统,多旋翼类则只在前视方向安装。该套系统目前已在测试中,测试目标包括植保作业中可能遇到的多种障碍物,障碍物的规格不同,探测距离不同。飞机遇障将自主悬停,未解除危险时,遇障方向的前进功能将会自动锁死。
广州极飞科技有限公司 (XAIRCRAFT)的植保无人机机型有P20 2017、P10 2018、P20 2018、P30 2018等四款,分别适用于不同面积的作业地块,可在机身前视方向选配Xcope天目自主避障系统。全新推出的Xcope天目自主避障系统可在20 m外识别半径大于5 cm的障碍物,实现自主绕行避障,并利用主动近红外照射技术,使植保无人机具有夜视能力,保障夜间安全作业。2018款新机型的下视方向已采用毫米波雷达仿地模块取代2017款的超声波仿地模块,性能大大提高,探测范围由不超过4 m提升至30 m,可适应复杂多变的农田地貌。
深圳大疆创新科技有限公司于2015 年12月开始进军农业植保领域。2016年底发布产品MG-1S型植保无人机,与MG-1的调频连续波雷达相比,MG-1S的前方、后方与下方各设置了一部高精度毫米波雷达,可通过不间断扫描,提前感知飞行方向的地形变化,并根据地形和作物高度及时调整飞行高度,实现仿地飞行。2017年底新发布的 MG-1S Advanced、MG-1P 系列的第二代高精度雷达将上一代 3个定向雷达与一个避障雷达融合一体,提升了灵敏度,可感知前方15 m处半径 0.5 cm的横拉电线。大疆非农用型无人机则应用有双目视觉、3D传感系统、红外感知系统、超声波避障模块等避障系统。
在植保无人机选配类避障模块的市场中,用户选配率低的现象普遍存在,主要是因为目前相关行业配套尚不成熟,整体成本较高,而农田作业环境复杂,障碍物多变,现有的主动避障模块尚不能完全满足用户的需求。同时由于 1)缺少对农田障碍物的定义与划分;2)缺乏避障系统技术性能的指标,如响应时间、遇障避让速度等;3)目前的避障系统没有进行统一的、具体的避障动作分解及规范,仅停留在悬停警报、自主绕行、紧急迫降等看似具体实则含糊的指令,将无法满足未来农用无人机自主喷施、实时避障、连续作业、协同作业[24-25]的要求。但这与中国现阶段的精准农业航空产业链不完善、很多领域尚处于空白或起步阶段有关,假以时日,随着科研的发展,科技的进步,各方面政策法规的完善,中国精准农业航空的现代化进程将厚积薄发。
2.3 农用无人机避障技术的应用
由于农田作业环境复杂,作业时常会遇到以树枝、电线和长势突出的农作物等为代表的各类障碍物,当飞手距无人机较远时,难以判断其周边飞行环境。因此,随着科技的快速发展,实现障碍物的自主识别与有效回避将是农用无人机智能化发展的必然趋势之一。目前应用在无人机[26]或无人车上的避障方法各有所长,因此,下文首先对各类避障技术对比,并就其植保环境适用性进行分析。
RTK技术(real time kincmatics)是一种基于载波相位实时动态差分法的目前常用的GPS测量方法。与单点定位技术相比, RTK可以相对及时地得到厘米级定位精度。目前在测绘无人机、农用无人机上均有应用。搭载RTK定位系统后的农用无人机,在航线制定后的喷施作用中可有效避免因航线偏移导致的重喷、漏喷等问题,并实现避障停喷、断点续喷[27-28],不仅节约了人力成本,更提高了喷洒作业的效率和准确性[24]。但由于造价昂贵,部署困难,耗时费力等原因,RTK技术在农用无人机上的应用未能完全实现。目前,广州极飞电子科技有限公司除了现有的RTK技术,将开通云RTK网络,让偏远山区的用户能够更快捷地使用RTK定位服务,获取地块的作业地图。当RTK技术应用于农用无人机避障时,更适合于建立作业区障碍物地图,而非实时性避障,且未来加入RTK基站和云技术等解决方案时需投入大量经费。
超声波测距具有结构简单、造价低等优点,可广泛适用于不同介质,与其他非距离检测式测距方法相比,指向性强且能耗低,不易受光强强弱、颜色深浅等因素干扰,可在较差的如昏暗、粉尘、烟雾等环境中使用[29-30]。但超声波的探测范围较小,一般在10 m以内,且存在探测盲区,会限制超声波测距系统的使用范围[31-32]。发射出的超声波速度受环境温度、湿度和大气压强的影响[33],在大气中传播中,除超声波反射、声波间的串扰等引起的损失外,还存在由环境和其他条件引起的逾量衰减,主要包括大气中的声吸收,雨、雪、雾的影响,草地、灌木林、树林等地面效应[34]。目前,超声波传感器更多是作为辅助安全装置,主要应用于农用无人机的下视系统,以获取飞行的高度参数,实现农用无人机的自主起飞、着陆或在地形复杂的环境下超低空飞行。例如,广州极飞电子科技有限公司的植保无人机P20 2017,机体下方设置有防水型超声波传感器,以实现高精度仿地飞行,防止药液漂移。美国 Kickstarter平台的众筹项目eBumper4超声波避障模组,它的四个声纳传感器为无人机提供关于前方,右侧,左侧和上方的物理环境信息,以防止无人机靠近障碍物。
激光传感器由于获取距离信息精度高、方向性好、抗干扰能力强,主要应用于军工无人机的自主导航(激光陀螺仪、激光自导)系统中,极少在农用无人机中出现。它受光学系统的制约,并不适合在湿度高、光污染严重、粉尘烟雾等环境中使用[35-36],同时它的制作成本、体积质量等亦难以满足农用无人机的要求。目前激光扫描只能获取场景的离散信息,且扫描时间受扫描点数量限制难以在实时性和范围上获得很好的平衡[37-38],如二维激光扫描只能获取前方固定角度的深度信息,无法获取整个场景三维深度信息;三维激光扫描虽然能够获取三维场景信息,但扫描整个场景用时较久[39],扫描速度难以满足无人机自主避障的实时性要求。
红外传感技术,属于被动探测系统,其抗干扰能力强,隐蔽性好,可在夜间及恶劣气候条件下测距及轮廓描述[40-42],但探测距离较小,系统发出的光容易受到外界环境干扰,必须避开太阳光的主要能量波段[43-44],避免因太阳光的直射、反射等对避障系统造成干扰甚至失效,因此,在无人机上的应用多为短距离的环境感知系统。以深圳市大疆创新科技有限公司的消费级无人机为例,红外传感器更多只是辅助地应用于识别距离飞行器最近的物体距离,在无人机升降、悬停时对周围环境保持监控,避免碰撞。例如,inspire 2“悟”顶部红外障碍物感知范围是0~5 m,Phantom4 Pro机身两侧的红外感知器系统最大检测距离为7 m。
结构光是激光从激光器发出,经过不同结构的透镜后汇聚成不同形状的光带,呈现线状的光带称为线结构光,发射激光的激光器与各种结构的透镜构成结构光传感器[45]。由于线结构光视觉传感器具有抗干扰能力强、精度高、实时性强、主动受控等优点,特别适合于应用在复杂环境里的机器人测量和控制任务中[46]。但相邻结构光传感器存在互相干扰,在室外环境时,自然光使结构光传感器几乎失效,因此结构光传感器更多应用于非农用型无人机的室内避障。
飞行时差测距(time of flight,TOF),属于双向测距技术,是目前应用广泛的测距方法之一,主要利用测量信号在节点间的往返飞行时间来测量距离。与其他测距方法相比,具有能量消耗低、易于部署等特点,适用于对测距精度要求较高的场合。测量信号一般是电磁波信号,传播速度接近于光速,由于光波信号的传递特性,反射、折射、衍射等非直线传播的因素会造成测量时间的偏差,而微小的时间偏差就能导致巨大的距离计算误差[47-49]。故在空旷的环境下,TOF测距能够具有很高准确性,在复杂环境下的情况下,TOF测距通常包含大量的误差。当TOF测距应用于农用无人机避障,更适用于TOF测距原理与其他传感器结合衍生的安全辅助装置。
毫米波雷达,是指工作在微波波段的探测雷达,它的频域为 30~300 GHz[50]。由于农田作业环境复杂,超声波及其他基于光学原理的传感器易受气候条件的影响,而毫米波雷达可全天候工作、穿透能力强、作用距离大、检测可靠、抗电磁干扰[51-53],目前毫米波雷达已广泛应用于汽车避障问题中,例如,车辆的自动巡航导航、前后向防碰撞系统及盲点探测系统与并道辅助系统等,都应用了毫米波雷达传感器来探知车身周围的环境信息[54]。但汽车驾驶场景为二维环境,而农用无人机的避障问题涉及农田复杂的三维环境,相比于其他测距传感器,毫米波雷达分辨率较低,造价高,只能探测平行距离,无法描述避障对象的轮廓及其在视场中的角度[55-56]。它的短距探测能力在农用无人机的避障应用中具有可替换性,如前文提到的超声波、激光、红外等避障测距传感器等都能取而代之。因此,毫米波雷达目前主要应用于农用无人机的仿地飞行系统。如广州极飞科技有限公司的2018款新机型的仿地模块都采用毫米波雷达,最大探测范围可达 30 m,适应复杂多变的农田地貌。深圳大疆创新科技有限公司植保无人机MG-1S的前方、后方与下方分别设置了一部高精度毫米波雷达。前后两部斜视雷达可预先探测地形,并结合下视雷达进行精准定高,但MG-1S也可通过毫米波雷达感知1.5~30 m范围内的障碍物,感知到障碍物后提示飞手,在障碍物前自动稳定悬停并暂停作业。
在视觉避障中,单目视觉测距多采用基于已知运动的测量方法,即利用摄像机的移动信息和摄像机捕获的图片测得深度距离[57-59]。它结构简单、技术成熟且运算速度快[60],但无法直接获取障碍物的深度信息。利用单个特征点进行测量,容易因特征点提取的不准确性,产生误差。对一幅或多幅图片进行特征点的匹配时,匹配误差对测量结果有明显影响,同时处理时间随图片数量的增加而增长[59]。因此,单目视觉测距大多需要在光照均匀的环境下拍摄,且图片必须分辨率高、纹理清晰才能进行有效处理[61]。由于农田作业环境复杂,环境信息量大,算法计算量剧增,单目测距难以满足农用无人机避障问题对实时性、准确率的要求。
双目立体视觉技术是通过借鉴人类双眼感知立体空间的能力,经过双目图像采集、图像校正、立体匹配等步骤得到了视差结果,并计算出场景的深度信息图,进而重建出空间景物的三维信息。立体视觉技术实现障碍物的识别与测距,具备隐蔽性好、信息量全面(障碍物的颜色、纹理等),且能获取场景三维深度信息等优势[7,62-67]。但立体匹配是双目视觉中最困难也最关键的问题,光照变化、场景旋转、目标遮挡、图像分辨率低等因素的影响、干扰甚至淹没目标特征,都易导致目标特征不稳定,使目标物的检测精度下降,同时也缺乏一种能有效平衡双目匹配精度和运算速度的立体匹配算法[7,47]。目前双目立体视觉技术更多地应用于消费级、专业级无人机,例如深圳大疆创新科技有限公司的“御”MAVIC系列,“精灵”Phantom 4系列及“悟” Inspire 2;深圳零度智能飞行器有限公司即将发布的Xplorer 2机型;YUNEEC昊翔公司的台风H及H520等机型均有使用双目立体视觉来实现障碍物的感知及自动避障。在农用无人机的应用中,无锡汉和航空技术有限公司的CD-15型植保无人直升机提供“前后双目+激光”避障系统供用户选配;广州极飞科技有限公司的P30 2018植保无人机则配置了天目Xcope自主避障系统,感知前向环境,可在20 m外识别半径大于5 cm的障碍物并自主绕行,但电线等微小障碍物仍无法实时识别。
将上述各类避障传感器列表进行对比分析,并进行是否适用于农用无人机避障的判断,如表1所示。
表1 各类避障传感器对比Table 1 Comparison of various obstacle avoidance sensors
3 展 望
通过分析国内外农用无人机避障技术的应用现状及各传感器避障方法的对比,由于不同的避障传感器适用于不同的植保环境与避障距离,总体上可以看出,未来农用无人机避障技术的研究方向和研究热点将集中在如下3方面。
3.1 多种组合避障形式
随着精准农业航空技术的进一步发展,多传感器融合的避障系统[68-69]将成为农用无人机实时避障系统的主流趋势。视觉与非视觉传感器的结合,也将提高植保作业的安全性,为自主喷施、智能导航的实现提供多种可能性,因此未来应考虑采用多种组合形式的避障传感器以实现较理想的避障效果。
3.2 实时性主动避障技术
目前农用无人机广泛适用于地面机械难以耕作的农业区域,但提前标定障碍物来获取安全飞行路径的作业模式或搭建飞手临时观察台的方法,并不适用于农情紧急或植保人员无法深入的大面积农田区域。同时基于我国农业生产劳动力持续短缺的严峻现状,实现全天候自主作业将是农用无人机发展的未来趋势之一,自主喷施、连续作业、协同作业[25]的实现离不开避障技术、续航能力的突破。而实时性主动避障技术的实现将大幅提高农用植保无人机农田作业的安全性及智能化程度,为农用无人机变量喷施顺利实施连续作业[70]提供保障,对精准农业航空应用发展及农业航空避障技术的发展起重要的推动作用。
3.3 避障辅助系统开发及避障流程标准化
由于农田环境的复杂多变性及不同传感器适用环境的局限性,难免存在避障传感器无法有效直接检测到微小型障碍物或仅获得不连续、零散的障碍物碎片信息的情况,若仅停留在识别障碍物本身上,技术难度大且短期内难以实现并达到成熟,因此可考虑间接识别方法。例如识别微小型障碍物的替代物,以它作为农用无人机辅助避障方法,并建立农田障碍物的特征数据库,该方法以识别微小型障碍物为主,微小型障碍物的替代物为辅,如电线的替代物为电线杆(塔),树枝的替代物为树冠,以期实现微小型障碍物的有效避障。由于农田作业环境中出现的多为10 kV高压线,一般通过设立一定间距的电线杆来承受电线质量及平衡外界各作用力,但不排除电线塔出现的可能。显然,电线塔比电线杆更易识别。
结合第 1节的作业视场分区和障碍物分类,以双目视觉传感器为例,选取微小型障碍物高压电线为避障目标,农用无人机的微小型障碍物避障流程图如图2所示。
图2 农用无人机微小型障碍物的避障流程图Fig.2 Obstacle avoidance flow chart of micro obstacles for agricultural UAV
本间接避障方法与具体传感器类别无关,即如果用非视觉传感器能实现同样的检测效果,也适用于本避障控制流程。当避障系统检测到的电线轮廓清晰并能有效判别距离时,则可直接根据其深度信息,执行相应的避障指令,该类情况属于直接识别,是一种理想的避障情况。当直接识别微小型障碍物本身失败时,即仅获得轮廓间断、不清晰的障碍物碎片,或根本无法识别时,可间接通过识别视场范围内面积、体积或密度较大的微小型障碍物替代物(如电线的代替物电线杆),再结合微小型障碍物的碎片信息(如不完整的电线轮廓碎片),对缺失的障碍物信息进行评估、补充,还原出障碍物的潜在区域,最后结合深度信息,根据不同的避障区域,执行不同的避障指令。该类间接识别方法可在维持原机身载重量的基础上,利用原有的避障传感器进行避障辅助系统开发,减少直接识别失败时,误识别、误判定对植保作业的影响,并为农用无人机避障问题的研究提供了新思路。避障流程标准化则有利于实现避障动作规范化,避障动作规范化将有利于未来多机型协同作业时获得最佳飞行秩序,促进农业生产效益。避障流程标准化研究将推动农用无人机避障技术的建章立制,为农用无人机实现安全作业及成功避障提供理论支撑和决策支持。
4 结 论
随着国家农机购置补贴引导植保无人飞机规范应用试点工作的推进,深入研究农用无人机避障技术的迫切性不容忽视。加深对新兴避障技术应用的理解,将为农用无人机提供更好的避障方案,为中国农用无人机避障技术的有序发展提供参考,中国必将在精准农业航空避障基础理论研究和相关设备研发方面取得突破,这将有力推动精准农业航空避障技术的快速发展和应用普及,真正实现高效、环保、安全的农业植保要求。
[参 考 文 献]
[1] 国家精准农业航空施药技术国际联合研究中心. 2016年我国农用植保无人飞机发展形势分析与政策建议[Z].广州,2016.
[2] 张东彦, 兰玉彬, 陈立平, 等. 中国农业航空施药技术研究进展与展望[J]. 农业机械学报, 2014,45(10):53-59.Zhang Dongyan, Lan Yubin, Chen Liping, et al. China current status and future trends of agricultural aerial spraying technology in China[J]. Transactions of The Chinese Society of Agricultural Machinery, 2014,45(10):53-59. (in Chinese with English abstract)
[3] 娄尚易, 薛新宇, 顾伟, 等. 农用植保无人机的研究现状及趋势[J]. 农机化研究, 2017,39(12):1-6.Lou Shangyi, Xue Xinyu, Gu Wei, et al. Current status and trends of agricultural plant protection unmanned aerial vehicle[J]. Journal of Agricultural Mechanization Research,2017,39(12):1-6. (in Chinese with English abstract)
[4] 陈盛德, 兰玉彬, 李继宇, 等. 小型无人直升机喷雾参数对杂交水稻冠层雾滴沉积分布的影响[J]. 农业工程学报,2016,32(17):40-46.Chen Shengde, Lan Yubin, Li Jiyu, et al. Effect of spray parameters of small unmanned helicopter on distribution regularity of droplet deposition in hybrid rice canopy[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2016,32(17):40-46.(in Chinese with English abstract)
[5] 薛新宇, 梁建, 傅锡敏. 我国航空植保技术的发展前景[J].农业技术与装备, 2010,277(5):27-28.Xue Xinyu, Liang Jian, Fu Ximin. Prospect of aviation plant protection in China[J]. Agricultural Technology& Equipment,2010,277(5):27-28. (in Chinese with English abstract)
[6] Hilz E, Vermeer A W P. Spray drift review: The extent to which a formulation can contribute to spray drift reduction[J].Crop Protection, 2013, 44(1):75-83.
[7] Stefano Mattoccia, Stereo Vision: Algorithms and Applications[Z/OL]. Citeseer, 2011. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.368.1660
[8] 陈盛德, 兰玉彬, 李继宇, 等. 植保无人机航空喷施作业有效喷幅的评定与试验[J].农业工程学报, 2017,33(7):82-90.Chen Shengde, Lan Yubin, Li Jiyu, et al. Evaluation and test of effective spraying width of aerial spraying on plant protection UAV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2017,33(7):82-90. (in Chinese with English abstract)
[9] 王昌陵, 何雄奎, 王潇楠, 等. 无人植保机施药雾滴空间质量平衡测试方法[J]. 农业工程学报, 2016,32(11):54-61.Wang Changling, He Xiongkui, Wang Xiaonan, et al. Testing method of spatial pesticide spraying deposition quality balance for unmanned aerial vehicle[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016,32(11):54-61. (in Chinese with English abstract)
[10] 王大帅, 张俊雄, 李伟, 等. 植保无人机动态变量施药系统设计与试验[J]. 农业机械学报, 2017,48(5):86-93.Wang Dashuai, Zhang Junxiong, Li Wei, et al. Design and test of dynamic variable spraying system of plant protection UAV[J]. Transactions of The Chinese Society of Agricultural Machinery, 2017,48(5):86-93.(in Chinese with English abstract)
[11] Zhang P, Deng L, Lü Q, et al. Effects of citrus tree-shape and spraying height of small unmanned aerial vehicle on droplet distribution[J]. International Journal of Agricultural and Biological Engineering(IJABE),2017,33(1):117-123.
[12] 杨道锟. 仿鹰眼大视场目标搜索与目标区域空间分辨率提高技术[D]. 北京: 北京理工大学, 2016.Yang Daokun. Object Search and Area Resolution Improved in Large Visual Field Based on Biological Eagle Vision[D].Beijing: Beijing Institute of Technology, 2016.(in Chinese with English abstract)
[13] Eltner A, Schneider D. Analysis of different methods for 3D reconstruction of natural surface from parallel-axes UAV images[J]. The Photogrammetric Record, 2015, 30(151):279- 299.
[14] 周志艳, 臧英, 罗锡文, 等. 中国农业航空植保产业技术创新发展战略[J]. 农业技术与装备, 2014,281(3):19-25.Zhou Zhiyan, Zang Ying, Luo Xiwen, et al. Technology innovation development strategy on agricultural aviation industry for plant protection in China[J]. Agricultural Technology & Equipment, 2014,281(3):19-25. (in Chinese with English abstract)
[15] 薛新宇, 兰玉彬. 美国农业航空技术现状和发展趋势分析[J]. 农业机械学报, 2013,44(5):194-201.Xue Xinyu, Lan Yubin. Agricultural aviation applications in USA[J]. Transactions of the Chinese Society of Agricultural Machinery, 2013,44(5):194-201. (in Chinese with English abstract)
[16] 尹选春, 兰玉彬, 文晟, 等. 日本农业航空技术发展及对我国的启示[J]. 华南农业大学学报, 2018,39(2):1-8.Yin Xuanchun, Lan Yubin, Wen Sheng, et al. The development of Japan agricultural aviation technology and its enlightenment for China[J]. Journal of South China Agricultural University, 2018,39(2):1-8. (in Chinese with English abstract)
[17] 芳賀俊郎. 航空 (有人ヘリ) 防除及び無人ヘリ防除の歩みと今後の展望[J].日本農薬学会誌,2013,38(2): 224-228.
[18] He X. K., Bonds J, Herbst A, et al. Recent development of unmanned aerial vehicle for plant protection in East Asia[J].International Journal of Agricultural & Biological Engineering, 2017,10(3):18-30.
[19] 何雄奎, 程景鸿, 孙海艳, 等. 日本和韩国水稻田植保机械应用考察[C]//第二十八届中国植保信息交流暨农药械交易会论文汇编.北京:中国农业出版,2012:95-99.
[20] Qin Weicai, Qiu Baijing, Xue Xinyu, et al. Droplet deposition and control effect of insecticides sprayed with an unmanned aerial vehicle against plant hoppers[J]. Crop Protection, 2016,85:79-88.
[21] Enderle Bruce. Commercial Applications of UAV's in Japanese agriculture[C]//Proceedings of the AIAA 1st technical conference and workshop on unmanned aerospace vehicles. Portsmouth, Virginia: American Institute of Aeronautics and Astronautics. AIAA-2002-3400, 2002.
[22] Bae Y, Koo Y M. Flight attitudes and spray patterns of a roll-balanced agricultural unmanned helicopter[J]. Applied Engineering in Agriculture, 2013,29(5):675-682.
[23] 檀律科, 何志文, 薛新宇, 等. 美国农用无人机的发展困境及启示[J]. 浙江农业科学, 2014(11):1660-1664.
[24] Lan Y B, Chen S D, Fritz B K. Current status and future trends of precision agricultural aviation technologies[J].International Journal of Agricultural & Biological Engineering, 2017,10(3):1-17.
[25] Wang Zhigang, Lan Yubin, Clint H W, et al. Low altitude and multiple helicopter formation in precision aerial agriculture[C]//2013 ASABE Annual International Meeting.Kansas, ASABE, 2013, Paper No.131618681.
[26] Luongo S, Vito V D, Fasano G, et al. Automatic collision avoidance system: Design, development and flight tests[C]//Digital Avionics Systems Conference. IEEE, 2011.
[27] 卢璐, 耿长江, 边玥, 等. 基于RTK的BDS在农业植保无人直升机中的应用[C]//第八届中国卫星导航学术年会论文集,上海, 2017:1-4.Lu Lu, Geng Zhangjiang, Bian Yue, et al. Application of agricultural plant protection UAV based on BDS-RTK[C]//8th China Satellite Navigation Conference. CSNC, 2017: 1-4.(in Chinese with English abstract)
[28] Fahlstrom P G, Gleason T J. Introduction to UAV systems[M]. John Wiley & Sons, 2012.
[29] 王盟.基于DSP与超声波测距的农业机器人定位与避障控制[J]. 农机化研究, 2017,39(8):207-211.Wang Meng. Localization and obstacle avoidance control of agricultural robot based on DSP and ultrasonic distance measurement[J]. Journal of Agricultural Mechanization Research, 2017,39(8):207-211. (in Chinese with English abstract)
[30] 刘海波, 李冀. 浅析无人机自动避障系统[J]. 中国计量,2017(9):84-85.
[31] 程珩, 李瑾, 靳宝全. 基于无源自振抑制的小盲区超声测距方法[J]. 振动·测试与诊断, 2015(2):369-374.Cheng Heng, Li Jin, Jin Baoquan. Research of small blind zone ultrasonic ranging method based on natural vibration restraining[J].Journal of Vibration, Measurement &Diagnosis.2015(2):369-374. (in Chinese with English abstract)
[32] 黄娟, 张碧星, 阎守国, 等.一种无人机避障装置和方法CN201710294617.2 [P]. 2017-10-03.
[33] 刘慧. 基于超声波测距技术的小型无人机高度测量方法研究[D]. 内蒙古: 内蒙古工业大学, 2015.Liu Hui. Research on Method of Altitude Measuring based on Ultrasonic Ranging for SUAV[D]. Inner Mongolia: Inner Mongolia University of Technology, 2015. (in Chinese with English abstract)
[34] 马大猷, 沈㠙. 声学手册[M]. 北京:科学出版社, 2004.
[35] 文恬, 高嵩, 邹海春. 基于激光测距的无人机地形匹配飞行方法研究[J]. 计算机测量与控制, 2015(9):3209-3212.Wen Tian, Gao Song, Zou Haichun. Based on laser ranging method research of UAV terrain matching flight[J].Computer Measurement & Control, 2015(9): 3209-3212.(in Chinese with English abstract)
[36] Zhao Huijing, Liu Yiming, Zhu Xiaolong, et al. Scene understanding in a large dynamic environment through a laser-based sensing[C]//IEEE International Conference on Robotics and Automation. IEEE, 2010,58(8):127-133.
[37] Kobayashi Y. Laser range finder: D723,080[P].2015-02-24.
[38] Houshiar H, Elseberg J, Borrmann D, et al. A study of projections for key point based registration of panoramic terrestrial 3D laser scan[J]. Geo-spatial Information Science,2015,18(1):11-31.
[39] 周龙. 基于立体视觉和激光扫描的无人机自主导航场景测量研究[D]. 南京: 南京航空航天大学, 2012.Zhou Long. Scene Measurement in UAV Navigation based on Stereo Vision and Laser Scanning[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2012. (in Chinese with English abstract)
[40] 黄士科, 夏涛, 张天序. 基于红外图像的被动测距方法[J].红外与激光工程, 2007(1):109-112.Huang Shike, Xia Tao, Zhang Tianxu. Passive ranging method based on infrared images[J]. Infrared and Laser Engineering, 2007(1):109-112. (in Chinese with English abstract)
[41] 路远, 冯云松, 凌永顺, 等. 红外三色被动测距[J]. 光学精密工程, 2012,20(12):2680-2685.Lu Yuan, Feng Yunsong, Ling Yongshun, et al. Infrared three-color passive ranging by colorimetric method[J]. Optics and Precision Engineering, 2012,20(12):268-2685. (in Chinese with English abstract)
[42] 王和平, 汪骏, 申争光. 基于红外与雷达一体化吊舱的直升机安全避障技术[J]. 科技创新导报, 2014(29):56-59.Wang Heping, Wang Jun, Shen Zhengguang. Helicopter pods-based obstacle avoidance technology using infrared imaging and radar[J]. Science and Technology Innovation Herald, 2014(29):56-59. (in Chinese with English abstract)
[43] Uzkent B, Hoffman M J, Vodacek A, et al. Feature matching with an adaptive optical sensor in a ground target tracking system[J]. Sensor Journal, IEEE, 2015, 15(1):510-519.
[44] 朱丽华. 无人飞行器自主检测与避障技术研究[D].南京:东南大学,2016.Zhu Lihua. Sense and Avoid Technology for Unmanned Aircraft Vehicles[D]. Nanjing: Southeast University, 2016.(in Chinese with English abstract)
[45] 王云舒, 刘建业, 曾庆化, 等. 结构光辅助的惯性/视觉室内导航三维环境重构方法[J]. 中国惯性技术学报,2016(1):51-58.Wang Yunshu, Liu Jianye, Zeng Qinghua, et al. 3D environment restructure method with structured light for indoor vision/inertial navigation[J]. Journal of Chinese Inertial Technology, 2016(1):51-58. (in Chinese with English abstract)
[46] 刘艳. 机器人结构光视觉系统标定研究[D]. 北京: 北京理工大学, 2015.Liu Yan. Research on Robotic Structured Light Vision System Calibration[D]. Beijing: Beijing Institute of Technology, 2015. (in Chinese with English abstract)
[47] Thorbjornsen B, White N M, Brown A D, et al. Radio frequency (RF) time-of-flight ranging for wireless sensor networks[J]. Measurement Science & Technology, 2010,21(3): 35202.
[48] 车志平. 基于 TOF测距的无线传感器网络定位技术研究[D]. 大连:大连理工大学, 2016.Che Zhiping. The Research of Localization Technology based on TOF Ranging in Wireless Sensor Network[D].Dalian: Dalian University of Technology, 2016. (in Chinese with English abstract)
[49] Lanzisera S, Lin D T, Pister K S J. RF time of flight ranging for wireless sensor network localization[C]// International Workshop on Intelligent Solutions in Embedded Systems.Vienna, IEEE, 2006,53(2):1-12.
[50] 冀连营. 小型民用毫米波雷达及其应用[Z].
[51] 丁鹭飞, 耿富录, 陈建春. 雷达原理(第五版)[M].电子工业出版社,2015.
[52] Rankin G, Tirkel A, Leukhin A. Millimeter wave array for UAV imaging MIMO radar[C]//16th International Radar Symposium(IRS). Dresden, IEEE, 2015:499-504.
[53] 万永伦,刘进军.一种基于毫米波雷达的无人机避障系统CN107678030A[P].2018-02-09.
[54] 褚红军. 24GHz汽车毫米波雷达系统分析与频率源关键技术研究[D]. 哈尔滨:哈尔滨工业大学, 2015.Chu Hongjun..Analysis And Research Of 24GHz Automotive Radar System and the Key Techniques of the Frequency Source[D]. Harbin: Harbin Institute of Technology, 2015.(in Chinese with English abstract)
[55] 向敬成, 张明友. 毫米波雷达及其应用[M]. 北京:国防工业出版社, 2005.
[56] Jin L, Fu M Y, Wang M L, et al. Vehicle detection based on vision and millimeter wave radar[J]. Journal of Infrared &Millimeter Waves, 2014,33(5):465-471.
[57] 韩邢健. 基于单目视觉的无人机自主避障算法研究[D].哈尔滨: 哈尔滨工程大学, 2016.Han Xingjian. Reasearch on Autonomous Obstacle Avoidance Algorithm for UAV based on Monocular Vision[D]. Harbin: Harbin Engineering University, 2016.(in Chinese with English abstract)
[58] Zhang Zhengyou. A flexible new technique for camera calibration[J]. Tpami, 2000, 22(11):1330-1334.
[59] 韩延祥, 张志胜, 戴敏. 用于目标测距的单目视觉测量方法[J]. 光学精密工程, 2011,19(5):1110-1117.Han Yanxiang, Zhang Zhisheng, Dai Min. Monocular vision system for distance measurement based on feature points[J].Optics and Precision Engineering, 2011,19(5):1110-1117.(in Chinese with English abstract)
[60] 张跃东, 李丽, 刘晓波, 等. 基于单目视觉的无人机障碍探测算法研究[J]. 激光与红外, 2009(6):673-676.Zhang Yuedong, Li Li, Liu Xiaobo, et al. Obstacle detection for unmanned aerial vehicle based in monocular vision[J].Laser & Infrared, 2009(6):673-676. (in Chinese with English abstract)
[61] 赵海, 陈星池, 王家亮, 等. 基于四轴飞行器的单目视觉避障算法[J]. 光学精密工程, 2014,22(8):2232-2241.Zhao Hai, Chen Xingchi, Wang Jialiang, et al. Obstacle avoidance algorithm based on monocular vision for quad-rotor helicopter[J]. Optics and Precision Engineering,2014,22(8):2232-2241.(in Chinese with English abstract)
[62] 苏东. 基于双目视觉的小型无人飞行器的导航与避障[D].成都: 电子科技大学, 2014.Su Dong. Navigation And Obstacle Avoidance for Miniature UAV based on Binocular Stereo Vision[D]. Chengdu:University of Electronic Science and Technology of China,2014. (in Chinese with English abstract)
[63] 张梁, 徐锦法, 夏青元. 双目立体视觉的无人机位姿估计算法及验证[J]. 哈尔滨工业大学学报, 2014(5):66-72.Zhang Liang, Xu Jinfa, Xia Qingyuan. Pose estimation algorithm and verification based on binocular stereo vision for unmanned aerial vehicle[J]. Journal of Harbin Institute of Technology, 2014(5):66-72. (in Chinese with English abstract)
[64] Johnson E N, Calise Anthony J, Watanabe Y, et al.Real-Time vision-based relative aircraft navigation[J].Journal of Aerospace Computing Information &Communication, 2007,4(4):707-738.
[65] Wagter C D, Bijnens B, Mulder J A. Vision-only control of a flapping MAV on mars[C]//AIAA Guidance, Navigation and Control Conference and Exhibit,2013.
[66] 朱平, 甄子洋, 覃海群, 等. 基于立体视觉和光流的无人机避障算法研究[J].电光与控制, 2017,24(12): 31-35.Zhu Ping, Zhen Ziyang, Qin Haiqun, et al. Stereo vision and optical flow based obstacle avoidance algorithm for UAVs[J].Electronics Optics & Control, 2017,24(12): 31-35.
[67] 张天翼, 杨忠, 胡国雄, 等. 基于双目视觉与光流融合的无人机避障方法及系统: CN106681353A[P]. 2017-05-17.
[68] 李国红, 李文宇, 张俊霞. 无人机系统关键技术专利态势研究[J].电信网技术, 2017(3):30-36.Li Guohong, Li Wenyu, Zhang Junxia. Research on the patent situation of the key technology of UAV system[J].Telecommunications Network Technology, 2017(3):30-36.(in Chinese with English abstract)
[69] 徐兴, 王臻杰, 李君, 等. 基于三级避障机制的果园植保无人机避障装置及方法: CN201611251528.1[P]. 2016-12-30.
[70] Giles D K, Billing R, Singh W. Performance results, economic viability and outlook for remotely piloted aircraft for agricultural spraying[J]. Aspects of Applied Biology, 2016(132): 15-21.