无人机+5G+AI技术在生态环保领域的应用

华为技术有限公司 潘 伟

在江南一些城市，市中心常常分布着兼具景观和旅游价值的湖泊水体，湖畔岸边很容易有游人或本地居民支杆垂钓，此类情况经固定摄像头或群众举报，容易实现快速现场执法或者无人机喊话驱离；但难点在于，深夜凌晨在远离岸边难以被巡视人员发现的位置，容易发生不法人员驾驶船只的偷捕鱼现象。利用小汽艇或者皮划艇、以及潜水衣装置，不法人员放在车辆后备箱或车厢，容易携带快速移动，夜晚在湖边可用很短时间穿戴布置，快速下水到达远离岸边的位置，然后撒网打捞，给湖里的环境生态带来严重破坏。由于水体庞大，下水位置分布广数量多，基本防不胜防，出动船只动静大，时效性无法保障，可疑船只容易吓跑，无人机手工巡航无法保障效率，能否发现船只纯靠运气。基于人工经验进行简单治理，已经无法满足城市治理智能化的要求。

基于智慧城市数字底座，并融入本地生态，华为不仅可以利用AI为无人机赋能，还能调用和编排无人机的机队管理和路线规划能力，实现例行和任务性的夜晚偷捕鱼巡查，灵活机动，打通流程，提升现场处置的执行效率。

1 AI实现对远红外物体和人体的深度学习

首先，无人机在空中拍摄湖边下方活动的船只和人体，尤其是在夜视环境下，使用硬件堆叠、星光、黑光技术可以改善视频、图像采集和识别中的遮挡、运动模糊、光线反射、背景噪音等，这固然会降低算法识别的难度，但也并非万能，会产生拖影、红外成像关联、安全性等系列问题。

通过AI深度学习技术的加持，可以实现在夜晚湖面、凸起的地貌、月光、远方建筑物灯光等混杂背景下，对船只和人体的准确识别。AI算法将红外图像灰度化的同时，对视频中的捕鱼背景进行序列建模，区分出船只在画面中的前景区域，通过自适应混合高斯模型算法，比较前景和背景模型的方差，从而捕获出区别，实现前后景分割。经过多次图像形态学变化，前景噪音被过滤，留下可能为船只和捕鱼人的候选目标，再经过卷积神经网络的处理，帮助将热成像的船只、人影轮廓非线性回归与可见光影像的图像库相匹配，通过损失函数进行训练，最小化误差，从而构建出相对准确的船只和人影图像。

图1 夜晚偷捕鱼AI识别样例

针对远红外识别这种任务模式，华为IOC数据底座可提供一种全优的技术路径。IOC的大数据和AI中台能力，通过使用大量红外热成像训练的ResNeXt深度模型，可以构建超过100层的深度学习网络，从而得到更强的表征能力，大大提升识别效果。这样，经过混合高斯前景分割，经过后处理，在进行深度学习二次验证识别，最终识别出是否为船只或者捕鱼人。

2 IOC融合全优的技术路径

IOC致力于服务城市治理的全生命周期，优化从事件发生到处置的闭环过程，中间可以编排、联动，最小化人工干涉和运维成本，提升运营能力，关键技术包括：

视频数据采集：视频云支持H.264、H.265视频编码格式，接收、存储从互联网传输过来的无人机拍摄的实时视频流，并通过API接口向AI中台开放视频的抓取和调阅服务。

5G网络：赋予无人机5G低延迟大带宽数据传输能力，可支持4K的超高清影像传输和实时消费，实现偷捕鱼行为一经无人机视野将立即报警。

AI算法调度：AI中台调用无人机传回的视频流信息，结合视频时间点以及飞行数据信息，可以计算发现偷鱼船只的经纬度坐标，并进一步计算船只的类型、数量，分布在一艘或多艘船只上的人员数量，发送不同级别的报警信息给工单预处理和分拨系统。

应用集成和消息集成：由API网关扮演业务中台的角色，接收AI中台推送过来的偷捕鱼识别数据，并组装其他业务逻辑，如无人机的实时位置、航程、电量信息，通过消息中间件服务，将数据排成消息队列，发送到需要进行实时消费的可视化界面或其他业务系统。

大数据分析处理：负责偷捕鱼识别的深度学习，并根据不同业务用途，通过数据治理将偷捕鱼数据包装成不同的专题，定义数据维度结构，支撑针对不同用户投放个性化的专题内容。

调度无人机机队管理能力：华为合作伙伴的机库和管理软件，能够实现无人机全自动调度、自动驾驶，机库可自动放飞、回收和充电，支持飞行报文实时回传给IOC，并实现调度能力开放。

这样，在城市的偷捕鱼治理新模式将转变为：IOC控制无人机库按重点区域、时间、任务等因素制定无人机队的飞行路线和任务规划，无人机自动放飞实现例行巡航，当发现偷捕鱼现象后，AI算法自动识别船只的位置数量、人员数量以及行为，甚至可以先于工单利用机载的声光装置驱离违法人员，生成工单的周期被缩短到几分钟，在附近的执法船只到达现场之前，违法人员的行为已经得到制止。地方执法局领导可使用移动APP，查看实时和历史偷捕鱼识别视频、工单处置、作业历史统计情况；无人机的飞行任务、飞行轨迹、以及产生工单的明细记录，执法队员不再深夜时分对着无人机控制台手动操作，而是有的放矢，精准出动执法。新模式体现了技术的人文关怀，使执法人员不再千日防贼，后知后觉。

3 能力集成支撑专管和群管结合的执法体系

当前，国家三令五申强调保护长江流域渔业和生态资源，近日一些省份的农业、人社和财政部门联合发文，明确支持建立协助巡护队伍。协助巡护队伍不具备执法资格，但在执法人员带领下，可以协助对非法捕捞案件现场进行证据收集和临时处置；要求各地要制定科学合理的装备配备计划规划，根据执法需求提供必要的船艇、车辆以及取证、通讯和安全防护等设施装备。

华为IOC能够在算法演进、应用协同、场景联动、运营能力提升等方面，支撑建立城市或区域的新非法捕捞监管体系：

算法演进：群访群管，势必会扩大偷捕鱼监管的地域范围和识别模式，对于河道人工拉网捕鱼、下水捕鱼、岸线垂钓等动作场景，IOC可支持算法进一步细分、演化，可调动无人机、分布在水体岸线的固定摄像头、无人船出勤，持续积累素材，训练算法准确性。

应用协同：加强IOC与应用系统的横向协同，如协管员用手机抓拍违法捕捞现象，可使用网格通或者12345服务热线上传截图或视频并生成工单，工单系统调用AI算法识别确认事件的真实性，用来取代效率较低的人工判别。另外，IOC可驱动无人机机载装置实现服务化，做到能力外放，如发现偷捕鱼现象后，通过可编程的方式控制无人机自动悬停、调近焦距，对准船只方向，进行更精细的行为识别。

场景联动：视频云管理着分布在河湖岸线的高空摄像头、道路卡口摄像头，可对高空摄像头绑定偷捕鱼识别算法，调度云台转动和调焦，发现可疑船只出没后呼唤无人机自动在事发地点上空逡巡核实；可研选多发区域的偷捕鱼路线，加强业务编排能力，在事前预防阶段，实现车辆类型识别、车牌识别和人脸识别和偷捕鱼算法的联动，当高发区域周边路段发现在凌晨时分，有前科的车辆或者人员出没，可提前触发预警。

运营能力提升：大数据平台形成常态化的数据分析服务，对无人机任务、工单、执法组织、协管组织、道路交通、摄像头、偷捕鱼事件等主题数据做深度分析，为工单和现场执法系统提供深加工的数据服务，优化任务出勤路线、周边资源、处置方案和跨部门协同，提升工单转化和现场处置效率，并形成可适合在不同屏幕上投放的偷捕鱼治理月度、季度统计报告，执法协管队伍的KPI分析报告等，实现集约化运营。

这样，围绕核心的AI识别能力，IOC采用技术手段，能够配合政府管理手段的流程再造，对内能够疏通、重建政府原有的工作流程，把线下的工作转移到线上，外部能够实现应用融合，适应各种环境的变化而无需人工介入，真正实现智能化、自动化的城市治理新模式。