基于塔基视频的自然资源智能监测关键技术研究与实践

陈慧玲，戚知晨，韩 雪，冯宁宇，阮 婧，李春婷

（1.江苏省国土资源动态监测中心，江苏 南京 210017；2.自然资源部国土空间大数据工程技术创新中心江苏分中心，江苏 南京 210017；3.南京国图信息产业有限公司，江苏 南京 210036；4.南京师范大学地理科学学院，江苏 南京 210023）

0 引言

《国务院关于加强数字政府建设的指导意见》明确指出，加强数字政府建设是适应新一轮科技革命和产业变革趋势、引领驱动数字经济发展和数字社会建设、营造良好数字生态、加快数字化发展的必然要求，是建设网络强国、数字中国的基础性和先导性工程。时空信息作为数字经济的重要战略性数据资源，为经济社会发展提供统一的空间定位框架和分析基础，赋能数字中国建设，驱动各行各业数字化转型升级。视频监控一直是时空信息主要获取途径之一，被广泛应用于城市安防[1]、森林防火[2]、林火定位[3]、交通监测[4]等领域。

在自然资源监测领域，视频监控因其实时、互联等特点，逐渐受到青睐。自2015 年以来，江苏、浙江、江西、湖南等省份相继开展自然资源塔基视频监控项目，实现疑似违法建设行为“发现在初始、解决在萌芽”的目标。张毅等[5]基于江苏省“慧眼守土”信息化成果，对基于塔基视频的自然资源智能感知模式进行研究和思考，分析了塔基视频监控在自然资源领域的发展方向和应用前景。为了减轻视频监控人工值守的压力，视频监控与人工智能（AI）、地理信息系统（GIS）等技术结合是近年自然资源智能监测技术的热门研究之一。陈慧玲等[6]以三维地理场景为底图，融合无人机实时视频，进行无人机实时视频的地理投射，提供从数据采集到场景展示的全流程服务，满足面向重大项目会商的无人机辅助决策需求。Shao 等[7]通过自动特征匹配方法实现矢量数据与监控视频对齐，识别农田的破坏行为。李守杰等[8]总结传统视频监控的不足，将云计算技术和云存储技术融入基于云平台架构的视频监控系统，实现城市轨道交通监测。为了满足智能监控对复杂地理场景下全方位时空信息的感知需求，李景文等[9]提出多摄像头协作的视频监控图像与地理空间数据互映射模型构建方法，实现多角度下的连续跟踪。

塔基视频监控技术虽有效弥补了卫星遥感实时性不足、分辨率低等缺陷，但在自然资源监测工作中仍存在监控设备安置成本高、监控范围有限、智能分析能力弱、目标空间定位不准等问题。相关问题具体表现如下：原有监控点位布设方案难以定量化分析覆盖范围，监控设备布设科学性有待提升；目标检测技术落后，存在检测对象单一、检测精度不足的问题，无法有效减轻基层执法人员的工作负担；视频定位方法精度低，阻碍塔基视频检测与后续核查工作的衔接。因此，本文通过引入AI、大数据等新一代信息技术，从布设优化、目标检测与空间定位3 个方向开展自然资源塔基视频智能监测关键技术研究，为科学高效地开展自然资源塔基视频监测应用建设提供技术支撑。

1 总体思路

本文以江苏省“慧眼守土”建设成果为基础，聚焦如何提升塔基监控设备监管范围、提高目标检测准确度、降低空间定位误差等实际应用难题，开展自然资源塔基监控设备布局优化与目标空间定位技术研究与应用，如图1 所示。

图1 总体思路

（1）从设施空间优化角度，研究高空间覆盖塔基摄像头布设优化方法。基于塔点坐标、相机性能、监测范围及地形等信息，以塔基视频监控为应用出发点，设计最优的摄像头布设方案，提升塔基监控设备布局科学性，化解塔基监控设备成本和监控覆盖范围的矛盾。

（2）从AI 角度，研究面向自然资源监管的目标检测与过滤技术。根据自然资源监测监管业务，构建视频目标监测样本集，训练基于深度学习框架的目标检测与场景分割模型，实现考虑地理场景的高精度视频目标检测，突破顾及自然资源监管场景的疑似违法行为检测技术瓶颈，提升自然资源监测监管智能化程度。

（3）从视频到地理空间融合定位角度，研究多倍焦距单目监控摄像机远距离定位算法。根据摄像头姿态、视频目标像素信息及遥感影像，建立单目相机视地空间双向映射模型，支持视频到地图、地图到视频的双向定位，化解基于单目相机的地理空间定位难题，降低室外复杂环境对定位的影响，满足自然资源监测监管对塔基视频监控定位精度的需求。

2 关键技术

2.1 高空间覆盖塔基摄像头布设优化方法

目前，已安装的塔基视频监控设备存在相邻点位监控区重叠度高、监测范围受地物遮挡影响等问题。如何科学设计塔基视频监控点布设并优化现有视频监控设备布设，是塔基视频监管效率提升的首要技术难题。视频监控布设空间优化是一个非确定性多项式难题。几百平方千米或几千平方千米的视频监控布设研究增加地理场景复杂性和候选点位数量，导致选址问题的求解难度急剧增大，三维地理场景中的求解难度更大，面临计算规模大、时间复杂度高、解集质量低的挑战[10]。

由于塔基视频监控设备可以布设在建筑物外立面、通信铁塔基站、路灯竖杆等载体，本文充分考虑安装位置的高程信息和载体高度信息、周边地物高程信息，将这些要素信息作为三维地理场景中的静态和动态部分，增加视频监控布设方案的合理性。针对塔基摄像头空间优化方法中的视频监控点视域分析计算耗时长问题，基于三维地理场景视域分析理论，提出稀疏地形视域分析算法，构建多视域代价矩阵。较传统的视域分析方法而言，该方法在保证视域分析精度的前提下，简化了三维地理场景下视域分析求解问题，提高算法计算效率。本文引入遗传算法并顾及空间特征，对算法中的空间编码算子、调平算子、种群适应度算子等进行改进，最终形成高空间覆盖塔基摄像头布设优化方法。提出高空间覆盖塔基摄像头布设优化方法，顾及摄像头点位的空间特征，实现空间优化算法智能进化搜索能力与GIS 空间数据处理能力的融合，可为三维地理场景下视频监控布设空间优化配置提供参考。

2.2 面向自然资源监管的目标检测与过滤技术

建设用地表现特征复杂，各类建设用地内的建设行为也不尽相同。例如，城市居民点建设用地存在大面积脚手架、多台塔吊、混凝土泵车等大型施工机械建设行为，乡村建设用地存在堆土、堆砖、搅拌机等建设行为。如何顾及不同建设用地内的建设行为差异性[11]、提升建设行为目标检测模型的适用性，是自然资源塔基视频目标检测研究的难点之一。同时，道路上停靠或行驶的目标物会产生大量的无效检测，无效检测去除是此项技术研究的另一个难点。

本文深入分析各类建设用地的建设行为，将在建房屋、板房棚房、堆砖等31 类建设行为确定为本文目标检测模型的检测对象，并对每类对象进行明确定义，以便准确标注视频、照片中符合定义的目标对象，保证目标检测模型的样本质量。在明确建设行为检测对象的基础上，开展数据筛选、标准化处理及图像标注，构建建设行为目标检测样本集。基于深度学习开源框架快速构建与训练区域卷积神经网络（Faster R-CNN）模型，通过分析准确率、召回率、平均精度（mAP）等评价指标，获得符合应用要求的建设行为目标检测模型。针对目标检测模型产生大量无效检测的情况，融入场景特征思路，基于掩膜区域卷积神经网络（Mask R-CNN）训练场景分割模型，实现照片内容场景划分，将目标检测结果与场景分割结果结合，过滤无效场景中的目标对象，减少无效的目标检测对象数量。

2.3 多倍焦距单目监控摄像机远距离定位算法

当前，基于单目监控摄像机的监控画面中目标空间定位成为塔基视频监测技术的重要研究方向[12]。基于单目相机的视频空间定位技术旨在实现单目相机视频画面像素坐标转到地理坐标、地理坐标转到像素坐标的双向定位[13]。现有单目视觉定位方法主要利用先验信息融合、三维模型匹配、深度估计等手段对单目图像进行直接回归，从而实现目标对象空间定位，但多适用于近景空间定位与融合，难以实现远景定位精度，无法达到应用标准。

随着虚拟地理环境技术的发展，特别是三维地理场景构建精度的提升，物理世界已逐步采用三维地理场景孪生表达。同时，视频GIS 技术快速发展，监控视频与三维地理场景实现高精度融合表达，为基于单目监控摄像机的目标空间定位提供了新途径。因此，本文以单应性变换理论为核心，结合自然资源塔基监控设备的多角度、可变焦功能特性，设计了多倍焦距单目监控摄像机远距离定位算法。根据相机成像原理和特征点提取匹配技术，生成多倍焦距图片搜索树，对1 倍焦距下的基准图片进行标定，建立视频抓拍图片与遥感影像之间的映射关系，通过图像匹配技术生成全方位、多倍焦距的相机定位模型。在实际定位时，对相机抓拍的照片与图片树中的图片进行配对搜索与透视变换，实现抓拍图片转到匹配图片的视角，通过相机定位模型实现空间定位，以此满足高塔摄像头监控定位的实际需求，提升监控监管的智能化水平。

3 应用实践

3.1 实验区塔基视频建设及应用概况

2017—2021 年，江苏省已部署1∙8 万多个点位，构建了覆盖率较高的视频监控体系[5]。以“四全七自”为目标，在2 个地级市、6 个县开展实时智能监管试点工作，推动自然资源违法行为自动预警、及时发现、及早处置工作。本文基于江苏省“慧眼守土”实时智能监管试点工作成果，开展随机实验区的关键技术应用验证。

3.2 塔基摄像头布设优化

本文以苏南某地已布设的100 个塔基摄像头点位为基础，结合当地视频监控候选点位进行优化设计，对已布设的摄像头点位进行增删替换，重新选定并布设100 个塔基监控点位，提高监测区域内的耕地监测覆盖度。利用高空间覆盖塔基摄像头布设优化方法对当地摄像头点位进行优化，并对比分析摄像头点位优化前和优化后的耕地监测情况。78 个优化后的塔基摄像头点位与优化前的点位重合，本文仅需将原来的22 个点位进行调整，即可增加5∙5%的耕地监测面积，可在一定程度上减少人力投入和视频监控设备购买成本。基于30 米DEM 数据，以1∙5 km 为监测半径对优化布设后的点位进行覆盖度评价计算，得出可监测耕地面积占比（93∙6%），该方案能够在现有摄像头点位基础上尽可能最大化监测范围。

3.3 “非农化”目标检测实现

本文利用全省“慧眼守土”摄像头抓取建设用地图像73 217 张。对原始图像进行预筛选和标注，生成101 472 个“非农化”建设行为目标检测的样本数据集。基于Faster R-CNN 和Mask R-CNN 经典深度网络，分别训练“非农化”建设行为的目标检测模型与场景分割模型，基于面向自然资源监管的目标检测与过滤技术构建“非农化”建设行为智能检测能力。随机选取苏南、苏中、苏北地区的“慧眼守土”摄像头并实时抓拍图片，开展耕地中疑似“非农化”建设行为识别测试，对测试结果进行分析计算，得到评价结果，如表1 所示。

表1 算法精度评价结果

从精度评价结果看，训练后的“非农化”建设行为目标检测模型具有较高的检测精度，其中，模型检测准确率达79∙3%，召回率达80∙14%，平均精度达83∙44%。同时，串联场景分割模型并进行目标检测过滤，筛选剔除道路上的误检，极大减少无效提取，如图2 所示。本文提出的面向自然资源监管的目标检测与过滤技术能够满足耕地“非农化”监测要求。

图2 基于塔基视频的“非农化”建设行为检测

3.4 单目摄像机远距离定位实现

本文基于多倍焦距单目监控摄像机远距离定位算法，随机挑选“慧眼守土”摄像头并进行标定，验证单目相机不同焦距（Z）下的定位精度，如图3 所示。由图3 可以发现，本方法仍能够对不同焦距下目标物体进行定位，但随着焦距变大、定位距离变远，该方法的定位误差也在增大。通过不同焦距下的定位误差对比发现，本方法可以完成不同焦距下的目标定位，且目标距离摄像头800米以内的定位误差稳定在20 米以内。

图3 不同焦距下定位示意

4 总结与展望

在自然资源领域，视频监控技术凭借其实时监测的优势正逐渐成为主要监测技术手段之一。本文以江苏省“慧眼守土”摄像头为研究对象，围绕视频监控实际应用中的监测覆盖率低、目标检测误差高、定位精度弱等难点，设计了高空间覆盖塔基摄像头布设优化方法，突破了三维地理场景下大规模点位组合求解难、视域分析耗时长等瓶颈，提高了空间优化解集质量；提出了面向自然资源监管的目标检测与过滤技术，实现了建设行为的智能化高精度识别，有效降低误报率，减轻基层工作人员核查压力；构建了多倍焦距单目监控摄像机远距离定位算法，实现单目监控摄像机条件下的建设行为多倍焦距、远距离定位，辅助人工快速判定建设行为的合法性。

本文提出的关键技术成果虽然解决了塔基视频在自然资源领域应用的部分难题，但技术的精确度、可靠性、稳定性仍需在实践工作中进一步提升。同时，塔基摄像头由于安装高度受限于铁塔高度，其监控视野容易受房屋和树木遮挡，无法实现自然资源全覆盖监管。未来应深入考虑自然资源监测业务的“天、空、地、人、网”全方位智能感知监测需求，从实际业务及工作场景出发，整合现有智能监测技术及监管业务流程，突出优势互补，构建面向自然资源行业的全方位智能感知监测监管应用模式，显著提升自然资源行业感知监测监管能力和智能化水平。