基于全景视频图像拼接融合的城市布控技术分析

陈彪

摘要：本文提出基于全景视频图像拼接融合技术的城市布控研究分析，旨在通过基于全景视频图像拼接融合技术，利用算法，实现城市3D定位、全景标注、全景切换、高低联动、多维感知的城市布控，实现城市的智慧管理。

关键词：全景视频;图像拼接;图像拼接;城市布控;算法

1 基于全景视频图像拼接融合的城市防控应用场景

1.1 技术概述

基于全景视频图像拼接融合技术的城市布控主要是通过算法对视频图像进行特征提取、度量，对图像进行配准，基于交集特征，对图像进行拼接融合，生成广视角下的高分辨全景图像。该全景图像包括了场景中的各类信息特征，用户可以通过防控成像设备、信息技术手段（如算法等）对全景图像中的场景信息特征进行处理。

1.2 实现场景

在通过该技术可以实现以下应用功能：

第一，3D定位：在城市高点部署多目全景相机，覆盖水平180°或者360°全场景，并通过高倍率特写跟踪摄像机关注局部重点目标，兼顾全景和细节;

第二，全景标注：结合AR增强现实技术，通过算法分析对视野中覆盖的监控资源、建筑物、区域、道路、重点目标、警力资源进行信息标注和实时叠加，分类分层展现;

第三，全景切换：通过算法分析目标类型、目标对象、重要度对系统内的监控点位进行快速查询定位;

第四，高低联动：通过在城市部署高低点多目全景相机、联动联控，实现全景视频标签的高低监控切换，从不同角度和位置查看局部细节情况，高低协同、高高协同、低低协同，立体化防控。

2 基于全景图像拼接融合的城市防控技术重点分析

2.1 重点技术问题

本文结合城市防控需求，针对全景图像拼接融合技术展开研究分析，总结基于全景图像拼接融合的城市防控技术解决的重点问题如下：

第一，全景拼接的硬件系统：把控全景视角需求的硬件的设计要求、图像帧率和图像质量;

第二，图像畸形矫正处理：通过多目摄像接收到的特征图无法直接进行特性算法处理，需要对部署的多目全景传送来的摄像图像进行图像畸形矫正处理;

第三，图像信息的稳定性：为了保障算法的训练效果和收敛性，需要对图像进行信息统一变换处理，保持图像特征变化的一致性（如：尺寸變化、图像旋转、亮度变化等），在进行图片信息稳定性处理的同时要保障不同视角变换、噪声干扰下的特征信息不丢失;

2.2 技术问题思考

针对复杂全景场景下，普通摄像头局限于硬件而无法兼顾广视角和高分辨的矛盾展开分析，提出基于全景图像拼接融合技术，通过多目摄像获取多图像，对图像进行特征提取、度量、拼接，输出包含布控场景下的所有场景的高分辨率特性信息，满足城市布控的图像需求。针对上述全景图像拼接融合的重点技术问题展开分析，基于全景图像拼接融合的城市防控技术方案内容应当从下方面着重展开论述研究：

（1）全景图像拼接融合技术的整体框架

深入研究基于全景图像拼接融合的城市防控技术整体框架，包括所涉及的基本原理及实现方法。对各个步骤（如图像畸变矫正、图像配准、图像融合等）进行分析，并结合城市防控实践情况，选择最为合适的方法。

（2）全景图像拼接融合算法

基于基于全景图像拼接融合的城市防控系统出发，合理部署多目相机系统，确定全景图像拼接融合算法，完成图像畸形矫正、特征点提取、图像变换、矩阵变换等技术重点解决图像信息的稳定性、特性信息的丰富性、特性信息的的扩展性、对光照、放射变换下的鲁棒性等问题。

2.3 技术方案思考

（1）硬件技术

经过调查分析，目前基于全景拼接融合的硬件系统主要两种方案---基于FPGA的图像拼接、基于DSP的图像拼接。基于FPGA的图像拼接硬件系统其成本较高，实现复杂，但其拼接融合效果好。基于DSP的图像拼接硬件系统集成AVSP模块、架构相对简单、软件开发量相对较小，但图像帧率和图像质量稍差。

（2）主要算法

第一，SIFT，（英译Scale-invariant featuretransform）可以提取、度量场景图像中的小微特征，特征信息不受特征变化影响，区分度较好，能快速精准的信息匹配，且便于扩展。

第二，SUFT，（英译Speed Up Robust Features），SUFT相比SIFT，在借助硬件或者特殊的图像处理器进行加速的情况下的效果处理更具有优势，实现算法加速，鲁棒性更高。

第三，RANSAC，（英译Random Sample Consensus），使用迭代的方法，依据大数定律，对数据进行随机性模拟，对其结果分析，推断整体结果，该算法能够得到全部正确的特征点矩阵。

3、结束语

常用的普通摄像机的视觉范围控制在水平、垂直30-60度左右，远低于人眼感知的视觉范围。如果使用普通摄像机布局场景监控，其视野会受限，在焦距变换的过程中，也容易出现图像分辨率下降的问题。本文提出基于全景视频图像拼接融合技术的城市布控，通过选用合适的硬件系统，结合对应的软件算法，实现高清的全景图像拼接融合、定位，解决了视野、图像分辨率受限等问题，进而能进行城市智能防控。

参考文献

[1]胡郁，吴丽萍.基于特征提取的虚拟现实中全景图像生成算法[J].科学技术与工程，2017，17（32）：285-289.