下一代智能视频监控新技术发展方向

■ 江浩

安防行业已经开始对新一代智能视频分析技术进行研究，提出了一些新的产品形态，新的应用模式，新的系统架构。这些新技术、新产品正在逐渐与市场结合，探求新的发展空间。

近年来在视频监控市场中，智能视频分析技术成为热点产品，诸如行为分析、车牌识别、人脸抓拍、客流统计等智能化技术，在城市管理、公共安全、银行、交通等行业得到了较广泛的应用，取得了很好的社会效益和经济效益，成为安防企业一个新的技术制高点和发展方向。

随着智能化技术的普及使用，市场渐渐不再满足于现有的智能化技术种类，而是寻求更新的算法、更丰富的业务应用、更整体化的系统应用，力求实现在应用的广度、深度上的突破。为此，安防行业已经开始对新一代智能视频分析技术进行研究，提出了一些新的产品形态，新的应用模式，新的系统架构。这些新技术、新产品正在逐渐与市场结合，探求新的发展空间。

智能视频的创新方向

在基础的智能监控需求已经得到满足的情况下，智能视频新技术集中向着几个方向发展：

1、提升视觉感官体验的技术，包括图像防抖动、图像增强等视频预处理技术；

2、提升分析准确率的技术，主要是双目识别技术；

3、改善系统应用性的技术，包括多球机联动跟踪等；

4、面向事后分析的技术，包括图像复原、图像浓缩检索等技术。

图1：NASA的应用

图2：道路监控中的应用

以下分别就各项技术的实现、应用及前景做一些分析。

图像增强技术

当前监控系统面临的重要问题，是受到各种干扰因素的影响，使得系统不能在全天候、全天时下运行，系统的可靠度低，LCC值不经济。这些干扰因素主要包括如白天环境下的虚光、泛光、逆光，低照度环境，监控场景中强逆光的干扰，雾、灰霾等的大气散射环境干扰，降雨、降雪、沙尘等气象条件的影响。

图像增强技术主要解决的问题，是通过算法对视频源进行视觉改善处理，有效的改善画质，提高图像的清晰度，提高视觉可分辨性，使原本低质量的图像能够满足监控需要，达到清晰可辨的程度。（如图1、图2）

图像增强的技术实现途径，是突出原有图像中需要重点观测的内容，抑制非重点观测内容，通过对像素的灰度值运算处理生成一幅新的图像，以改善视觉效果。图像增强的关键技术问题有：

● 对不同自适应不同时刻、不同程度的干扰因素；

● 自适应不同的景深、视角、目标内容；

● 有效分辨画面内容，充分保留局部细节；画面对比柔和，色彩过渡均衡，亮暗对比适中；色彩恒常性好，不受场景变化影响；

● 正常环境下不影响画质；未增强的画面不失真。

图像增强的产品形态，涵盖了从前端、编码端到后台显示端的处理。在产品定位上，可以分为两个方向：一是，普适性产品，重点是正常气候下，不降质。恶劣气候下有改善，但不是最好。作为标配集成到各个设备中。二是，专业级产品，重点解决在恶劣的情况，达到最好的效果。如雾天专用、深海专用、低照度专用、军事专用等等作为专用设备，应用整合于特种行业。

图像防抖动技术

图像抖动是在交通领域经常见到的问题，主要的成因是道路监控中高架安装方式带来的较高频率小幅抖动，以及车载移动监控中由于摄像位置变化带来的低频大幅抖动。在模拟标清时代，主要会影响了大倍率下的图像画面，而在数字高清时代，在焦距达到20mm以上画面就会明显抖动，这对于监控内容的识别有明显的影响。

图4

图5

图像防抖动的解决途径主要有几种：

1、采用软件技术进行处理。

● 采集完整的传感器图像，图像处理缓冲；

● 为实现防抖，预留边缘图像，对中心图像进行数字放大（图像失真或模糊）；

● 使用预留边缘图像，对图像进行补偿，达到防抖效果（补偿区域缩放，边缘模糊）；

2、硬件软件结合的方式。

● 为弥补图像数字放大带来的图像模糊问题，使用更大像素的图像传感器；

● 采用直接物理像素尺寸，对图像抖动区域进行补偿，避免图像边缘模糊。（如图3）

图像防抖动技术在前端球机产品中应用时，通常采用软硬件结合的方式。技术关键点之一，是要克服图像边缘角落虚焦的现象。

双目立体视觉技术

双目立体视觉技术的核心目的，是提高识别的准确率。由于立体视觉技术形成的视场中带有物体的三维几何信息，因此能够有效的设定检测规则，排除光线、影子等干扰因素，大幅提高智能分析的准确度。如果说高清技术通过提升可用像素来提高分析的准确率，是战术性的举措，那么双目立体视觉技术对视频分析准确率的影响则是战略性的。

双目立体视觉技术是基于视差原理，并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。（如图4、图5）

采用双相机或多相机，对视场内空间的自由运动体的三维位置坐标及姿态进行高精度的测量，确定运动目标的质心位置，并根据标定结果对运动目标进行高精度跟踪。

立体视觉技术的跟踪，由于能够辨识目标的三维坐标、姿态、相对距离、与背景环境的空间距离，因此能适应复杂的跟踪背景环境。

多球机联动跟踪

多目标识别与跟踪技术是以单球机智能跟踪作为基础，能够同时实现对大范围内多个活动目标的智能识别与跟踪，并对其中单个目标进行智能跟踪的技术。

多目标识别与跟踪技术在应用中，通常使用一台固定摄像机，对广域范围内目标进行的智能行为分析，并将同时监控的多个目标按照既定的策略进行排序，并按照先后顺序，指挥智能跟踪球机逐个跟踪监控目标。与单目标跟踪相比，多目标跟踪技术的关键点是数据关联问题，即建立一个统一的坐标系，使得固定摄像机可以将目标的坐标信息传递给跟踪球机，实现联动跟踪。

多目标跟踪的过程可以划分为以下几部分：

1、数据关联：在观测数据和目标之间建立起对应关系。

常见的方法有最近邻算法、联合概率数据关联滤波器、多假设跟踪算法。

2、状态估计：每个目标根据其对应的观测进行状态估计。

通常采用基于贝叶斯理论的方法，将多目标跟踪问题转化成对多个单目标的跟踪过程，并建立相应的状态空间模型。为每个目标分配一个单目标跟踪器，相互独立地跟踪每个目标，通过设计一些特殊的方法来处理目标之间的交互和遮挡问题。

3、坐标传递：在主摄像机和球机间建立统一的坐标系。

在多目标监控场景中，提取目标的位置和运动轨迹信息，发送给从摄像机，从摄像机根据目标的位置和运动轨迹信息跟踪锁定目标。

另外，多目标跟踪技术在实际的应用中，还需要重点优化和改进以下方面：提升算法的效率，以实现同时能够跟踪尽量多的目标；需要改进算法的抗干扰性能，以减轻光线变化、影子、目标间遮挡等常见的干扰因素；需要能够对每个目标排定警戒优先级，以使球机在跟踪时能够及时切换到威胁等级更高的目标。

面向事后应用的智能技术

面对监控系统中海量的录像数据，如何有效、高效的应用，减轻人工查看回放带来的时效性差、成本高、疲劳问题，并在不同分辨率、不同清晰度的录像中准确的辨别出需要获取的信息，行业提供了视频复原、视频浓缩、视频结构化检索等技术手段。

视频复原

视频复原解决对模糊录像的有效辨别问题。通过综合应用超分辨率、锐化滤波、去模糊滤波、轮廓增强、降噪滤波、变形校正、色彩调整、时空分析、视频标注、多视频比对、视频稳定化等智能算法，对对焦不准、运动模糊、噪声干扰等原因导致的模糊视频进行处理，使之清晰可辨。（如图6）

视频浓缩

将视频浓缩形成视频片断，不同时刻的目标“穿越时空”同时展现播放，使24小时的视频被制作成一个简短到几分钟浓缩视频成为现实。视频浓缩不仅浓缩的是事件的精华，也是活动事件的全部，没有价值的视频将被剔除。通过多分格快照技术，可以在几秒中看完所有的活动目标成为可能，回溯原始视频功能，瞬间锁定目标在原始视频中的位置。这些智能视频分析功能的实现和应用将大大提高海量视频监控录像分析的效率。（如图7）

图6

图7

图8：输入“红色衣服的人”检索条件，比对得到相似度高的目标列表

视频分类检索

传统的视频搜索功能主要是以物理条件的设定为主要搜索条件的，比如时间，日期等。而智能视频检索功能能够通过认为设定的智能条件进行快速的视频搜索。比如：特定场景的变化条件、嫌疑物体（人、车、其他特征物体）的出现等为搜索条件，进行特定视频条件的智能搜索，结合其他智能视频功能，可以使大量的无序信息在短时间内形成有价值的证据链。（如图8）

视频分类检索技术未来的发展，应当是向着结构化录像存储的方向，分步骤实现以下的技术目标：

1、结构化数据的可检索：卡口、电警采集的车牌信息，独立的小系统。

2、非结构化数据的可检索：监控摄像机采集的视频信息，颜色、行为、人脸、车型等。

3、视频采集时数据结构化处理：在智能球机、IPC编码时自动生成视频数据库，而不是简单的录像文件。

结构化录像存储是未来的方向，但还需要解决以下以下关键的技术问题：视觉信息、高层语义信息数据描述技术、分类规范和信息索引技术、存储组织和高效搜索技术、提高智能分析技术的准确度、智能技术的硬件产品化、异地查询和交换技术等。

结束语

以上，对于当前和未来的一些新的智能化视频技术的前景、实现、应用方式做了一些概要性的分析。可以预见的是，这些技术将与现有的各项智能技术不断的融合，并扩展到各种产品形态中，应用在视频监控的各个环节，进而变化为更多的智能化产品类型，更丰富的业务应用，更灵活的系统结构，从而推动智能视频技术更深入的与行业用户的业务需求相结合，为视频技术开拓出更大的行业市场。