基于H.264的感兴趣区域自适应压缩编码技术

马文琪，杨 华，尹海燕

（上海交通大学电子工程系图像通信研究所，上海 200240）

基于H.264的感兴趣区域自适应压缩编码技术

马文琪，杨 华，尹海燕

（上海交通大学电子工程系图像通信研究所，上海 200240）

针对公安监控中的需求，提出一种基于感兴趣区域（ROI）的自适应编码算法，通过均值法背景建模技术提取ROI后，针对不同的空间区域采用分级编码策略。同时采用一种基于邻居宏块的性能补偿方案，减小ROI宏块漏检率，同时降低因采用分级编码策略而产生的块效应影响。实验结果表明，该算法在保证ROI编码质量的前提下，能够有效降低系统码率。

H.264;分级编码;ROI

在压缩编码中，视频压缩比和视频质量是一对矛盾，压缩比越高，视频损失越多，相应的视频质量也就越差。但在公安监控中，通常只对某一个特定区域感兴趣（通常为目标活动区域），这一区域内的图像要尽可能清晰，其他部分图像可以相对模糊一些。基于上述要求，基于感兴趣区域的压缩编码技术应运而生，即在图像中对感兴趣区域进行无损压缩或近无损压缩，而对背景区域进行有损压缩。这样既可使得重构图像有较高的视频质量，又可得到较高的压缩比，很好地解决了压缩比和图像质量之间的矛盾。

感兴趣区域压缩编码技术中有两个关键的问题需要考虑:1）如何对感兴趣区域（ROI）区域进行提取;2）对ROI区域和背景区域分别采用怎样的编码策略。针对上述两个问题，提出一种基于ROI提取和空间分级编码的H.264改进算法，在保证感兴趣区域编码质量的前提下，降低编码器的码率。下面将对算法整体架构，ROI提取算法及空间分级编码策略进行分别描述。

1 总体架构

图1为算法总体框图，由3部分组成。ROI提取模块用于提取监控场景中感兴趣的目标区域，根据ROI结果给场景中不同的空间位置采用不同的编码策略，进而进行相应的编码工作。H.264［1－2］为实际使用中非常成熟的编码技术，下面重点对系统的前两个模块分别进行介绍。

图1 基于ROI自适应编码算法系统框图

2 算法设计

2.1 ROI提取

ROI提取模块用于提取监控场景中感兴趣的目标区域，其在智能前端系统中的位置比较灵活，既可以是系统行为分析模块中的处理结果，也可以在编码器中直接串联ROI提取模块。通常公安监控中所关注的异常行为（如盗窃、斗殴、违规车辆等）均发生在场景中的动态目标身上，即系统只需关注监控场景中的动态目标。而静止的物体（如背景，静止的行人，车辆等）几乎不会发生异常行为，且通过设置合理的GOP长度及高质量的I帧压缩编码参数，总可以得到静止目标的高质量编码图像，因而本文中ROI提取采用基于背景建模的方法进行目标提取，所得到的前景区域即是ROI区域，记为R。

综合前景提取效果和运算复杂度情况，本文采用均值法背景建模技术提取ROI。

2.2 分级编码策略

得到ROI区域后，即可对不同的空间区域采用不同级别的编码策略［3－5］，这里将根据ROI的检测结果，以宏块为单位进行QP分配:若当前宏块内存在前景像素，则分配该宏块较低的QP;否则，分配较高的QP，如式（1）所示

按照式（1）的分级编码策略，系统在保证ROI编码质量的前提下，可以尽可能地降低码率。同时解码端可直接根据宏块的QP值判决该宏块是否属于ROI，同时进行相应解码，因此不需要单独对ROI区域信息进行编码。

公安监控中的目标检测要尽可能地做到宁错勿漏，即允许一定的误判来降低漏检率，且漏检率越接近0越好。但由2.1节可知，ROI目标的检测率取决于背景建模的性能，而只采用背景建模总会存在一定的漏检。

另外，由于ROI宏块与非ROI宏块采用不同的编码策略，会在目标边界上产生数据不连续的情况，即块效应。虽然H.264本身提供去方块滤波功能，但由于式（1）中ROI宏块与非ROI宏块的量化值差别较大，在目标边缘仍然会出现一定的块效应［2，6］，影响编码器的主观性能，而在非 ROI即背景区域出现块效应在监控中则可以接受的，因而可以考虑将该块效应迁移至ROI区域附近的背景区域。

综合以上两方面的因素，提出一种性能补偿方案，该方案基于如下思想:场景中每一个目标所在的区域都是一个连续的ROI区域，漏检的ROI宏块往往出现在已检测的ROI宏块附近。因此对式（1）的分级编码策略进行改进，不只考虑当前宏块与前景检测结果R的交集是否为空，同时对当前宏块的邻居也进行判断，只要有一个邻居宏块与R的交集不为空，就认为该宏块为ROI宏块。邻居宏块可以选择为该宏块周围8个邻居的集合。改进后的分级策略如式（2）所示

采用式（2）可以有效地减少漏判率，同时原来的ROI目标边缘的背景邻居也会被认为是ROI，虽然增加了一定的误判，却使得块效应出现在背景区域而非目标边缘，进而提高了编码器的主观性能以满足公安监控的需求。

另外，由于I帧的编码情况关系到整个编码器的性能［2］，因而分级编码策略并不应用到I帧上，即I帧图像所有区域均采用默认QP（一般为23）。

3 测试结果

本文将采用公安监控中常见的道路、广场监控序列对算法进行测试，为验证算法在不同场景下的性能，这里将采用4种不同场景的视频序列进行算法测试。监控场景如图2所示。

图2 测试视频序列

算法在X264编码参考软件基础上进行实现，测试条件如表1所示。

表1 实验条件配置表

算法测试结果分两个方面分别给出:码率变化对比;ROI区域检测率。

3.1 码率变化测试结果

采用基于ROI的自适应编码技术，在保证ROI的编码质量的前提下，尽可能地降低码率，从而有效节约存储空间，因此有必要对码率的节约情况进行统计。表2是算法改进前后4种视频场景的码率对比结果。

表2 算法改进前后码率对比结果

通过表2可以看出，采用基于ROI的自适应压缩编码算法，可以有效地降低视频压缩所需码率，进而节约码流存储空间，采用该算法，码率可以降低20%左右。

3.2 ROI目标检测率

由3.1中的码率对比结果可以看出，采用基于ROI的自适应压缩编码技术，可以有效地降低码率，但一个重要前提即是公安监控中所关注的目标区域需要能够准确地检测出来，并采用高质量的压缩参数进行编码。一般来说，公安监控中所关注的异常行为（如盗窃、斗殴等）均发生在场景中的动态目标身上，即系统只需关注监控场景中的动态目标。而静止的物体（如背景、静止的行人、车辆等）几乎不会发生异常行为，且通过设置合理的GOP长度及高质量的I帧压缩编码参数，总可以得到静止目标的高质量编码图像，因而本文将重点关注场景中动态目标的检测情况。

在公安监控中，一个重要准则为宁错误漏，即系统能够检测出场景中所有可疑目标，然后对所检测出来的这些目标进行逐一排查。因此这里更关注于ROI目标的漏检率，而对于误检率容忍度较高，因误检率只会造成一定的码率增加，而不会对公安监控中所关注的目标造成影响，且3.1中的码率结果对比已经表明，该算法确实能够有效降低码率，因而在该部分，将只就ROI目标的检测率（1－漏检率）进行实验说明。

ROI目标检测率测试方法如图3所示。

目标检测率分别以宏块和场景中出现的目标为单位进行检测。

以宏块为单位时，若当前宏块内有运动目标（车辆、行人等，称为ROI宏块），则检测该宏块是否以高质量的压缩参数进行编码，若该宏块确实被高质量压缩编码，表明该ROI宏块被正确检测;反之，则表明该ROI宏块被漏检。

图3 目标检测示意图

以目标为单位时，若当前目标的大部分宏块区域（90%以上）被正确检测，则认为该目标被正确检测;反之，则表示该目标被漏检。

对图2中的4个视频场景100帧图像中出现的动态目标进行逐帧检测，并统计该场景中ROI宏块总数与实际检测到的ROI宏块总数，计算该场景的ROI宏块检测率和ROI目标检测率。宏块检测率计算公式如式（3）所示

检测率结果如表3所示。

表3 目标检测率

需要说明的是，除场景（c）为黑夜场景，其余均为白天场景，对于白天场景，所有目标信息均作为ROI宏块，而对于夜晚监控中主要关注车牌及抓拍瞬间的司机信息，只对该部分进行ROI宏块检测，因为即使采用传统的编码器，黑夜中的其余信息也很难进行捕捉且无现实意义（如黑夜中黑色的汽车车身）。

且由表3信息可知该算法能够准确地检测场景中的ROI目标，能够保证极低的宏块漏检率。漏检的宏块往往是因为目标体积较大，目标的特征较为一致，这样的目标在运动较为缓慢时，其小部分区域会被检测为背景（如图2b中的白色汽车车身），但这部分漏检的宏块信息易于得到，且往往不属于目标的重要区域，对公安的实际监控应用并无影响。

本算法目前已在实际的公安监控系统进行了应用测试，其可靠性和正确性得到验证。

4 小结

本文针对公安监控中的需求，提出一种基于ROI的自适应编码算法，通过均值法背景建模技术提取ROI后，针对不同的空间区域采用不同级别的编码策略。同时为减小ROI宏块漏检率和降低因采用分级编码策略而产生的块效应，本文采用一种基于邻居宏块的性能补偿方案。实验结果表明，该算法在保证ROI编码质量的前提下，能够有效降低系统码率。

:

［1］THOMAS W，GARY J S，GISLE B，et al.Overview of the H.264/AVC video coding standard［J］.IEEE Trans.Circuits Syst.Video Technol.，2003，13:704－706.

［2］毕厚杰，王健.新一代视频压缩编码标准——H.264/AVC［M］.2版.北京:中国广播电视出版社，2009.

［3］LINO F，LUIS C，PEDRO A.H.264/SVC ROI encoding with spatial scalability［C］//Proc.International Conference on Signal Processing and Multimedia Applications.［S.l.］:INSTICC Press，2008:212－215.

［4］向科燏，于鸿洋，张萍.可分级视频编码的MPEG－2传输流封装及其应用［J］.电视技术，2011，35（21）:25－28.

［5］袁嘉晟，方志军，叶金财.基于运动矢量可分级的视频编码方法［J］.电视技术，2010，34（4）:19－21.

［6］孙立，王健，郭春辉，等.基于CUDA的H.264去方块滤波的设计与实现［J］.电视技术，2010，34（5）:44－46.

Novel Adaptive H.264 Method Based on Region of Interest

MA Wenqi，YANG Hua，YIN Haiyan

（Institution of Image Communication and Information Processing，Department of EE，Shanghai Jiaotong University，Shanghai 200240，China）

To satisfy the requirement of the security monitor system，a novel adaptive H.264 method based on the Region of Interest（ROI）is proposed.The ROI is firstly extracted via background modeling method and then the frame is encoded with spatial scalability.Meanwhile，to decline the omission ratio of the ROI and reduce the influence of the blocking artifact，a compensation scheme based on the neighborhood macro blocks is applied.Experiment shows that the proposed encoding scheme could decrease the bitrate while keep the encoding quality in a proper level.

H.264;spatial scalability;ROI

TN919.8

A

【本文献信息】马文琪，杨华，尹海燕.基于H.264的感兴趣区域自适应压缩编码技术［J］.电视技术，2013，37（3）.

国家自然科学基金项目（61102099）;上海市科委项目（10231204002;11231203102）

责任编辑:时 雯

2012－07－23