监控视频关键帧提取过程中帧差参数的研究

贺国庆 闫 骞 吴 潼 辛 璐

（甘肃政法大学公安技术学院，甘肃 兰州 730070）

0 引言

由于信息技术的普及，近几年安防技术也有了质的飞跃，这其中以智能安防监控视频的应用[1]最引人注目， 由于安防监控视频具有空间和时间的二维特性，可直接被用于刑事案件侦查中对嫌疑人的认定和判别，尤其是在人像智能识别与分析[2]中，监控视频成为最主要的图像分析来源。 但在现实情况中，由于时间的紧迫性和成本所限，侦查人员一般都是采用人工轮流以快进的形式浏览视频监控的方式寻找案件线索，巨大的监控视频数据会导致案件相关信息获取实时性差、误判与漏判等问题[3]，高强度的视频筛选还会影响侦查人员的身体健康，从而加剧降低侦查效率，因此若能利用某种办法加快检索监控视频得到关键帧就能加快对案件的侦破。以帧差法为代表的视频关键帧检测是非常成熟的一种方法，这种方法原理简单， 尤其对于小区监控视频的关键帧检测非常有效，而且该方法适于硬件[4]，可以实现设备小型化。 但是在对监控视频进行预处理、二值化，开闭运算、帧差提取等整个过程中，最后一个重要的步骤是判定哪一帧可以作为关键视频片段被保留，而判断的最重要的参数就是帧间阈值，当阈值过小，提取的视频片段就会出现过多的冗余，后续对比检测时间会延长，阈值过大会出现漏检，因此选取合适的帧间阈值参数尤为重要，本文在不同分辨率分别选择等效的关键帧，得到帧间差阈值T，利用得到的阈值与图像面积，利用曲线拟合方法对它们之间的关系进行研究，从而得到不同分辨率下所对应的阈值函数关系， 并通过实验验证。

1 关键帧提取流程原理与帧间差阈值T 的作用

本文提取视频关键帧软件流程如图1 所示，初始化开始后，获取视频文件的总帧数N，对获取的第一帧图像进行预处理得到F1，在未计算到视频文件最后一帧时循环计算，然后处理第二帧图像得到F2，从而计算得到两帧图像差值C， 当该差值大于预定阈值T时，便认为该图像是关键帧图像，否则不是，如此反复循环，直到最后一帧图像结束。 图1 中预处理包含中值滤波去噪、灰度化、尺寸归一化、二值化、开闭运算等，在图1 中的流程中可以看出，最重要的是T 的选取，T 值选择过大，虽然视频帧压缩率较大，但容易出现漏检的情况，而当T 取值过小，会出现较多的冗余，不能体现出关键帧提取的作用。 T 的选择与视频图像分辨率有明显的关系，当视频图像分辨率越大T 的值应该越大，反之则T 的值应该越小，为此专门通过设计实验分析T 值与监控分辨率的关系。

图1 软件流程原理图

2 实验过程与结果

试验视频为1 280×720 大小的约52 秒的视频，共1 585 帧视频图像，对原始视频图像进行分辨率处理后分别得到 1 440×900、1 280×900、720×480、480×320、352×288 分辨率的视频图像。

不同分辨率所选的阈值与分辨率的关系应该是线性关系， 也就是关键帧的判定应该取决于视频图像中变化面积与总面积的比，当阈值大于这个比值时，认定为关键帧，小于这个比值时不认为是关键帧，舍弃不保存。根据这个初步结论，对不同分辨率下的监控视频做同样的关键帧提取，得到结果如表1 所示。

表1 中进行了5 次测试，给定图像分辨率，在得到与人工检索同等效果的情况下设定不同分辨率监控视频图像的阈值T， 分别计算得到 “阈值与面积比”、“检索后的关键帧数”、关键帧的“压缩比”，其中“检索后的关键帧数”和关键帧的“压缩比”与视频本身的内容有很大关系，但是“阈值面积比”是此类应用的一个固定值，能够作为小区监控视频关键帧提取的重要参考数据。对表1 中的不同分辨率下的图像总面积与选用阈值T 这两个值利用最小二乘法进行拟合，得到阈值/面积线性回归函数，如图2 所示。

图2 面积/阈值线性回归函数图

图2 中，可以清晰地看到图像总面积S 与本文所选的对应阈值T 呈线性关系，通过拟合得到S 与T 的关系式，如式（1）所示：

根据S 与T 的关系，计算得到上述测试监控视频在分辨率为576×480 时的阈值应该为T≈4267 （取整）， 由此也应该得到提取得到相近数量和等价效果的关键帧，即约原视频总帧数1 585 帧的15%，共238帧图像，经过测试，得到有效关键帧230 张，误差率约为3.36%，在可接受的范围内，得到的有效关键帧及对应的二值图部分如图3 和图4 所示。

3 结语

本文是利用较为成熟的帧差法，对利用硬件实现海量监控视频关键帧提取时的帧间参数T 进行了研究。 通过同一视频不同分辨率下关键帧提取的研究，利用最小二乘法拟合帧间差值参数T 与分辨率之间的关系， 最后用其他分辨率的视频图像进行验证，结果证明本文的方法可行，能够较好地实现给定分辨率下监控视频关键帧的提取。本文的方法得到的参数可作为快速实现小区监控视频关键帧提取模型中帧间参数确定的重要依据，具有较高的应用参考价值。

表1 同一监控视频在不同分辨率下得到的参数

图3 关键帧对应的二值图像（部分图）

图4 提取到的关键帧（部分图）