基于改进稠密网络的视频监控人脸识别算法研究

DOI：10.19850/j.cnki.2096-4706.2024.01.018

收稿日期：2023-06-05

摘  要：为了提升视频监控中的人脸识别能力，研究利用运动历史图像算法来实现人体跟踪，提出了一种改进稠密网络。在结果中显示，研究采用的人体跟踪算法的跟踪准确率高达99.5%，同时提出的识别算法的识别准确率能够稳定在99.7%以上，且能够针对不同表情特征的人脸表现出较高的识别准确率。以上结果表明，改进稠密网络能够有效提升视频监控人脸识别能力，对城市监控的智能化发展具有重要意义。

关键词：视频监控；运动历史图像算法；改进稠密网络；人体跟踪；人脸识别

中图分类号：TP391.4    文献标识码：A  文章编号：2096-4706（2024）01-0089-05

Research on Video Surveillance Face Recognition Algorithm Based on

Improved Dense Network

YU Ming

（Department of Information Technology， Qujing Vocational and Technical College， Qujing  655000， China）

Abstract： In order to improve the ability of face recognition in video surveillance， it studies the use of motion history image algorithm to realize human tracking， and proposes an improved dense network. The results show that the tracking accuracy of the human tracking algorithm used in the study is as high as 99.5%， and the recognition accuracy of the proposed recognition algorithm can be above 99.7%， and can show high recognition accuracy for faces with different expression features. The above results show that the improved dense network can effectively improve the face recognition ability of video surveillance， which is of great significance to the intelligent development of urban surveillance.

Keywords： video surveillance; motion history image algorithm; improved dense network; human tracking; face recognition

0  引  言

視频监控是促进城市和谐发展的重要技术，在视频监控中，针对人脸的有效识别一直是该领域主要的发展方向。在视频监控人脸识别技术发展过程中，受到人工智能技术的启发，越来越多的研究开始探讨人工智能技术在视频监控人脸识别中的可行性[1，2]。既往研究提出，深度学习作为人工智能技术发展中的重点研究对象，能够快速完成视频监控图像处理，因此，大量研究认为将深度学习应用至视频监控的人脸识别中具有重要价值[3，4]。但是在当前的视频监控识别中，仍然存在计算量庞大、模型难以训练等问题。为此有研究提出了一种稠密卷积网络，该网络可以借助不同的卷积核来提取图像检测目标的特征，并通过特征融合的方式来获取更为全面的图像特征[5]。然而，传统的稠密网络在计算中需要多次采用5×5卷积核，会使得长期训练中，模型的参数量不断增加，降低模型在特征识别中的效率[6]。为此研究提出了一种改进的浅层稠密卷积神经网络，同时引入人体跟踪技术，期望借此实现视频监控中的人脸特征抓取及快速识别，为视频监控技术的发展提供建议。

1  面向视频监控人脸识别的人体跟踪及识别算法设计

1.1  视频监控人体跟踪设计

视频监控是通过视频摄影设备来获取移动目标信息的图像处理技术，在视频监控中，获取人脸信息的关键技术包括人体跟踪以及人脸图像识别，而人体跟踪是实现运动目标特征提取的重要步骤[7]。为此研究为了提升视频监控人脸识别的效率，提出了一种人体跟踪方法，其跟踪流程如图1所示。

图1中显示，在视频监控人体跟踪中，首先读取监控视频中的人体帧数，并提取其中的一帧图像。针对识别到的视频帧数，采用运动历史图像来计算当前帧与上一帧之间的距离，比较计算距离与设定值之间的差异。当计算距离大于设定值，则采用运动历史图像再次计算两帧之间的距离，当计算距离小于设定值，则认为完成跟踪。

在人体跟踪识别中，研究中为了对运动目标进行跟踪识别，采用了运动历史图像来进行模块跟踪，以H为运动历史图像中的像素点强度，其计算方式如式（1）所示：

（1）

式（1）中，τ表示视频场景中的两帧之间的持续时间；t表示目标像素点时刻；δ表示衰退参数；ψ（x，y，t）表示帧间差分法。此外在跟踪过程中，像素点的权值大小会影响目标检测的稳定性和可靠性，权重计算如式（2）所示：

（2）

式（2）中，C表示归一化系数；qn表示颜色分布概率；h表示区域半径；m表示像素点总数。其中归一化系数表示如式（3）所示：

（3）

其次采用相似性来度量运动目标模板之间的匹配程度，如式（4）所示：

（4）

式（4）中，qn（x）、qn（y）分别表示图像x轴y轴上的颜色分布概率。

然而，值得注意的是，在视频监控中，受到社会环境以及自然环境的影响，监控视频存在显著的干扰噪声，因此为了准确实现监控视频中的人体跟踪，需要对视频图像进行预处理。监控视频中的图像去噪，采用图像滤波的方式来提取图像中的目标特征，采用中值滤波法来抑制图像中的噪声。中值滤波的基本原理是将图像中的值以其所在区域的中值代替，一维中值滤波如式（5）所示：

（5）

式（5）中，（f0， f1， …， fk）表示一维序列中的序列值；k表示序列长度。在滤波处理后需要对图像进行增强处理，在图像增强中，研究采用过拉普拉斯锐化的方式来实现。拉普拉斯计算方式如式（6）所示：

（6）

式（6）中，（x，y）表示图像中某点的坐标。

此外由于在实际的监控视频中，当光照充足时，被检测目标在运动过程中会产生较为明显的阴影，阴影的存在会在检测时被判断为前景部分，导致前景检测无法达到较好的效果，为此研究中提出了一种阴影消除算法。首先将视频图像中的亮度进行建模，如式（7）所示：

（7）

式（7）中，Ek （m， n）表示（m， n）处像素点的辐射度，ρk （m， n）表示人体对光的反射系数。在亮度建模基础上，采用HSV来进行阴影消除，阴影检测的判别函数见式（8）：

式（8）中，、、 表示第k帧图像像素点在HSV空间中的分量；、、 表示第k帧背景像素点在HSV空间中的分量；?、β表示判断参数；Ts、TB表示阈值；当判别函数的值为1时，则位置（x，y）定义为阴影，其余为目标。

1.2  基于改进稠密网络的人脸识别算法

在视频监控的人体跟踪基础上，研究提出了一种基于改进稠密网络的人脸识别算法。稠密网络目前常被应用于人脸表情图像的特征提取中，但是传统的稠密网络在计算中的参数量会难以得到控制，导致在长期应用中出现过拟合的现象，进而浪费计算资源[8]。为此研究提出了一种浅层稠密卷积网络，目的是利用浅层的卷积神经网络来降低模型的训练时间，并提高稠密网络的表情识别率。浅层稠密网络的基本模型如图2所示。

图2中显示，在浅层稠密网络中，首先将视频监控中的人体跟踪图像作为输入，利用第一层卷积神经网络来初步处理人体特征，以此获取到图像中的稠密区块。针对初步处理得到特征图像输送至稠密区块1，同时将第二层卷积神经网络作为过渡层1，采用过渡层1来对图像进行卷积操作和池化操作，以此获取更为清晰的人体特征。此后将进一步得到的人体特征作为特征图输送至稠密区块2，利用第三层卷积神经网络来实现人体图像中的人脸识别，将处理结果输送至第四层卷积神经网络中，并进行池化操作。最后通过线性转化的方式将上一阶段池化处理得到的人脸特征进行二维转化，得到可以作为输出的人脸识别结果。

在浅层稠密网络的人脸识别中，对于人脸特征的提取至关重要，原因在于，人脸图像较为复杂，在人脸识别过程中需要鉴别人脸基本特征以及表情特征。为此研究为了进一步提升人脸识别算法的精确率，提出了一种特征融合的方式，如图3所示。

图3中显示，在人脸特征融合中，将图像数据分割成多样本，从多样本中获取不同人脸表情特征，同时将多样本数据与原始数据相融合，构建原始版本的融合数据集。其次在多样本的人脸表情特征分类中，提取出不同表情特征，并将不同的表情特征进行融合，同时构建特征融合数据集。然后利用分类器来进行表情特征分类，以上一阶段特征提取为基础，利用分类器进行人脸表情分类，在分类器的输出端，将结果分为分类融合数据集以及人脸识别结构。最后对原始融合数据集、特征融合数据集、分类数据集以及人脸识别结果进行多方决策，通过决策得到最终的人脸特征识别结果。

2  人脸识别算法的性能测试结果

2.1  人脸识别算法性能分析

研究针對视频图像中的人体跟踪，提出采用运动历史图像来运动目标检测与跟踪，同时为了实现视频监控中的人脸识别，提出了一种浅层稠密卷积网络。因此为了验证研究提出的人体跟踪算法及浅层稠密卷积网络的有效性和可行性，首先对两种算法进行性能分析。在人体跟踪测试中，将实验设置在Intel Core i5-5300中，其主频为2.3 GHz，内存为4 GB，在Windows7中进行操作。研究采用HiEve数据集来验证人体跟踪算法的跟踪效果，结果如图4所示。

从图4中可以看出，研究分析了在HiEve数据集中的人体跟踪算法的准确率及跟踪延时。在算法准确率评价中显示，研究提出的运动历史图像跟踪算法的准确率随着迭代次数的增加而不断提升。在迭代次数达到100次之后，跟踪算法的准确率超过98%，最后在迭代次数达到150次之后，算法的准确率开始逐渐稳定在99.5%以上。在跟踪算法的延时评价中显示，研究所采用的运动历史图像算法的延时最大值仅为0.1 s，并且随着迭代次数的不断增加，运动历史图像跟踪算法的延时呈现出不断降低的趋势，在迭代次数达到100次之后，算法的延时降低至0.05 s以内，并在迭代次数达到150次之后，算法的延时开始稳定在0.01 s附近。以上结果表明，研究所采用的运动历史图像跟踪算法在人体跟踪中具备较高的准确率，并且在跟踪中的延时较小，即表明运动历史算法在视频监控人体跟踪的帧数识别效率较高。其次研究选择PER2013数据集和SPResNet18作为数据集，评价研究提出的浅层稠密网络的人脸识别算法性能。在算法比较中，评价了传统稠密网络与浅层稠密网络之间的准确率差异，结果如图5所示。

图5（a）是传统稠密网络与浅层稠密网络在PER2013数据集中的识别准确率变化及差异，可以看出，随着迭代次数的增长，两种算法的准确率呈现出不断增长的趋势。传统的稠密网络在迭代次数达到230次之后开始趋于稳定，此时的算法准确率稳定在96.5%附近。研究提出的浅层稠密网络在迭代次数达到200次时，人脸识别的准确率开始稳定至97%附近，并且最终的准确率至达到了97.5%。图5（b）是传统稠密网络与浅层稠密网络在SPResNet18数据集中的识别准确率变化及差异，可以看出，随着迭代次数的增长，算法的准确率不断提升。相较于传统稠密网络，研究提出的浅层稠密网络稳定后的准确率更高，最大值达到了97.7%，并且浅层稠密网络达到稳定值的迭代计算次数仅为200次，显著低于传统的稠密网络。此外从图5中可以看出，传统稠密网络在不同数据集中的识别波动明显，而浅层稠密网络的准确率提升表现出较为平缓的趋势，即浅层稠密网络的稳定性显著高于传统的稠密网络。

2.2  视频监控人脸识别应用测试

为了满足当前市面上的视频监控需求，研究提出了一种基于改进稠密网络的人脸识别算法，为了验证研究提出的算法可行性，研究选择实际视频监控数据为测试数据集。研究中所采用的数据集为某市区晴天、阴雨天以及夜晚的人体监控视频数据，首先评价在该数据集中，研究提出的人体跟踪算法的跟踪性能，结果如图6所示。

图6（a）是人体跟踪算法在跟踪距离不断增加时的人体检测结果，并比较了实际值与检测值的变化。从图6（a）中可以看出，研究提出的人体跟踪算法能够在不断检测过程中与实际值呈现相同的变化趋势，即研究提出的跟踪算法具备人体跟踪的基本能力。图6（b）是人体跟踪算法的跟踪结果与实际值之间的误差，结果中显示，在不同距离的跟踪过程中，研究提出的跟踪算法的检测值与实际值的误差值始终控制在2 mm以内，且最大值仅为1.70 mm，最小值仅为0.24 mm。以上结果表明，研究提出的人体跟踪算法能够有效进行视频监控中的人体跟踪，且误差较小。最后，为了验证浅层稠密网络的人体识别能力，研究以监控视频数据为基础，评价了浅层稠密网络算法在不同人脸及人脸表情识别中的能力，结果如表1所示。

从表1中可以看出，研究分析了浅层稠密网络算法针对不同天气的人脸特征及表情特征识别结果。结果中显示，浅层稠密网络在不同性别的人脸识别中的准确率始终高于99.5%，其中在晴天环境下的不同性别人脸识别准确率达到了99.8%以上，在夜晚环境下，不同性别的人脸识别率最低也达到了99.1%。在不同表情识别中，不同环境中，最大的人脸表情识别率达到了99.5%。最低人脸表情识别率也达到了98.8%。此外研究还测试了针对不同遮挡面积的人脸识别能力，结果中显示，研究提出的人脸识别算法识别准确率最低也达到了98.0%。以上结果表明，研究提出的人脸识别算法能够在不同环境下，针对不同性别、不同表情以及不同遮挡面积的人脸表现出较高的识别准确率。研究将改进浅层稠密网络算法与基于主成分分析和尺度不变特征变换算法的识别模型、基于遗传算法和支持向量机的人脸识别模型、改进随机深林识别模型进行对比分析，结合CK数据集和视频监控图像验证不同算法的人脸跟踪和识别性能，识别结果如图7所示。

从图7中可以看出，相较于改进随机森林算法等其他识别模型，改进浅层稠密网络对不同场景和性别对象的人脸跟踪和识别性能最优，人脸表情和性别识别准确率分别为99.4%和99.8%，在面部大面积遮挡情况下对人脸图像的抓取和识别能力较好，能在受遮挡时对人脸表情和性别进行准确识别。

3  结  论

视频监控中的人脸识别是促进城市发展的重要技术，在城市的智能化发展中，如何提升视频监控中的人臉识别能力是当前高新技术研究的重点。研究中为了提升视频监控中的人脸识别能力，提出了采用运动历史图像跟踪算法来实现监控视频中的人体跟踪，同时提出了一种浅层稠密网络，以此实现人脸特征及表情识别。在算法性能测试中显示，运动历史图像跟踪算法的跟踪准确率最高达到了99.5%以上，且在人体跟踪中的延时也控制在了0.01 s。在人脸识别算法的性能测试中显示，研究提出的浅层稠密网络的识别准确率最高达到了97.7%，且显著高于传统的稠密网络。最后在应用测试中显示，研究提出的人体跟踪算法在人体跟踪测试中显示，针对监控视频中的运动人体位置检测，检测值与实际值之间的位置差异较小，最大差异仅为1.70 mm，最小值仅为0.24 mm。在人脸识别测试中显示，针对不同性别、不同表情以及不同遮挡面积的人脸识别，研究提出的浅层稠密网络的识别准确率均在98.0%以上。以上结果表明，研究针对视频监控的人脸识别，提出的浅层稠密网络具有可行性。然而研究中所提出的人脸识别算法在遮挡人脸识别中的准确率仍然难以达到较为理想的状态，为此在后续研究中需要针对遮挡人脸提出更为有效的人脸识别算法。

参考文献：

[1] 刘宇琦，赵宏伟，王玉.一种基于QPSO优化的流形学习的视频人脸识别算法 [J].自动化学报，2020，46（2）：256-263.

[2] 胡佳玲，施一萍，谢思雅，等.基于轻量级卷积神经网络人脸识别算法的研究与应用 [J].传感器与微系统，2022，41（1）：153-156.

[3] 柯鹏飞，蔡茂国，吴涛.基于改进卷积神经网络与集成学习的人脸识别算法 [J].计算机工程，2020，46（2）：262-267+273.

[4] 王超，赵阳，裴继红.松弛耦合非负矩阵分解的低分辨率人脸识别算法 [J].信号处理，2020，36（7）：1127-1135.

[5] 刘启超，肖亮，刘芳，等.SSCDenseNet：一种空-谱卷积稠密网络的高光谱图像分类算法 [J].电子学报，2020，48（4）：751-762.

[6] 张帆，张景森，裴昌幸.采用双通道时间稠密网络的高光谱影像分类方法 [J].西安交通大学学报，2020，54（4）：126-132.

[7] 孟红记，刘沛谚，胡振伟.基于注意力特征融合稠密网络的图像去雾算法 [J].东北大学学报：自然科学版，2022，43（12）：1717-1723.

[8] LEE S，KIM I. DVC-Net：A deep neural network model for dense video captioning [J].IET Computer Vision，2021，15（1）：12-23.

作者简介：余鸣（1977.06—），男，汉族，云南曲靖人，副教授，本科，研究方向：计算机科学与技术。