人工智能在创新安检模式中的应用
2022-07-05王虎王国威
王虎 王国威
摘要:介绍了公安检查站人车安检查控的现状与存在的问题,针对安检过程中人工指导停车、人工指导受检人员按指示接受安检、人脸误采和重复采等问题,设计了一种基于人工智能的智能检测算法,实现了车窗是否降落、人脸是否朝向摄像头和司乘人员计数等,并根据检测结果给予民警和受检人车提醒,在提升安检效率的基础上减轻了执勤民警在任务中的工作强度,进一步提升了车辆安检的智慧化水平。
关键词:人工智能;安检查控;智慧安检
中图分类号:TP391文献标志码:A文章编号:1008-1739(2022)08-64-4
公安检查站作为社会治安防控圈层的关键节点,是公安机关依法打击、防范、控制违法犯罪和查缉违法违禁物品的堡垒,发挥着社会维稳防控“过滤网”和“防护网”的作用[1],同时也是响应国家打击各类犯罪的重要渠道,提升打防管控能力的要塞,提升人车安检核查体系的实战效能,是各级公安机关追求的目标。在智慧安检发展過程中,依靠人脸抓拍识别比对技术,一定程度上提升了安检的智慧化水平。近年来,以深度学习算法为基础的人工智能(AI)技术发展突飞猛进,依赖AI技术更大地提升安检智慧化水平,降低一线执勤民警的工作强度和工作压力,将是更高的追求。
2019年7月,公安部印发《全国公安机关社会治安防控体系建设指南(试行)》提出“构建立体化、智能化的环国边境、环区域、环省市‘治安防控圈’,推进智慧公安检查站建设项目,实现‘智能感知、精准识别、触圈预警、实时响应’”。
公安检查站主要建设在高速、国道、省道、关键入口等区域,一般配备了车辆安检通道、人员安检大厅、办公用房等设置,并加装信息化安检设备。车道安检作为公安检查站人车安检核查的主要阵地,对检查站通行的各类车辆(客车、小轿车、货车等)进行分流安检发挥极其重要的作用。传统车道安检主要采用人员密集型工作模式,从信息核录、人车物检查、应急处置到最后的数据统计等每个环节都需要人工操作,查控成效较大程度上取决于执勤人员的经验和责任心,查控模式也存在随机性与主观性。从受检对象体验看,由于传统方式检查速度慢、等待时间长,易引起检查站附近交通堵塞引起受检群众的不满情绪,引发警民纠纷及不必要的投诉。
随着人脸识别、大数据等先进技术的发展,打造了“无感知、非接触、有尊严”的智慧安检模式,推动了更高水平、更高层次的安保工作建设,为维护社会安全稳定做出了卓越贡献。
随着非接触、无感知智慧安检模式[2]的推广与应用,结合车辆分类安检机制的应用,智慧安检优势不断显现,部分设备可实现8~10 s完成单车安检[3]。然而,当安保任务与节假日、上下班高峰期重合时,依然暴露出诸多问题,主要如下:
①当受检车辆未准确位于安检位时,由于人脸抓拍摄像头位置及角度固定,会造成智慧安检漏拍受检人脸。
②安检过程中执勤民警在车旁的运动会造成误拍,进一步对后台人脸比对造成压力。
③执勤民警指导受检车辆进入安检位的过程中,需要不断地提醒车辆降下车窗、车内人员朝向摄像头,安检过程中的多个环节都需要人工操作,查控成效较大程度上取决于执勤人员的经验和责任心,查控模式也存在一定的随机性与主观性。
随着深度学习技术的应用和大数据技术的飞速发展,人脸识别技术和车辆识别技术进入了快速发展期。人车识别技术广泛应用于安防、金融、交通、教育、医疗和电子商务等场景。对于安防场景,人脸识别最主要的应用在于核实人员真实身份、对重点人员进行布控预警、满足公安实战业务需求等。人脸识别技术凭借无感非接触式采集等独特优势,使得其在社会治安防控体系建设方面的应用前景越发广阔[4]。由于人工智能的助力,公安检查站车辆分类安检正呈现更加智能化、智慧化的发展趋势[5]。
为进一步提升公安检查站人车安检的智慧化水平,降低执勤民警在执法过程中的人工干预,基于深度学习算法实现车内人数统计、车窗玻璃是否落窗检测,助力无人值守,提高自动化运行手段。人工智能算法在安检核查体系中的作用如下:
(1)车窗定位识别
实时接入无人值守多维核查一体机拍摄的视频流,利用智能算法检测受检车辆车窗的位置信息,并在图片、视频上用矩形框标出,返回车窗位置信息。对已检测到车窗信息的图片、视频帧中的车窗,进行前窗和后窗标记。
(2)车窗开闭状态判定
通过分析固定位置、固定角度摄像头采集到的图像,判断被检查车辆在指定位置停稳后每个车窗是否降落,配合检查。支持通过已有车窗定位信息的图片、视频帧进行检测,判别车窗当前开关状态,并在图片、视频帧中标出,当车窗未降落时,支持产生告警信息。
在车窗和人脸矩形框大于50 pixel×50 pixel的条件下,车窗定位和人脸检测的平均精度均值(mAP)90%以上,车窗开闭状态分类准确率90%以上,并且支持同时检测多张图片,单张图片检测响应时间不超过0.5 s。
(3)人脸检测
实时接入无人值守多维核查一体机拍摄的视频流,并在视频流中进行人脸检测,支持矩形框在图片、视频帧中标记出人脸,返回人脸区域位置及人员数量。
(4)车内人员位置检测
对于包含车窗在内的图片、视频帧进行人员位置定位,并在图片、视频帧中标出,返回该人员位置,实现返回车内每位乘客位置,包括不限于主驾、副驾、主驾后排、副驾后排及后排中间等位置,乘客位置判断分类准确率90%以上,可以实现多张图像同时检测,单张图片的响应时间不超过0.2 s。
(5)人脸去重
对于检测到的车内同一人员的多张人脸图像,在保证图像质量与提取速度的平衡下,实现对检测到的人脸图像进行质量判断及去重,并保留唯一一张正脸,即面部特征(五官)清晰且无其他人像干扰的人脸图像,以满足后台图像比对要求。
以视频、图像智能分析为基础,以基于深度学习[6]的模型和算法为核心,面向视频流实时需求,灵活使用图像分割、分类和识别技术,设计一整套基于AI的智慧安检方法,进一步提升公安检查站安检的智慧化水平,减少执勤民警在安检查控中的人为干预,降低民警的工作强度与工作压力。本文提供方法主要分为3个模块:车窗升降判别模块、车内人员识别模块及人脸捕捉模块。AI安检应用工作流程如图1所示。
具体流程如下:
①由车牌作为触发信号,当检测到新车牌时自动触发智能检测流程,其中智慧检测包含车窗升降判别、车内人员识别及人脸捕捉;
②通过分析固定位置、固定角度摄像头采集到的视频数据,判断被检查车辆在指定位置停稳后每个车窗是否降落;
③如果车窗未降落或降落不满足要求时,产生告警信息,提醒车内司乘人员落窗接受检查;
④如果车窗降落满足要求,进入车内人员識别模块,即基于对应4个车窗的摄像头视频数据,检测在车窗区域内人体的头、颈、肩等特征,检测到特征时人员计数+1;
⑤车内人员计数完成后,再次基于对应4个车窗的摄像头视频数据进行人脸检测,分别检测各个车窗区域内人脸的左眼、右眼、左耳、右耳和鼻等特征点,并分别设定特征点形成区域的面积及各个特征点对应角度,当面积及角度均满足要求时,输出该区域面部裁剪图像。
3.1车窗升降检测
(1)车窗区域分割
车窗升降分类模型以车窗区域分割模型的输出图像为输入,采用基于深度学习的U-Net分类模型、曲线结构(车窗玻璃边缘)、反光材质过滤模型和人员识别模型混合的方式,使用标注的数据训练模型,实现对车窗开闭的自动检测。
(2)车窗升降判别
车窗升降分类模型以车窗区域分割模型的输出图像为输入,车窗已降落区域超过3/4时,判定车窗开启。采用基于深度学习的U-Net分类模型、曲线结构(车窗玻璃边缘)、反光材质过滤模型和人员识别模型混合的方式,训练模型实现对车窗开闭的自动检测。
3.2人员识别
采用基于深度学习的VGG19模型,首先对出现在车窗区域内人体的头、颈、肩等特征点进行捕捉,进而通过计算各个特征点之间的几何距离,结合人体结构和摄像头成像的透视关系,排除无关人员干扰,从而准确地识别车窗对应的位置上是否有人员乘坐。
根据智慧车道安检区域人脸视频采集设备安装的位置,位于驾驶员左(右)侧设备采集的视频流中,在目标车窗的中右(左)侧呈现,且面积较大的人体模型视为目标人员。结合4个视频采集设备相对位置,计算出车内实际乘坐人员数量。
单视频流人员计数具体流程如下:
①通过视频流数据,检测在车窗区域内人体模型,即出现的人体的头、颈、肩等特征;
②检测模型是否位于正确位置,即人体模型相对车窗的位置是否正确;
③如果人体模型位置不正确,则该摄像头所对车窗没有人员乘坐;
④如果人体模型位置正确,则检测模型比例是否正常,即模型的总体面积是否满足设定的人体面积阈值;
⑤如人体面积阈值满足设定值,则人员计数+1;
⑥如人体面积阈值不满足设定值,则该摄像头所对车窗没有人员乘坐。
针对车辆后排乘坐3人情况,需要结合左后及右后2个摄像头视频流进行协同检测,具体流程如下:
①分别计算左后视频流及右后视频流检测在车窗区域内人体模型数量,分别为1,2;
②计算1+ 2数量合计为;
③若>4,则车内乘坐人数+1;
④判断为车内后排乘坐3人,提示后排中间位置乘客看向车外侧摄像头进行人脸检测。
3.3人脸捕获
人脸正面图像识别在人员识别功能确定该位置有人乘坐后启动。采用基于深度学习的Yolo_v4模型,首先对出现在车窗区域内人脸的左眼、右眼、左耳、右耳和鼻特征点进行捕捉;进而通过计算各个特征点之间的几何距离,结合人体面部结构和摄像头成像的透视关系,识别出多张关键帧图像中人脸姿态面向摄像头、面部区域清晰的图像,并输出该图像的面部特写裁剪结果。
3.4人员位置匹配
基于视频流中用于检测车窗的图片、视频帧,配合以摄像头安装位置(左前、左后、右前、右后)进行人员位置定位,实现返回车内每位乘客位置,包括不限于主驾、副驾、主驾后排、副驾后排和后排中间等位置。
3.5人脸优选
对于检测到的车内同一人员的多张人脸图像,保留其中用于后台人脸识别比对的人脸图像,将该图像以base64码的格式返回。为实现快速检测要求,本文中根据图像质量判断方法对检测到的人脸图像进行评分,当评分满足固定阈值时即输出人脸图像,并依次进行后续3路视频流中的人脸检测与判断。
通过分析固定位置、固定角度摄像头采集到的图像,判断被检查车辆在指定位置停稳后每个车窗是否降落,配合检查。其中,采集系统设置4个400万像素广角人脸抓拍摄像头,其固定位置对应被检车辆的4个车窗。
考虑人员识别、人脸捕捉均可以在车窗区域的子集内实现,同时考虑到实时处理的要求,验证时先对车窗区域进行分割,在提取的车窗区域内进行后续的检测和识别任务,以排除其他区域的干扰,车窗区域分割测试结果如图2所示。
車窗区域检测完毕后,基于U-Net模型进行车窗升降判定,车窗升降分类测试结果如图3所示。
以车窗区域分割输出结果图像为人员检测流程的输入,通过模型算法判定车内各位置是否有人员乘坐,基于通行车辆获得人员检测结果,人员检测测试结果如图4所示。
人员检测完毕后,开始人脸捕获流程,并结合人脸识别平台相关要求,将最终人脸图像输出,人脸捕获模型测试结果如图5所示。
运用基于深度学习的AI算法,设计了一套智慧安检提升方法,并通过实际数据实现了算法模型的训练,结合应用场景对算法进行了验证。目前该方法已经在示范公安站进行了实地验证,实现了车窗是否降落、人脸是否朝向摄像头、司乘人员计数等的检测,并根据检测结果通过可视化交互软件给予民警和受检人车友好提醒,在提升安检效率的基础上减轻了执勤民警在任务中的工作强度,进一步提升了车辆安检的智慧化水平,助力公安检查站智慧安检查控水平的提升。
未来将了公安检查站车道查控中的痛点,结合5G、边缘计算等先进技术的优势,实现安检模式的创新,结合执勤民警的实战经验,实现更高水平的安检模式创新。
参考文献
[1]张光雨,刘彦飞,龙洪川,等.移动式智能检查站设计与应用[J].警察技术,2021(2):83-85.
[2]焦立彬,祝胜强,齐幸辉.检查站智慧安检新模式探索[J].警察技术,2019(4):61-64.
[3]祝胜强,周冰.一种新型智慧车道安检系统的设计与实现[J].计算机与网络,2020,46(15):66-69.
[4]李夏风.人脸识别技术在治安防控体系建设中的应用探讨.[J].中国安防,2020(6):89-92.
[5]崔时泓.公安检查站车辆安检系统创新发展及应用探析[J].中国公共安全,2020(5):159-162.
[6]徐政超.基于深度学习的人脸识别技术研究[J].信息系统工程,2019(10):25-26.