AI+公安视频分析应用进入新时代

高磊 赵炫

1. 视频图像信息智能分析与共享应用技术国家工程实验室 2. 公安部第一研究所

引言

展阶段。2012年至2014年，人工智能技术发生了质的变化，智能化的速度大大加快，使得公安视频分析应用开始进入了一个加速发展的新时代。这一时代最大的特点在于，相对于传统的技术和业务驱动的发展模式，人工智能融合大数据和云计算，将公安视频分析应用的发展模式转化为数据驱动。

一、人工智能的发展

近年来，人工智能（Artificial Intelligence，AI）技术在公安行业最先落地应用并已经取得了良好的实战效果。2017年7月20日，国务院正式印发《新一代人工智能发展规划》（以下简称《规划》），重点描述了“AI+行业”的发展规划。《规划》指出：“利用人工智能提升公共安全保障能力。促进人工智能在公共安全领域的深度应用，推动构建公共安全智能化监测预警与控制体系。围绕社会综合治理、新型犯罪侦查、反恐等迫切需求，研发集成多种探测传感技术、视频图像信息分析识别技术、生物特征识别技术的智能安防与警用产品，建立智能化监测平台。加强对重点公共区域安防设备的智能化改造升级，支持有条件的社区或城市开展基于人工智能的公共安防区域示范。”随着《规划》的发布，“人工智能”已上升至国家发展战略，公安视频分析应用也进入了一个加速发展的新时代。

当前，人工智能相关学科发展、理论建模、技术创新、软硬件升级等整体推进，正在引发链式突破，推动经济社会各领域从数字化、网络化向智能化加速跃升。人工智能对所有行业无孔不入，就像工业革命让机器替代了人的体力劳动，人工智能会让机器替代人的大部分简单脑力劳动。人工智能的第三次浪潮，首先席卷的是计算机视觉领域，公安视频分析应用自然首当其冲，在这次AI浪潮中脱胎换骨，取得了很多突破性进展。

二、AI+公安视频分析应用

从海量监控视频中快速找到线索，从茫茫人海中快速锁定嫌疑人，在汹涌的人流中快速排查可疑人员，在车水马龙中快速定位嫌疑车辆……这既是公安一线实战迫切需要解决的问题，也是无数公安科技工作者一直以来的追求目标。得益于人工智能在视频内容的特征提取和内容理解方面的不断突破，公安视频分析应用取得了跨越式进步，围绕公安视频图像侦查业务，落地了一批新应用和新战法，数据驱动的发展模式开始呈现，其中以车辆识别、人脸识别和人像识别最具有代表性。

（一）车辆识别

传统的车辆识别技术仅能识别车辆牌照，并可分辨出车辆的颜色和大致类型。随着人工智能技术的进步，利用视觉外观特征的车辆识别取得了突破。基于深度学习的车辆识别技术将特征范围由单纯的车牌或车标扩展到整个车身。类似人脸的眼、鼻、嘴特征，车辆的车灯、格栅、车窗等均是车辆的重要特征。对车辆这些特征的引入，不仅大大提升了车辆识别的准确率，对干扰、遮挡等问题的适应性也更强，识别的类别也更加细化，不仅能识别车辆的品牌，而且能识别车辆的子品牌、型号、年款等详细类别，如“上海大众帕萨特2013款”、“上海通用别克GL8豪华商务车2011款”等。在好的图像质量情况下，甚至可以识别车辆是否开启遮阳板、驾驶员是否系安全带，是否打电话等行为。指定车辆在视频图像数据中的检索除了可以通过车牌、品牌、型号、颜色等描述信息进行外，还可以通过车辆图片或年检标、挂饰等局部特征进行。

车辆识别技术在公安侦查、交通管理等领域获得了广泛的应用。目前，国内很多城市的公安车辆卡口系统在现有系统的基础上扩展了车辆识别功能，也称为车辆二次分析系统。该功能基本可以识别2000余种细化到年款的车辆类型，并在此基础上扩展出很多，如“假/套牌分析”等，实战业务应用。

（二）人脸识别

人脸识别指从视频图像中检测出人脸，提取人脸特征，在此基础上，实现人脸特征的相似性比对，或分析出性别、年龄、民族、佩饰等属性的过程。相对于指纹识别、虹膜识别、DNA识别等其它生物特征识别技术，人脸识别由于具有非接触、非强制、场景广泛、多人脸并发识别、结果直观以及比对源丰富等优点，具有广泛的应用前景和刚性需求。近年来随着深度学习、人工神经网络等技术的发展应用，人脸识别算法的准确率大幅提升，在特定数据集上的测试结果已经超过人类识别的准确率。人脸识别相关产品和应用系统的稳定性和鲁棒性也大大增强。人脸识别的应用模式可以分为人脸证件照核验、人脸布控、人脸检索、人脸查重、人脸聚类等。

目前在酒店登记、检查站身份验证等系统中广泛应用的人证核验就属于人脸证件照核验，通过现场实时采集的活脸照片数据与证件照片数据进行比对，判断通行人员是否持本人证件。在应用中，较易获得的是身份证芯片中的证件照片数据，其大小为1kB左右，两眼间距不到30像素，由于近年来基于这种低清晰度身份证照片数据的人证比对准确率大幅提高，这种方式在实际中被广泛采用。

人脸布控是对重点场所、人行通道等区域进行人脸采集，然后与指定的黑名单或白名单人脸进行匹配并报警。

人脸检索可分为注册库检索和抓拍库检索。注册库检索是给定人脸视频图像，在人口库等专题人脸数据库中进行查询，判定给定人员的身份。抓拍库检索是给定一张人脸图像，在一定范围的历史抓拍人脸数据库中进行查询，确定该人员出现的位置和轨迹。

10万t/a大型沸腾氯化法生产钛白粉原料粒度要求：-60～+100目≥90%。攀枝花典型钛精矿粒度分布见表1。

人脸布控和人脸检索的主要区别在于，人脸布控是针对实时采集的人脸视频图像进行持续分析，实时性要求高，通常用误报率和漏报率评价；人脸检索是针对离线人脸视频图像，实时性要求相对较低，通常用N选命中率评价。以目前的人脸识别技术水平，通常建议布控库不超过30万。

人脸查重通常是在人脸库内部或人脸库之间进行碰撞比对，可用于户籍查重等。

人脸聚类是对采集的人脸图像按身份进行归类，可以实现人员的“一人一档”和人员出现频次分析等应用。

（三）人像识别

本文所说的人像识别是指从视频图像中检测出人像（也称为人形），提取人像特征并进行比对的过程，其中人像是指对人员的身体全部或部分的图像描述，但通常不是人脸。人像识别可以从监控视频中提取出处于直立、行走、奔跑、骑行等状态的人像快照，通过特征分析后形成如上身颜色、下身颜色、上衣纹理、是否骑行、是否背包、是否戴帽、头发颜色、背包颜色、帽子颜色等描述信息，并可根据描述信息进行检索。

在特征分析的基础上，还可实现在跨摄像机的视频中通过人像快照对特定人员进行检索和轨迹跟踪。跨摄像机人像检索技术在学术界又被称为行人再识别（Person reidentification，ReID）或行人重识别，是近两年的研究热点。由于受实际监控场景下光线、角度、姿态、遮挡等因素的影响，跨摄像机人像检索技术具有极强的挑战性和发展空间。在两个最为常用的ReID测试集Market1501和CUHK03上，人工智能的首位命中率分别只达到了89.9%和91.8%，而一个熟练的人类标注员的首位命中率分别可达到93.5%和95.7%。直到2017年末开始出现超越人类表现的算法，达到94.0%和96.1%。

在实际应用场景中，大多数监控摄像机很难抓拍到达到识别要求的正面清晰人脸图片，并且一台摄像机不可能覆盖所有需要观察区域，而多摄像机观察区域之间一般也没有重叠。这种情况下要实现对多个监控视频中指定人员进行准确检索，就必须利用人员的全身特征。因此，人像识别在公安视频图像侦查业务中具有极高的应用价值和探索空间，目前已经成为主流公安图侦系统必备功能之一。

（四）数据驱动

传统公安视频分析应用是技术和业务驱动的，也就是技术加业务实现应用，比如车牌识别加车辆管理、运动目标检测加智能报警等。而新一轮人工智能的爆发是在深度学习算法、强大算力以及大数据这“三驾马车”共同驱动下实现的，并且数据正日益成为决定人工智能成败的关键。数据变得如此重要，成为AI+公安视频分析应用进入新时代的首要特征。数据流会在整个应用生态中形成良性循环，业务应用产生数据，人工智能把数据作为生产资料用于算法提升，精准的算法被应用到业务系统会产生更加优质的数据，优质数据更利于做细致的分析分类，又会不断衍生出新的业务应用，从而形成良性数据生产和应用生态链。人工智能融合大数据和云计算，正在将公安视频分析应用的发展模式转化为数据驱动。

以人脸识别为例，一个100路摄像机组成的动态人脸识别系统，每天可产生百万级高清人脸图片。日积月累，当一个人拥有超过百张不同时间、不同角度、不同场景、不同光线、不同表情、不同遮挡的高清人脸图片时，优质的人脸训练数据结合深度学习算法，可有效提高该种应用模式下的识别准确率。在此数据和算法的基础上又可生长出“追踪”“封锁”“聚类”“预警”等业务应用模式。

三、视频分析应用测评体系

本文所述视频分析应用测评是指对视频分析产品在公安及公共安全行业的实际应用能力进行科学客观的测试和评价。测评一方面能帮助建设单位选出实战能力优秀的产品和系统，并为实际应用中的安装部署、参数设置、系统使用等提供科学有效的指导依据；另一方面也能帮助产品快速定位问题和不足所在，大幅缩短算法研发到现场应用的反馈周期，提升视频分析技术向公安实战应用迭代改进的效率。因此，建立科学、客观、公平、公正的视频分析应用测评体系，是推动AI+公安视频分析技术发展和图侦应用的坚实基础工作。

视频分析应用测评体系的关键技术主要包括测评方法、测试数据集和测评系统等。测评方法研究测试流程、测试接口、功能和性能评价指标等。由于公安视频数据的敏感性，数据和系统的安全保护也是测评方法的重要研究内容。测试数据集是在科学方法的指导下，从典型公安应用场景中采集实际数据，并经过分类整理、准确标注形成的用于算法测试的数据集。数据容量、场景的广泛性和真实性、采集对象的全面覆盖性等是衡量测试数据集的重要指标。测评系统为数据集的管理、标注，被测系统的运行、接口调用、指标评价提供平台和工具。AI+新时代下的测评系统应该具备高数据并发能力、对不同软硬件环境的兼容能力和自动化测试的能力。

视频分析测评技术涉及面广，难度大，一直是国内外学术界及产业界的重要研究课题之一。随着AI+视频分析应用进入新时代，视频分析应用的场景适应能力和准确率大幅提高，也不断催生新的应用场景和应用模式，传统的测评体系已不能完全满足我国公共安全应用需求。以人脸识别为例，实验表明，一些能在国际知名的LFW数据集(美国马萨诸塞大学发布的非受限环境人脸识别测试集)上达到99%准确率的算法，在30万级实战库中准确率不足40%。因此，迫切需要建立面向我国公安实战应用的视频分析应用测评体系，通过基于公安实战场景的大型数据集和科学客观的测评方法，使测评结果能够真实、全面地反映视频分析产品在公共安全领域的应用能力和水平。

四、存在的问题

虽然AI+公安视频分析应用已经取得了很多突破，但我们仍需清醒地认识到，人工智能并非万能，AI+公安视频分析应用仍然存在很多问题亟待解决。

（一）图像传感技术产品缺乏突破性进展

无论是对于公安视频应用，还是对于计算机视觉技术本身，视频图像的采集都是其得以实现的基础。而图像传感技术及其产品性能直接影响采集的视频图像质量。现有技术产品条件下，夜晚、恶劣天气环境等会严重影响采集的视频图像信噪比等，导致人工智能算法性能大幅下降，甚至不可用。这个问题对于车辆识别应用的影响相对较小，主要是因为车辆卡口系统经过多年的建设和发展，其应用环境和应用模式相对固定，已经研制出了与之相对应的相对完善的爆闪、频闪等补光系统，基本可以保证各种天气条件下抓拍的图像质量。而人脸/人像识别的应用环境多变（可以说是无处不在），应用模式也复杂很多，显然无法直接照搬车辆卡口的补光方案，也不可能用一套方案来适应所有情况，还需深入研究和探讨。图像传感技术虽然也在进步，相继有“星光级”“黑光级”或“3D结构光”等技术出现，但距离解决实质问题，形成实用产品和系统还有相当长的路要走。

（二）缺乏AI+行业的全面优化解决方案

要真正解决公安智能视频应用的行业问题，只把AI算法做好是远远不够的。一轮轮巨额融资进账的AI创业公司，其优势首先在于强大的系统性算法创新能力；其次在于其源于互联网基因的工程开发技术栈，这些源于互联网的工程能力在处理分布式、大数据以及人机交互等问题时显得更加得心应手。而资深安防企业的优势主要体现在强大的软硬件一体化产品能力、行业及系统解决方案能力、营销渠道途径和项目整体交付能力等方面。其实不管是AI创业公司，还是资深安防企业，只有把从学术研究、算法实战、解决方案、系统集成到工程实施最终落地的全流程做好，把从前端到后端的全生命周期的产业链闭环（含运营维护）做好，才能真正满足AI+公安视频应用的行业需求。

五、结束语

人工智能的第三次浪潮来势汹汹，裹挟着巨额资本与各个行业激烈碰撞。与发生在二百多年前的工业革命一样，它的本质是提高生产效率，用机器替代人的部分劳动。人工智能成为引领未来的战略性技术，是提升国家竞争力、维护国家安全的重大战略手段。我们需要认清：一方面，人工智能不是洪水猛兽，它是一个我们能够拿来使用的可以替代重复性简单脑力劳动的工具，并且这个工具在我们的共同培育和努力下会越来越好用，越来越普及；另一方面，AI+公安视频分析应用在公安实战中将发挥更加积极有效的作用，甚至是不可或缺的作用。

[1] A Krizhevsky, I Sutskever, GE Hinton. ImageNet Classification with Deep Convolutional Neural Networks[C]. International Conference on Neural Information Processing Systems. 2012:1097-1105.

[2] 李鹏飞,孙苗苗,高磊,赵炫. 智能视频分析技术的最新发展与应用. 中国安防,2013(12).

[3] 胡雷地,庄唯,罗忆. 人脸识别技术在警务实战中的应用探索.警察技术, 2017(4).