有关证件照自动处理技术的研究

自2021年12月10日起，驾驶证电子化便利措施在全国全面推行，驾驶人可以通过手机提交照片的方式在“交管12123”App上申领电子驾驶证。为提高照片审核效率、规范照片质量，基于人工智能的数字图像处理算法被运用在电子驾驶证业务中。本文从人脸检测、关键点检测、背景去除、质量检测、合规性检测和亮度调整共六个方面，分析证件照自动处理技术，给出了详细的分析和解决方法，为下一步如何提高照片自动审核效率、改善照片质量提出了研究建议。

一、电子驾驶证申领

电子驾驶证具备使用便捷、不易丢失、实时可查验等优点，既可以在交管窗口办理业务、接受执法检查时出示使用，也可在客货运输、汽车租赁、保险购置等各式各样的应用场景下使用。电子驾驶证一经推出，受到了社会各界和群众的广泛关注和好评。

首次申领电子驾驶证时，“交管12123”App将自动调取驾驶证申请人已留存的照片作为电子驾驶证照片，电子驾驶证生成后，可自愿选择是否更换照片。如申请人未留存照片的，将提示申请人通过手机拍照或者相册选择的方式提交证件照，通过审核后，即可生成电子驾驶证。虽然通过手机提交证件照的方式便民利民，但存在两个问题亟需解决：一是提交照片的质量一致性差。手机上采集证件照易受环境影响，不同拍摄光线、不同角度采集的证件照差异很大，照片规范性难以约束，质量难以统一，很难达到标准证件照的技术要求；二是审核工作量大。由于驾驶证属于法定证照，审核人员需确认是否是本人、是否有违规动作、是否有过分照片处理和美化、是否有裸露等行为，审核通过后才可发放电子驾驶证。常规采用人工方式审核照片工作量大、效率低，照片审核结果不能及时反馈给用户，用户体验较差。

为了提高照片审核效率、规范照片质量，基于智能手机平台实现证件照的自动处理技术有待探索。将传统数字图像处理和深度学习技术融合，证件照自动处理的精度和效率都得到了大幅提高，有效提升了用户体验。因此，基于深度学习技术的证件照自动处理技术被应用到电子驾驶证业务中。

数字图像处理学科大约形成于20世纪60年代初，早期的图像处理目的是改善图像质量。伴随着硬件设施处理能力的强化和图像处理研究的深入，数字图像处理方法扩展至图像压缩、图像增强、目标检测、图像分割和图像识别等，并在复杂多变的应用场景中得到广泛使用。智能手机的普及伴随着图像处理能力的飞速提升，使得数字图像处理技术在手机上的应用越来越广泛，智能手机中照相App的各种滤镜、图像变换使用的就是数字图像处理技术，包括增强、去噪、对比度拉伸、缩放、几何变换、灰度化、二值化、目标检测、图像分割、实例分割、图像修复等。

值得注意的是，近几年基于深度学习的人工智能技术得到了飞速的发展。得益于深度学习强大的图像特征表示能力，越来越多的研究学者将深度学习应用于图像处理，取得了诸多令人瞩目的研究成果，并在实际应用中体现出了巨大的实用价值。2006 年，Geoffrey Everest Hinton（杰弗里·埃弗里斯特·辛顿）提出了深度学习算法，它本质上属于神经网络的一种。之后深度学习在诸多领域取得了巨大成功，受到研究学者广泛关注。深度学习能够取得成功有两个重要原因。首先是大数据的出现在很大程度上缓解了训练过拟合的问题。其次，计算机硬件的飞速发展提供了强大的计算能力，使得训练大规模神经网络成为可能。目前我们使用的手机中的美颜特效、图片搜索、人脸识别等都已经使用到了深度学习技术。

二、证件照自动处理

传统证件照的制作与处理主要通过手工P图的方式实现，这种处理方式耗时耗力，效率较低，不适合批量处理海量数据。当面对海量的图像处理任务时，通过多种的图像处理算法来实现图片的批量处理成为研究的热点之一。

基于计算机算法的证件照自动处理主要包括人脸定位、去背景、亮度调整三个步骤。本文将进一步细化为人脸检测、关键点检测、背景去除、质量检测、合规性检测和亮度调整共六个步骤，详细分析每个步骤的操作目的和实现原理。证件照自动处理流程如图1所示。

图1 证件照自动处理流程图

（一）人脸检测

证件照自动处理首先要做的就是人脸检测。所谓的人脸检测就是判断图像中是否包含人脸肖像及其标定包含人脸肖像在图像中的具体位置。人脸检测算法会采用矩形框来标注出人脸肖像在图像中的位置，如图2所示。

图2 人脸检测

在人脸检测的过程中，会得到一个预测值Score，该预测值表明当前检测到的人脸肖像的置信度，是指当前算法检测到的这个框内包含真实人脸的可能性，可通过调节Score阈值的大小，来定义筛选人脸不清楚等质量不合格照片。证件照要求头部位置居中，通过人脸检测处理算法，一方面可以判定当前证件照中是否存在人脸肖像，另一方面可以根据得到的人脸框位置判定脸部是否偏移，人脸肖像占整个照片的大小是否满足要求。

（二）关键点检测

为了进一步分析证件照质量，可采用关键点检测算法得到脸部关键位置再进行质量分析。常见的人脸关键点检测算法有5点检测、68点检测等，根据检测到的关键点再结合空间几何映射计算得到俯仰角pitch、偏航角yaw和滚转角roll，如图3所示。根据这三个角度来判断头部姿态是否符合证件照要求。电子驾驶证采用了人脸关键点使用5点检测，具体包括左眼、右眼、鼻子、左嘴角和右嘴角，如图4所示，简单、快速地进行证件照质量分析。

图3 头部姿态示意图

图4 关键点检测

（三）背景去除

证件照要求背景单一，常规为白底、红底或蓝底三种。但使用手机拍摄的人像带有各式各样的背景，因此，需对手机拍摄的肖像照片先进行去背景处理，如何快速准确地实现自动去背景成为了当前亟需解决的难题，也是当下计算机视觉领域的研究热点。

传统去背景方法利用三分图（Trimap)来辅助解决任务，这类算法由于没有考虑背景的复杂性，算法适应性较差。另外，由于依赖用户提供的三分图精度，因此不适合自动批量处理。近几年来，基于卷积神经网络的深度学习去背景算法相继被提出。这些算法在精度和鲁棒性方面相比传统方法取得了显著的进步，即使是相对复杂的背景也能够准确地提取出人像前景。为了能够在移动设备上实现基于深度学习的去背景应用，一些算法尝试结合MobileNet网络实现轻量化部署，这大大优化了移动设备上的证件照去背景性能，使得复杂的重模型能够以轻量化的形态运行在移动设备上，从而提升人像背景去除能力，图5展示了证件照背景替换的效果图。

图5 背景替换效果图

（四）质量检测

通过人脸检测和关键点检测，可在一定程度上保障用户的脸部位置和姿态符合证件照要求。但是受限于拍摄环境的不确定性，使用者通过手机提交的照片往往存在脸部光线过亮、光线过暗、偏光、模糊等质量问题。因此，需要对脸部光线、模糊等问题进行检测，判断是否在证件照规定的要求范围内。

1.脸部光线检测

结合人脸检测和去背景人像语义分割的结果，可得到人脸区域外轮廓。接下来只需要计算人脸区域的灰度均值和颜色均值即可判断脸部光线是否过亮、过暗以及是否偏光等光线问题。图6显示了部分典型光线不合格照片示例。

图6 典型光线问题照片

2.模糊检测

传统的图像清晰度评价算法有很多种，主要分为空域和频域两大类。在空域中，主要思路是考察图像的领域对比度，即相邻像素灰度特征之间的梯度差；在频域中，主要思路是考察图像的频率分量，对焦清晰的图像高频分量较多，对焦模糊的图像低频分量较多。典型算法包括Tenengrad梯度方法、Laplacian梯度方法和方差方法。一般来说，单一清晰度评价方法误检率较高，精度较差。因此，为了提高检测精度，可以综合使用多种清晰度评价方法，利用集成学习取得更好的检测结果。检测证件照是否模糊可以采用传统的清晰度评价算法来实现。

传统清晰度检测算法检测速度快、对硬件环境要求低，但是总体的检测精度不高。一些研究学者开始尝试使用深度学习算法来实现图像清晰度评价。基于轻量级卷积神经网络的清晰度评价算法，将清晰度检测任务看作是一个基本的二分类问题：清晰或模糊。对于证件照任务来说，样本场景相对比较简单，因此，通过大量真实训练样本的学习可以得到比传统检测算法更好的效果。

（五）合规性检测

除了常见的质量问题以外，少量用户存在上传不合规照片等行为，例如存在戴口罩、戴墨镜、戴帽子等不符合证件照规范的照片。图7显示了部分典型的不合规问题照片。

图7 典型不合规问题照片

合规性检测任务采用两种解决方法。一种就是用一个统一的检测模型，检测所有类别及其对应的位置，例如YoloV3算法。使用这类算法训练相对比较简单，但是由于是多类集中学习，因此检测结果容易产生混淆。还有个问题就是一旦某个类别多获取了一些标注数据，此时就需要重新训练整个模型，训练比较耗时。另一种方法就是将任务拆分为单个的二分类算法，针对每个二分类算法单独训练，这样有助于精度的提升，并且每个分类子模型较轻，方便在移动设备上进行部署。

（六）亮度调整

通过检测的照片可能还存在少量光线较弱、较强或者不均匀的问题。因此，证件照处理最后的一个步骤就是照片亮度调整，从而使所有照片的亮度限定在一个合理的范围内，进一步控制证件照质量。所谓的亮度调整就是对照片的整个亮度进行分析，使得亮度分布尽可能均匀。传统的亮度调整算法包括直方图均衡化、Gamma矫正、局部亮度补偿等，这类算法运算速度快、对硬件要求较低，很多手机的照相功能都集成了此类算法。图8显示了使用亮度补偿功能后的照片处理效果。

图8 自然场景图像亮度调整处理效果

尽管使用方便，但是这类算法在处理不均匀亮度照片时效果较差，而且算法鲁棒性不高。近年来，一些基于深度学习的光线自适应调整算法相继被提出，尤其是基于生成对抗网络的系列算法，在视觉体验和鲁棒性上均取得了巨大的进步，是未来的重要研究方向。图9显示了使用深度学习进行证件照人像亮度调整的效果。

图9 证件照人像亮度调整效果

上述证件照自动处理步骤环环相扣，各环节之间的信息具有一定的互补性。只有充分掌握各个环节的处理技术，才能综合考虑并设计出稳定、高效的证件照自动处理系统。未来，可以从两方面来改进现有算法和系统。一方面就是可以结合前沿的深度学习算法，进而有效改进现有模型精度，例如考虑自监督学习算法，充分利用无标签样本信息来提升性能。另一方面则是可以研究知识蒸馏等模型轻量化方法将算法转化到移动端实现快速处理。