一种基于MAE 人脸隐私保护方法的身份认证系统

钱泽凯 ，童彦澎 ，刘绍辉 ，王雨桐 ，王诗语

(1.哈尔滨工业大学 计算机科学与技术学院，黑龙江 哈尔滨 150006；2.哈尔滨工业大学 软件学院，黑龙江 哈尔滨 150006；3.哈尔滨工业大学 建筑学院，黑龙江 哈尔滨 150006)

0 引言

随着神经网络的再度崛起与深度学习技术迅猛发展，人脸识别的准确率和性能不断提升，人脸识别技术在各领域得以快速发展，在行政、公共安全、交通、商业等各领域发挥重要作用。然而，人脸识别技术在提升便捷性的同时，也遭到了滥用，个人隐私安全问题迫在眉睫。

在近年中一些调研中，文献[1]发现包括人脸信息在内的生物特征信息泄露问题越来越严重。2019年8 月，生物识别平台BioStar2 泄露超过2 780 万条记录，数据量达23 GB，其中包括指纹、人脸识别和用户图片、未加密的用户名和口令及员工数据等。2021 年3 月科勒卫浴、宝马等企业在主体不知情情况下，对人脸信息捕捉、记录，并对该信息进行行为分析，导致个人行踪泄露。同时根据《南方都市报》个人信息保护研究中心人工智能伦理课题组和软件专项治理工作组发布的《人脸识别应用公众调研报告(2020)》[2]发现，当前人脸识别技术普及率高，但仍存在强制使用等问题，六成受访者认为人脸识别技术有被滥用的趋势。此外，针对目前几类较有争议的人脸识别应用场景，受访者最不能接受的是商城使用人脸识别收集顾客的行为数据。在各大商场、酒店、旅游景点等具有争议的公共场合，人脸信息过度采集与非法存储行为屡见不鲜，甚至在很多安全级别低且不必要的场景中强制要求人脸认证。其次，用户对于人脸识别认证的态度也日趋保守与抵触。根据具《南方都市报》发布的《人脸识别应用场景合规报告(2021)》[2]显示，在感受人脸识别便捷性的同时，大众对人脸识别的安全性保持担忧。

针对人脸识别的安全性问题已经有相关研究，目前的系统中通常使用更精准的人脸识别手段过滤不安全的人脸，从而保护系统的安全性。常用的手段是三维结构光识别[3]，该技术将编码的光栅或线光源等投射到被测物上，根据它们产生的畸变来解调出被测物的三维信息。但所有的技术只是关注系统的安全性，忽略了人脸隐私安全问题，所有的人脸识别技术离不开数字化特征值的提取[2]，提取的人脸特征具有唯一性、不可撤销性，一旦遭到攻击、篡改或泄露，则意味着终生泄露，用户隐私安全正面临巨大威胁。

针对以上的问题，本文从人脸识别中使用的人脸数据出发，对提取的数据进行合适的加密和处理，从底层解决了人脸隐私泄露的问题。进行了全面的背景调研、系统设计、功能实现以及系统测试。系统主要分为前端与后端两个部分。后端主要包括数据库的部署与搭建、接口设计以及模型训练。前端开发了软件端与网页端。系统具有封闭安全、轻量高效、准确率高、公开透明的特点，同时还具可拓展性和移植性，几乎可以适用于人脸识别的各种场合。不仅适用于高级机密的安全场所，更能从普罗大众所接触到日常生活中的各个场景解决人脸隐私泄露的问题，可以代替大部分场景下的人脸识别系统。

系统在普通版本的基础上，开发了大量其他的应用场景模拟系统。主要针对设备解锁、上班打卡、微信取纸等具体的多种应用场景进行了设计。在不同场景下，签名与密钥的形式便捷多样，如NFC 卡、手机序列号、手机号码等，能够满足用户在多种场景下的需求，有效防范人脸信息的非法盗取与滥用。最后在系统上实现了上述提出的想法。系统是开源的，开源网址为：https：//github.com/qzkinhit/MAEBased -Face -Privacy -Protection -and -Authentication -System。

1 系统原理

现行人脸识别技术基于数字化特征值的提取[2]，而后通过特征向量的相似性比对来确认用户身份。提取的人脸特征具有唯一性、不可撤销性，一旦遭到攻击、篡改或泄露，则意味着终生泄露。针对该问题，本系统在数据库中仅存储缺失位置信息的残缺人脸碎片编码，利用数据切片技术实现去人脸化。在认证时利用遮罩自编码模型进行复原，将复原图像与实时采集图像进行比对来完成认证。系统将图像位置信息与现有密钥技术相结合，采用传统密钥/生物特征密钥实现双重认证，进一步提高系统的安全性。在认证过程的用户人脸实时采集阶段，现行身份认证系统针对照片脸、模型脸、视频脸、双胞胎脸、二次翻拍等人脸造假手段，多未进行特殊处理，容易被伪造人脸欺骗。本系统采用活体防伪技术与可遮挡口罩识别，有效拒识伪造人脸，且支持用户佩戴口罩情况下的识别，符合当下疫情的时代主题。此外，系统采用数据签名环技术，保证信道安全。原理详细阐述如下。

1.1 遮罩自编码模型

本系统使用的关键技术是遮罩自编码模型(Masked Autoencoders，MAE)[4]。本模型将自然语言处理领域的语义补全方式用于计算机视觉领域。模型大致训练过程为：先将输入图像的随机部分予以遮罩，再重建丢失的像素。经过海量数据的学习和训练，人工智能模型会理解图像的语义信息，并将图像复原。

整个MAE 模型大体上分为非对称的编码器和解码器两部分。首先将一幅完整的图片分成一行16 块、一列16 块的图像块，并得到每一个图像块的嵌入表示，这样就可以按照自然语言序列的形式将图片输入到模型的编码器中。模型的编码器实际上就是一个视觉转换器网络(Vision Transformer，VIT)[5]，但编码器的输入并不是整幅图像，而是随机遮掩住一部分图像块(通常的遮掩比例为75%，通过大量对比实验确定)；然后将剩余的图像块输入到编码器网络中，同时输入每一个图像块的位置信息，以便在解码器输入前重建出整个图像的位置信息。

在通过编码器网络后，可以得到关于输入图像的隐藏层信息表示。之后根据每一个图像块的位置信息重建出原始图像块顺序，其中被遮罩的图像块都用一个统一的形式表示。然后将所有编码器输出信息按原始的图像块顺序输入到模型的解码器中，解码器试图从这些输入信息中重建出原始图像。最后将解码器得到的输出图像与原始图像进行比较，计算误差并反向传播更新模型的参数，从而实现对整个模型的训练。

MAE 的基本架构如图1 所示。

图1 MAE 模型架构图

1.2 活体防伪技术与可遮挡口罩识别

本系统摒弃传统人脸识别采用二维图形处理模型，对人脸进行三维结构化处理。在人脸识别阶段通过对人体行为及细节实时分析侦测，有效杜绝照片脸、模型脸、视频脸、双胞胎脸等作假手段，过滤检测中不符合标准的人脸[6]。

同时为了符合当前疫情防控的需求和提供更可靠的人脸隐私保护，注册和认证时，本系统可以在使用口罩进行遮挡的情况下，准确地识别和分析人的身份信息[7-8]。

活体识别[6]首先使用基于图片中人像的破绽(摩尔纹、成像畸形等)，判断目标是否为活体，有效防止屏幕二次翻拍等作弊攻击。其次，在摄像头中采用3D 结构光技术，亦可有效对抗非活体攻击。红外摄像头唤醒点阵投影器，绘制出人脸深度图像，从而有效对抗2D 非活体攻击。

1.3 去图像化与数据切片

依托于MAE 图像语义补全模型的技术，系统在数据存储和处理过程中具有不可逆的图像处理流程，保证了数据库中信息即使被盗取，也不可能复原初始图像信息。

系统通过遮罩实现人像分离采集，对摄像头采集的图像进行实时“去人脸化”处理，即只保留25%的图像。随后，对图像块的切片与划分后形成无序碎片信息，并通过MAE 编码器自注意力特征提取去图形化。在经过MAE 模型的编码器后，图像仅为向量化特征表示，从而达到去图形化的操作。

这样的手段具有不可逆性，经过碎片化和去图像化处理的数据难以还原成人像，即便窃取密钥与模型进行还原，也无法获得原图，仅为缺失关键生物信息的模糊人脸图。而只有最后去图形化的信息才会存入服务器端数据库中，这一技术从源头上避免了用户人像照片被窃取并还原的可能。

1.4 生物特征密钥提取

人们比较熟知的密钥技术是通过助记词算法生成私钥，传统的助记词模式具有易被窃取、易丢失等诸多问题，生物特征密钥摒弃了这一做法。生物特征生成密钥时，将从用户实时上传的清晰人脸中去提取分析。和传统密钥技术不一样，生物特征密钥实时产生，并不会存储在任何地方，也无法从模糊或碎片化的人脸图像中提取，保证了密钥的安全。

通过人脸检测定位，检测图片中的人脸并标记出人脸坐标，精准定位包括脸、眉、眼、口、鼻等人脸五官及轮廓的72 个关键点，分析脸型、眼睛形状等人脸特征作为身份特征密钥，同时综合分析肤色、性别、人种等稳定特征的生物特征信息，具体分析位点如图2 所示。通过这些生物特征信息，系统就可以将这些信息编码成密钥。

图2 人脸分析详细位点示意图

针对实时产生的生物特征密钥的稳定性，本系统制定了相应实验测试，生成了生物特征的稳定性排序，具体实验方法和结果见实验测试部分。

1.5 数据签名环

在系统中，由用户设备码等信息形成身份签名，使用身份签名可以保证节点独立、一个身份签名对应唯一的一个节点，恢复人脸次数尽量少的情况下，泄露可能性就越低。

系统设计了一种签名环技术，具体内容如下：在进行注册和认证操作时，使用实时生成的生物特征密钥，将认证时获取的人脸原图进行分块打乱，并丢弃其中75%的图像块，将剩余的25%的图像块进行加密编码。多种公钥共同组成缺口数据签名环，与用户人脸特征密钥、加密编码、身份签名一起形成完整的签名环。经过人脸环形签名技术签名的数据，外界无法获知到底是谁进行了该签名，确保了签名身份的隐匿，保证了信道安全。

综上，系统基于MAE 模型与数据切片实现去图像化，将传统密钥/生物特征密钥与MAE 模型中的图像位置信息结合，实现双重认证，采用活体防伪技术与可遮挡口罩识别增强认证时人脸采集的安全性，并采用数据签名环技术保证信道安全。

2 系统设计

2.1 系统结构

本系统主要包括人脸提取和密钥生成两大核心，功能架构如图3 所示。

图3 “见微”系统功能架构

2.1.1 人脸提取

系统对用户人像进行提取，并进行相应的处理和加密。系统中的人像有三种形态，包括完整人像、人像碎片与复原人像，每种形态的人像各自的功能和适用范围。

(1)完整人像

在系统的实时录入阶段需要获取用户完整、清晰的人像，主要用于活体防伪并过滤不合格人脸。

完整人像示例图如图4 所示。完整人脸在通过密钥加密处理后生成人脸碎片化图像后就会销毁丢弃，不会被存储和发送，从而杜绝了被泄露的可能。同时，用户可以选择不提供完整人像，在识别阶段进行人脸遮挡，如佩戴口罩或墨镜识别，系统将根据裸露的生物特征进行分析。

图4 完整人脸图像举例

(2)遮罩图像与人像碎片

遮罩图像是在客户端对人脸原图随机遮罩75%生成的部分的图像；人像碎片[9]是由密钥生成的、遮罩后划分出的图像块。人像碎片只提取原人像中25%的脸信息，同时隐匿图像块原本的位置信息，在没有密钥参与的情况下，人像碎片就成为了无意义数据，即使数据库被攻击，也无法泄露用户隐私。

示例如图5 所示，遮罩图像只是展示使用，不存储在数据库中。碎片化图像去除位置信息，分块并以去图像化编码的形式存储在数据库中。

图5 遮罩图像(上)与碎片化图像(下)举例

(3)复原图像

复原人像是在认证阶段由用户提供密钥和数据库存储的人像碎片编码共同参与，通过MAE 模型进行图像语义补全，最终得到的产物。复原人像用于认证时的比对，相似度合格后比对通过。

示例如图6 所示，在此种手段下复原的人像准确性高，误识率小于万分之一，同时它具有足够模糊的特点，使其被盗用价值低，保证了用户隐私安全。

图6 复原后的图像举例

2.1.2 密钥生成

系统将实时生成不被存储的密钥，用于生成图像块的位置信息。密钥由用户存储，在服务器端实时获取。主要有两种设置方式：用户手动设置和人脸生物特征提取。

(1)手动设置

可由用户自行选择是否设置密钥，若选择自行手动设置，密钥将掌握在用户手中，若无用户主动提供信息，任何一方无法获取、复原人脸信息。适用于机密级别高的安全场景，由用户掌握自身的隐私安全。

(2)人脸生物特征提取

然而，在多数场景下，用户手动设置与输入密钥的交互方式过于繁琐，且一旦忘记，找回密钥需重新进行注册，流程较繁琐。因此，本系统开发了另一种更加人性化的密钥设置方式——生物特征密钥提取。注册与登录环节实时获取用户人脸图，自动分析眉眼间距、脸型等参数，在线分析并获取密钥。生物特征提取只会应用于客户端和不存储人像的录入阶段，且其他不符合要求的人脸图片无法得到正确结果，在便捷的同时保证了安全性。

2.2 软件流程分析

系统运行示意图如图7 所示，为了方便示意，流程图中的分块只分25 块，实际应用中的分块数目更多，一般不少于256 块。

图7 系统运行示意图

(1)系统的注册流程。首先，系统实时获取用户人脸图，通过AI 自动分析眉眼间距、脸型等参数，获取人脸特征密钥(即1.4 节提及的生物特征密钥)，由人脸特征密钥生成遮罩75%部分的位置信息对人像进行遮罩，之后丢弃人脸原图。随后，系统提取剩余25%未遮罩的、没有位置信息的图像碎块生成加密编码，进行信道传输时，由公钥组成缺口数据签名环，与用户人脸特征密钥、加密编码、身份签名一起形成完整的签名环发送至服务器端。最后，服务器端解析签名环并将各个要素提取出，通过系统独有的MAE 框架将碎片化图像进行复原，通过复原的情况，以此来验证签名环的有效性，随后将身份签名和加密编码进行保存，并立即丢弃用户的人脸特征密钥。

(2)系统的认证流程。首先，和注册部分的流程基本一致，用户在客户端被采集一张新的人脸图像，但在采集过程中进行活体防伪检测，有效防止人脸伪造攻击。而后经过同样的加密方式发送至服务器端。随后，服务器端解析签名环将各个要素提取出后，需要先匹配注册时留下的身份签名，并通过MAE框架用人脸特征密钥将数据库中保存的碎片化图像编码和接收到的碎片化图像编码分别进行复原。最后，将两个复原的人脸图对比相似度，判定合格后认证通过。

3 实验测试

本实验针对训练模型、密钥安全稳定性和遮挡条件下的性能分别进行了测试与分析。系统也被投放到实际应用场景中，供志愿者测试与使用。

3.1 实验数据

测试过程中的数据采用哥伦比亚大学于2009年发布的人脸数据集[10]。该数据集是一个大型人脸数据集，主要用于人脸识别和身份鉴定，其涵盖互联网上200 人的58 797 张图像，不同于大多数现有面部数据集，这些图像是在主体完全不受控制的情况下拍摄的，因此不同图像中姿势、光照、表情、场景、相机、成像条件和参数存在较大差异，适合用于实验测试。

3.2 实验系统实现

系统包括后端方案和前端方案两个部分。具体方案设计如图8 所示。

图8 系统方案设计

作为客户端，前端用于提供多元化、多平台的系统场景方案模拟。本文设计了网页端和软件移动端两类实现方案，保证不同人群的多平台使用习惯。同时，针对前期调研中的敏感隐私场景，设计了多元化的场景实现方案。网页端包括上班打卡系统的设计实现，软件移动端包括双重认证系统、门禁打卡系统、应用设备锁和刷脸取纸等前期调研中的敏感隐私场景的设计实现。

作为服务器端，后端负责连接数据库进行数据存储，同时为前端提供接口以帮助其使用。其核心是MAE 图像复原模型的实现，需要实现MAE 框架对人脸图像复原的应用，包括利用密钥生成遮罩位置、图像预处理、编码器解码器模型结构实现、模型训练等步骤。此外，系统需要通过人脸面部分析，实现人脸识别认证、活体检测和生物密钥提取功能。

3.3 训练模型的测试与分析

模型的实际效果可以用复原后图像和实际图像之间的相似度进行评价。选用的相似度评价指标是两幅图像之间的结构相似性度量，即结构相似性(Structural Similarity，SSIM)指标[11]。该指标从图像中提取三个关键特征，分别为亮度、对比和结构。

给定两个图像x 和y，两张图像的结构相似性可按照下式求出：

式中μx是x 的平均值，μy是y 的平均值，是x 的方差，是y 的方差，σxy是x 和y 的协方差，c1和c2是用来维持稳定的常数。

由此可以计算两张图片之间的结构相似性。SSIM 值越大，说明图像失真越小，两张图像越相似。所以SSIM 可以作为对复原图像效果进行评价的一个指标。最终，在实验数据上测得SSIM 指标的平均值为0.879 0。由结果可以看出，整个模型对被掩码图像的复原效果较好，只存储少量人脸图像块即实现对整个人脸进行识别。

3.4 密钥安全稳定性的测试与分析

系统通过客户端在线分析出人脸72 个关键位点，以帮助密钥的生成。结合分析出的皮肤特征，可以分析出人脸形状、眼睛形状、肤色、人种、皮肤质量等生物特征作为密钥使用，保证同一个用户人脸的密钥一致。但是对于不同的提取特征，需要考虑其受角度、光照、时间等因素影响，来计算稳定性的差异，通常稳定性越强的特征越需要较少的资源去识别。经过试验和测试，最终分析出生物特征的稳定性排序策略，如表1 所示。

表1 人脸生物特征稳定性排序策略

3.5 遮挡条件下的性能测试

考虑到实际使用中用户会戴口罩进行人脸识别，本实验针对遮挡条件下的数据进行性能的测试与分析。

本系统测得用户在戴口罩和不戴口罩的情况下的平均注册时间、平均登录时间和登录时的平均SSIM 指标如表2 所示。戴口罩注册和登录时花费的时间略长于不戴口罩花费的时间，但仍在接受范围之内；戴口罩登录时获得的SSIM 指标会略有下降，但是仍在有效识别的范围内。

表2 戴口罩与不戴口罩情况下各项指标对比

此外本实验还对用户进行登录时，上传的人脸图像在不同遮挡方式和遮挡比例的条件下获得的平均SSIM 指标进行测定，结果如表3 所示。

表3 不同遮挡方式和遮挡比例下的平均SSIM 指标

从表3 中可以看出，除上部遮挡以外，其余的遮挡方式在遮挡比例高达50%的条件下也可以得到比较可靠的比对结果；而人脸下部被遮挡70%的条件下，比对结果依然可靠。该测试结果说明，人脸的眼部及以上的区域包含了较为重要的信息，如果该区域被遮挡，即对应上部遮挡50%及以上的结果，则会使得人脸比对的可靠度明显下降；相反，若该区域的人脸信息得以保留，则比对效果依然可靠。

现在考虑实际应用中的场景，最有可能发生的面部大比例遮挡的情况应当是用户佩戴口罩进行认证，大致对应于下部被遮挡50%的情况。实验结果显示，在该遮挡条件下获得的对比结果依然可靠；而用户面部上部被遮挡超过50%的情况十分少见；而其他常见的遮挡比例超过50%的可能性很小。由此可得，身份认证系统在绝大多数面部遮挡情况下都具有一定的鲁棒性，可以保证比对结果安全可靠。

3.6 实际场景下的产品使用测试

为了评估最终产品的可靠性，100 名志愿者对开发的安卓App 中的4 个使用场景进行了试用。志愿者的性别和年龄组成数据如表4 和表5 所示。

表4 测试者的性别组成

表5 测试者的年龄组成

志愿者分别体验了双重认证、门禁打卡、设备解锁以及刷脸取纸4 个应用场景下的注册和登录功能。经过测试，这100 名实验者均成功在所有场景下完成了身份的注册，而注册后进行身份认证的测试结果如表6 所示。

可见，基于系统设计实现的产品在实际使用中能够发挥出较高的可靠性。针对不同年龄性别的人群以及不同的使用场景、周边环境下，该产品均能较为出色地发挥其功能。对于其中出现的极少数认证失败的情况，分析是用户在采集人脸图像时周边环境的光照条件不良、镜头出现抖动导致图像较为模糊等原因导致的。用户可以在排除这些因素后再次进行注册或身份认证，正常使用本系统。

4 结论

当前时代背景下，个人隐私泄露问题愈加严重，公众对人脸识别不信任情绪加剧。诸多具有争议的场合，对人脸信息存在过度采集与非法存储等问题。目前，人脸识别手段具有唯一性和不可撤销性，一旦遭到攻击篡改，就会终生泄露。

针对上述问题，本文设计了基于MAE 人脸隐私保护方法的双重认证系统。本系统从去人像化的图像化信息入手，设计人脸识别与认证的各个环节，结合实际的应用场景，杜绝隐私泄露的可能，有效保护用户人像隐私，让人脸信息这一私人核心数据真正由用户自己掌控。从安全性角度考虑，本系统采集可遮挡，身份被隐匿，即使被盗取，也很难重建原信息。同时，本系统达成了轻量高效、准确率高、公开透明的预期效果，针对设备解锁、上班打卡、微信取纸等具体的隐私敏感场景进行了模拟，具有实用的前景。未来，将针对一些已有的人脸识别系统进行迁移，提高本系统的可移植性，同时对比迁移前后的系统性能，进而提高系统的准确率和效率。