人脸识别技术——设计保护隐私和防止偏见的系统

杨·道格拉斯，丽贝卡·巴拉贝卡，卡洛斯·伊格纳西奥·古铁雷斯，迈克尔·查科夫斯基

（美国兰德公司）

0 引 言

与指纹和虹膜识别非常相似，FRTs 是一种生物识别系统，它依赖于模式识别来匹配给定数据集中的人脸。换言之，有关一个人身体的数字化信息是从图像或视频中提取出来的，并与其他面部图像或其他传记信息相关联。鉴于这些能力，本文介绍了一种二维启发式方法来描述FRTs 中的准确性和隐私性权衡。接着讨论了这项技术对隐私和偏见的影响。

1 一种确定人脸识别技术准确性和隐私性权衡的启发式方法

在本报告中，我们使用“准确性”一词来指代FRTs 进行图像比较和正确识别人的能力。选择该定义的原因是，我们希望遵循测试和实施FRTs 的政府机构使用的分类法。我们还认识到FRTs 的性能准确性包括多个方面：最大化真实肯定、最小化错误肯定和错误否定。这些都对隐私和偏见有影响。

在对文献进行回顾之后，我们确定了一种二维启发式方法，以对比潜在的隐私问题和对FRTs 准确性的影响。第一个维度描述了受试者了解FRTs 系统并同意配合使用的程度：同意或不同意。在同意的情况下，受试对象知道他们的图像已被捕获并通过自愿提供信息进行合作。由于拍摄对象静止不动，取下脸部遮盖物并直视摄像机，因此可以得到更高质量的图像。相反，在不同意的情况下，受试对象没有机会拒绝捕获其图像。在这种情况下，通常会出现阻碍视线或姿势变化的情况，从而降低FRTs 的准确性。

启发式对比的第二个方面是将面部验证与身份识别进行对比。人脸验证是将一张人脸的参考图像与另一张人脸的参考图像，即声称身份人的参考图像进行一对一的比较。此外，人脸识别涉及两个数据集的搜索。它可以在一个数据集中的人脸中搜索另一数据集中的人脸，也可以从另一数据集中的一个数据集中搜索任意数量的记录。在此报告中，我们将一对多和多对多标识归为一类：一些对多。这个映射关系与FRTs 系统的准确性和偏差有关，因为目前用于一对一识别的算法比多对多识别的算法更准确。

表1 所示的矩阵可以帮助我们评估错误与隐私和偏见潜在相互作用。例如，它表明左上象限中的用例可能比右下象限中的用例具有更高的准确性。因此，这种二维分类可以作为一组判断FRTs 系统是否具有高精度的标准。

表1 按同意和匹配类型分列的人脸识别技术使用案例

2 隐私和隐私增强技术

2.1 隐私权和偏好

在这项研究中，我们将隐私定义为一个人控制自己信息的能力。它对个人和国家的重要性是不可否认的。根据《联合国人权宣言》，隐私权是一项人权。它的保护可以起到平衡国家间权力的作用，被认为是一种受保护的公民自由。

在实践中，隐私权的概念可能由于下文的原因而难以实现。例如，国土安全部（DHS）指出，它被授权从“声称是美国公民和进入美国的旅行者的美国入境申请者”那里收集生物特征信息。但根据乔治城大学法律中心隐私与技术中心的一份报告，国会“从未明确授权使用人脸识别技术从美国公民那里收集生物特征”。

对隐私的关注，尤其是对监视的保护，可能导致人们改变其行为。当被问及这些问题时，美国受访者表示，他们想要隐私并关心隐私。欧盟的受访者强烈地不信任机构，他们更倾向于保护隐私。有关美国政府监控的新闻报道可能会对记者的言论、网络行为和宗教表达产生寒蝉效应。对监视的长期影响研究发现，尽管人们能够适应侵入式监视，但他们发现它是“烦恼、担忧、焦虑甚至愤怒”的原因。在一项研究中，受试者甚至放弃了自己喜欢的活动和爱好，以表现出某种形式的对观察者所能看到东西的控制。此外，监视并不能保证产生好的行为或阻止坏的行为。例如，闭路电视在犯罪方面的效力因环境而异。

2.2 数据收集和共享许可

考虑到公众对隐私和监视的关注，在决定如何实施FRTs 时，获得同意是一个重要的考虑因素。对不同意提供信息的人使用FRTs，无论是收集还是以后分享，都会产生短期和长期的负面影响。它可能导致结果不准确或被误解，例如，被列入拒绝某人权利的黑名单中。鉴于收集到的这些信息一般不公开，可能不会告知错误肯定事件的当事人为什么会被标记，从而使他们无法利用补救或申诉机制来反驳和解决误解。

FRTs 也可以用来提供一些好处。如果请求某一福利的人不同意拍照，那么他们将不会有可用于成功配对的面部照片。例如，有些旅行需要护照，如果想进行这种旅行的人从未申请或提供符合申请护照要求的照片，那么他们就不会同意在检查护照的数据集中拥有照片，因此将被拒绝进行该旅行。

2.3 隐私增强技术

在部署新技术时，特别是在安全环境中，政府机构可能需要考虑保护隐私和提供安全之间的内在权衡。隐私工程领域近年来不断发展，它解决了将隐私保护构建到软件和硬件中的问题。我们探索了隐私工程，以确定如何获得FRTs 的安全优势，同时仍将隐私构建到以安全为中心的系统中。尽管隐私工程包含多种工具和技术，但我们重点关注在FRTs 系统上实现隐私工程的三个方面：

（1）数据保护侧重于通过使用加密或分离系统角色或任务来保护现有数据。这确保了数据的完整性，并且只有预期和授权的查看者才能读取信息。它在防止恶意收集信息方面特别有用。

（2）数据最小化、缩减和匿名化侧重于减少可用信息量，甚至是授权用户。相关方法的示例包括差分隐私和匿名化。

（3）数据透明度和可纠正性是一种访问和控制技术，强调受试者在确定和理解如何处理其数据方面的作用。复杂的用户访问和隐私控制选项包括向公众提供通知和选择。此外，如有需要，还应提供纠正信息的机会。尽管有通知和选择，但个人对其数据的控制最终可能取决于政府机构如何选择平衡隐私和安全。

前两个方面（数据保护和数据最小化、缩减和匿名化）仅在系统实施者和开发人员的控制之内。数据透明性和可纠正性还必须由系统开发人员和实施人员来建立，但是这些技术为主题提供了更多的机会来让受试者了解和更正关于自己持有和使用的数据。

2.4 人脸识别黑客

人们试图保护隐私的一种方法是“入侵”FRTs。FRTs 无法幸免于通过各种攻击媒介破坏其有效性的努力。根据实施这些行为人的意图，它们可以被视为一种手段，通过使摄像机难以扫描一个人的面部来保护隐私，或者通过伪造一个人的面部特征来为非法行为提供便利。本节描述了以避免检测或模拟为目的对FRTs 进行黑客攻击的技术。

2.5 检测回避

检测回避也被称为躲避或生物特征模糊，它可以增加对象的物理外观和用于识别他们的图像收集之间的差异。目前，几乎所有的检测回避技术都依赖于面部特征的临时或永久的物理修饰或隐藏。

临时性技术（例如，放置社交可接受的障碍物或假发）会降低FRTs 系统检测匹配身份的能力。一些研究强调了眼镜在检测回避中的作用。身份照片中有眼镜的受试者一旦摘下眼镜，就有可能避开FRTs。眼镜还可以设计成通过使用特定的颜色模式，通过以新颖的方式吸收和反射自然光的材料或通过发出使照相机系统蒙蔽的红外光来误导FRTs。

使用临时或永久性补妆也会降低FRTs 的有效性。Guodong Guo 和他的同事创建了一个分类法，描述了化妆如何在一个人的面部特征中产生对比。分类法包括肤色，可以通过改变肤色来改变人的外表种族；皮肤光滑度和质地，对其进行修饰可改变疤痕、丘疹和皱纹的外观；皮肤的高光，可以突显脸部的不同元素。

整容手术是一种永久性改变人的特征并挑战FRTs 准确性的技术。根据FRTs 方法和手术类型的不同，正确识别接受过整形手术的人的能力可能会有很大差异。例如，耳整形术后的识别率约为56%至90%，而皮肤整形后的识别率则约为5%至95%。

2.6 假冒

模仿或欺骗是减少冒名顶替者和目标之间面部差异的行为。其目的可能是访问系统或误导当局以为某个目标同时存在于多个位置。尽管技术可能类似于检测回避技术，但假冒似乎是更具挑战性的。关于此主题的研究描述了四种欺骗身份的技术：照片、视频、蒙版和变形。

2.6.1 照片

照片欺骗是最流行的技术，因为它很容易实现且便宜。它只需要用户获得目标的照片并将其呈现给FRTs 系统。这种方法的缺点包括缺乏三维信息和手拿图片时引起的振动。此外，照片不太可能模仿活人的某些特征，如眼睛和嘴巴的运动，在文献中被称为“生动性”。克服这一缺点的一种方法是切开眼睛和嘴巴的孔，这使模仿者能够赋予图片“自然”的运动。

2.6.2 视频

高解析度屏幕上显示目标的高质量视频可以替代目标的照片。与照片不同，视频中的面部特征不太可能是静态的。如果FRTs 系统在其身份验证中结合了生动性，则一个人眨眼、执行面部表情和呼吸的视频对于验证非常有用。但是，这些好处依赖于获得面部特征清晰可见的视频素材。

2.6.3 面具

最具挑战性的欺骗技术是构造和呈现一个三维面具。3-D 扫描和打印技术的发展提供了必要的工具，可以促进这种模拟假冒的产生。冒名顶替者面临的主要问题是，如果没有目标的合作，则几乎不可能获得构建准确表示所需的信息。一些FRTs 系统通过请求一系列动作或动作密码与被试进行交互，而面具技术可以阻止这些动作。在FRTs 中添加其他生物特征识别可能会反击这种黑客攻击。

2.6.4 变形

最后一种攻击被称为变形，在这种攻击中，一个人的照片与相貌相似的人的照片相结合。在他们的研究中，罗伯逊、克莱默和伯顿假设了一个场景，在这个场景中，有人用两个人的变形照片更新他们的政府身份，这样这两个人都可以使用新的文件。

3 人脸识别中的偏见

在机器学习中，尤其是在人脸识别中，偏见是一个日益受到关注的问题。偏见是指不合理的倾向，有利于或不利于一个群体而不是另一个群体。特别令人关注的是对某些群体的非法、不道德和不受欢迎的偏见。少数民族和团体如果认为自己可能与大多数人或其他受到严格审查的社区格格不入，可能会避免公开发表言论或采取其他行为。在FRTs 中，面部的物理特征（如眼睛形状或肤色）会使偏见持续存在。众所周知，算法偏见的例子存在于不同的政策领域，如刑事司法和疾病监测。有偏见的FRTs结果可能导致各种潜在的危害，如缺乏同意、针对人群、测量错误和故意针对等。

3.1 以人口群体为目标

鉴于FRTs 通常依赖于用数据“训练”的算法来关注特定的特征，不同的配置和操作方法在执行FRTs“目标”操作时会不成比例地影响群体。在本节中，我们将讨论这样的交叉过程。

3.2 培训数据

监督学习技术通常用于编程FRTs，它依赖于手动预标记的数据来“教导”算法它们应该关注的特性。因此，训练数据中的偏见会导致有偏见的输出。例如，如果一组面部照片包含的特定种族或具有特定面部特征的人太少，FRTs算法将永远无法“学习”识别他们。

研究表明，训练数据中的人口统计偏见会影响FRTs 识别人的表现。其中一项分析探讨了人口统计信息在一套商业上可获得的FRTs 工具中的作用。结果表明，女性、黑人和年轻人的脸总是被错误识别。特别是，FRTs 中的种族偏见被称为“其他种族效应”，此前类似的研究发现，人类能够更好地识别自己种族的面孔。菲利普斯和他的同事将研究出的算法与以西亚或东亚国家为中心的训练数据进行比较，发现算法分别匹配了更多的白人或东亚人的面孔。事实上，多份报告发现，许多FRTs 对深色人脸的识别能力较差。在另一项研究中，研究人员发现，三种商业性的FRTs 专注于性别分类微软认知服务公司（microsoftcognitive Services）、IBM 沃森公司（IBM Watson）和faces++，它们在男性和肤色较浅的人身上表现最好。这些FRTs 在深色皮肤的女性身上表现最差。该研究的作者还得出结论，几个公开的面部图像数据集不成比例地包含许多浅肤色的皮肤和较少的深色皮肤的面孔，尤其是深色皮肤的女性面孔。

3.3 目标数据

在训练完一个FRTs 后，它被应用到目标数据上，目标数据是一组标记或识别的人脸图像，给定一个被摄体图像或一组图像，FRTs 搜索潜在的匹配。一个重要的考虑因素是这个数据集的来源和组成。例如，人脸数据集可能旨在代表感兴趣的目标人群，或由从公众中抽取的人脸组成。矛盾的是，当使用更多有限的参考数据集时，结果偏差的风险可能更大。例如，如果面部数据集包含面部照片，则逮捕率上的种族偏见可能会导致面部照片中的人口统计偏斜。这将增加在参考数据集中过分代表的种族和族裔群体中面部匹配率过高的可能性。结果，这将使过度代表的群体受到不必要的审查，从而对其造成伤害，并将损害实施计划旨在保护广大公众。事实上，针对特定群体的数据可能会过多。例如，由于逮捕率不相称，面部照片数据库可能包含不成比例的更多深色面孔。

目标数据集中不匹配的面部图像的人口统计构成（换句话说，存在匹配图像的“背景”）也会影响算法性能。最后，尽管FRTs 精度随着大量训练数据的提高而提高，但随着目标数据集大小的增加而降低。

3.4 测量误差

FRTs 基于比较面部图像并估计匹配可能性的算法。尽管可以假定这种基于计算机的技术是绝对可靠的，或者至少比人类不易受到偏见的影响，但实际上，算法可能包含隐藏的偏见，这些偏见反映了人类创造者的经验、特征甚至偏好。例如，作者可能编写了一种算法来为其模型中的某些数据特征分配不适当的权重、忽略或误解。而且，这些选择可能是完全未知的。由于算法不透明或缺乏用于识别和匹配人脸的特征的透明度，可能会导致无意或故意的伤害。

3.5 蓄意瞄准

关于在FRTs 中确保公平性的争论主要围绕着消除无意中的偏见。但是通过开发算法或数据集可以故意将偏见引入FRTs 中，从而使结果与种族相关。在一个非FRTs 的例子中， Tufekci提出了基于算法的雇佣可能基于通勤距离。尽管通勤距离看似无害，但它可以利用美国存在的极端居民隔离现象。用于FRTs 的类似算法可能会使结果偏向于不成比例地包括或排除某些群体，例如,推进意识形态议程或利用政治两极分化破坏社会稳定。

4 结 语

应该评估所有技术系统的隐私和偏见，包括可能出于安全目的而部署的FRTs 系统。本报告提出的启发式方法提供了一种识别隐私和偏见问题的方法。总结本报告介绍的信息后，图1展示了每种情况下潜在的隐私隐患和估计的准确性级别，其中包括潜在的偏见。例如，当将同意的面部图像与单张照片进行比较时，准确性通常应该很高，而隐私隐患也应该很低。

图1 人脸识别技术的准确性和隐私性权衡

FRTs 系统的部署和使用方式的其他要素也很重要，例如系统对旨在击败它的技术的敏感性。后续章节在两个用例中更详细地介绍了这些元素。通过这些用例的“深入探究”，我们确定了可能标志着需要增强隐私技术或减少偏见策略的危险信号。