深度伪造技术应用的公共安全挑战与治理

姜文瀚 田青 郭小波 公安部第一研究所

引言

近年来，深度伪造技术及其负面应用受到国内外广泛关注。源起于人脸照片活化欺诈，到音视频生动仿冒，再到新闻书画自动生成等，极大地冲击了现实社会认知文明模式和网络空间管理秩序。其挑战深刻影响着政治、经济、军事、文化、教育、社交等各领域。世界各国为此先后掀起了规范治理浪潮。

（一）深度伪造概念渊源

深度伪造系英文“Deeplearning”与“Fake”的截取合成词，狭义概念专指利用深度学习技术实现一类照片、音视频信息，如人脸、语音、指纹、虹膜、笔迹、文件等，的非法伪造应用；广义而言，系指信息表征或行为的编辑再现。某种意义上的数字创生，一切皆有可能。本文重点立足狭义概念，探讨相关安全问题。

伪造技术自古有之，但从未造成如此深刻、广泛的社会应用危机。从前的伪造货币、证件、印鉴、指纹、笔迹，以及3D面具、PS、虚拟现实等等，受限于专业门槛高、技术成本高、应用范围小、易于查证等因素，而为现有社会监管能力、治理体系所覆盖。

深度伪造是近五年得益于AI技术发展的后起之秀。短时间内产生出身份盗冒、电子欺诈、舆论操控、音像篡改等多种违法犯罪形式，兼具技术门槛低、违法成本低、隐蔽性强、传播快、影响广、难于查证的特点，给国家安全、社会治理和经济发展带来了新的风险。

（二）深度伪造安全风险

深度伪造的安全风险主要来自于针对人和设备的虚假信息欺诈，总体体现为形象损毁、资产和权益损失、认知误导、信用危机、意识操控，可以具象为个体和群体两个层次、物质和精神两个维度的风险危害，见表1。

?

（1）侵害公民合法权益。通过“移花接木”，造谣恶搞或是“借鸡生蛋”等形式行为，严重侵害公民名誉权和肖像权；通过虚假情境编撰，严重损害个人知情权，扭曲世界观、人生观、价值观。

（2）威胁公共安全。通过仿冒合法身份，盗用公民财产或实施电信诈骗，突破出入境等场景安全管控等。通过企业重要资讯伪造，引发信用危机，造成银行挤兑、股票价格异常波动。

（3）危害国家安全。利用社交网络、自媒体平台炮制、传播虚假新闻，损害公众人物形象，或操纵舆论，干扰选举，助推经济、政治风波，破坏政府公信力，挑拨国际关系，威胁军情感知。

（4）颠覆意识形态、动摇文化根基。通过信息茧房、回音壁效应，传播、灌输虚假资讯，激化内部矛盾，瓦解民族自信、破坏文化认同。

深度伪造风险成因的直接表象为应用超前、技术普及和自我进化，以及监管能力滞后，根源在于治理缺位。近五年来，人类社会的网络空间虚拟维度正逐步成形，而服从服务于物理世界的制度、法规、道德、监管、运行、保障体系尚未建立。缺乏安全机制约束的虚拟、现实世界交互应用，跨界治理和安全技术薄弱，本源性辨识以及追溯能力不足，共同促成了深伪问题空间。

一、深度伪造风险挑战

防范化解深度伪造安全风险所面临的挑战是深层次、多方面的。技术上存在不可控环境应用、伪造信息鉴别难、取证难、追溯难的问题；应用上存在滥用、限制难、防范难问题；管理上存在管控难、检测、监测、打击、保障难题。

（一）技术挑战

（1）不可控环境应用。当前多数AI身份验证应用于不可信软硬件环境。深度伪造利用学习框架、依赖库、算法模型，以及其他信息安全漏洞实现注入攻击。

（2）伪造信息鉴别难。现有伪造信息已经可以做到“以假乱真”（如图1）、人机皆骗，且技术能力不断进化，而伪造检测能力相对滞后，技术方法在多模态、鲁棒性、泛化性上有待不断跟进提高。

（3）伪造信息取证难。面对隐蔽、多样的伪造技术手法，检测、鉴定技术多依托深度学习能力。后者目前的可解释性理论还有待突破。

（4）伪造来源追溯难。关于深度伪造信息的监管体系尚未建立，技术溯源、信息溯源的技术能力和机制还需进一步完善。

（二）应用挑战

（1）无人值守、无风控约束的失控滥用，为伪造信息实现呈现攻击、数据投毒和对抗实施提供了条件。

（2）深度伪造应用广泛，技术来源丰富，难于限制使用。

（3）深度伪造应用超前，而企业进行有效防范的软硬件资源和技术能力不足。

（三）管理挑战

（1）管控难。互联网社交网络、自媒体信息渠道多、来源广，伪造信息多、工具多、用途多、传播速度快。实施有效控制、管理、应急处置，工程巨大。

（2）检测难。需明确规制法律边界，相关技术标准有待完善。另外，伪造信息数量巨大，对于规模化自动鉴伪技术能力是一个长期且艰巨的考验。检测工具的评价和管理体制也有待建立。

（3）监测预警难。跟踪伪造技术发展，洞察伪造信息传播，发展监测预警、阻断应对能力是重要的管理课题。尤其对于“0 day”虚假信息，需要尽可能地早发现、早处理。

（4）打击难。造假损失小、影响大、隐蔽性强，另一方面伪迹难于发现、取证、溯源。涉及黑灰产业链，甚至国内外恶意势力。有效打击成为了遏制深度伪造的关键一环。

（5）保障难。深度伪造防范，亟需形成人力、物力、财力投入正向激励机制，建立全民识假、全民反假的良性治理格局。

二、深伪技术应用和检测治理发展现状

（一）深伪技术应用现状

深度伪造旨在以虚假信息欺骗人类视听感官或自动身份核验应用。事实上，相关应用已经发展到跨模态多媒体演绎阶段，融合视频、音频、图像、文本等多领域技术，通过编排操纵，高仿真情景再现目标人脸、语音、表情、行为等信息，严重冲击人们传统“眼见为实”的认知共识，超越了现有一般应用系统真伪鉴别能力。

1. 深度视频伪造

视频伪造是典型深度伪造计算机视觉应用。主要风险来自于人脸伪造。基本方法是采用生成对抗网络或者卷积神经网络等算法逐帧实现换脸、重演、编辑、合成等类型视频动态内容编排。通过换脸“嫁接”容貌，通过重演操纵行为（表情、动作），通过编辑迁移属性（光照、发型、肤色、年龄、性别、配饰、颜值），通过合成创新人物形象。

随着技术发展，视频伪造训练所需资源、时间越来越少，成本变得越来越低。同时，图像质量越来越高，真伪越来越难以分辨和检测。Yang等人[1]仅使用单幅静态图像，即可实现1440×1440分辨率25帧/秒的面部重演。在元训练基础上引入对抗学习，Zakharov等人[2]实现少量样本生成动图或伪造视频。Thies等人[3]解决了伪造视频与原始视频光照一致问题。

目前，已经有大量的网站开始提供深度伪造合成服务。已开源项目如Faceswap、Fakeapp、Deepfacelab等，仅需点击几下，即可把任意人物照片做成声情并茂动态视频。Zao、蚂蚁呀嘿变脸视频制作、Avatarify、Xpression、Wombo AI、Deep Nostalgia等类似应用都曾迅速走红。2020年国内的“假靳东”事件，以及世界各国领导人视频的伪造[4]，暴露了视频伪造技术正成为全球性的安全风险。

2. 深度音频伪造

音频伪造是深度伪造“可信”的重要支撑。主要风险来自语音伪造。基本方法是采用双向长短时记忆网络、卷积神经网络、生成对抗网络等算法学习目标语音特征，并实现合成、转换、编辑、对抗等实时或延时音频信息表达。通过合成实现目标特色语音生成；通过转换实现风格、音色、韵律迁移，支持情绪、语气的编辑表达[5]；通过编辑实现语音内容、背景信息篡改；通过对抗在人类感知之外，造成辨识系统语音来源真实性、语义内容正确性误判。

目前，深度伪造语音在拟人度、自然度、语种多样性、攻击力等方面有了极大提升，而训练所需语料、时间则大幅减少。NaturalSpeech系统[6]的合成语音CMOS评分在LJSpeech数据集上达到真人水平；Chen等人[7]提出的FakeBob黑盒对抗攻击，实现开源和商用声纹识别系统99%的攻击成功率；生成语音与视频口型同步[8]进一步增强了逼真呈现效果。2018年，Deep Voice3[9]只需3.7秒训练样本即可实现声音克隆。

语音伪造的门槛和难度正逐渐降低。已有Real-Time Voice Cloning[10]、 MockingBird[11]、Resemble、SV2TTS、AutoVC、Lyrebird、CereVoice Me、ReplicaStudios、Crank等项目、技术向公众开放。2020年初，福布斯报道的伪造语音骗取阿联酋银行3500万美元转账案件，警示着深度语音伪造犯罪已经走进现实。

3. 深度图像伪造

图像伪造主要风险来自生物特征合成、信息内容篡改和对抗样本生成。通过生物特征合成实现2D人脸替换、面部属性编辑、3D头像建模，以及平面生物特征重建；通过信息内容篡改实现信息虚构、内容伪造；通过生成对抗样本破防图像辨识系统。

伪造图像在可编辑性、清晰度、逼真度、攻击力等方面已经有了越来越多的突破。Sophie等人[12]的实验表明，人类已经难以区分且更易于轻信StyleGAN2技术伪造的人脸。Gandhi等人[13]通过对抗扰动攻击实现伪造检出率从95%到27%的显著下降。MLSEC 2022中[14]，在权衡置信度和隐匿性情况下，参赛者成功使AI识别系统定向误识。更有研究[15]可使人脸识别系统视而不见。

图像伪造对于身份查验的威胁已经日渐全面。伪造人脸已经先后发展出Face2Face、Deepfake、HeadOn[16]、FSGAN、Style-GAN等众多技术；伪造虹膜[17]、 万能指纹[18]、万能人脸[19]、 伪造证件文档[20]，具备了攻击成功可能；TextStyleBrush[21]仅 需一词训练实现笔迹模仿；Speech2Face[22]利用6秒短语音即可重建人脸图像。诸多应用，如Faceapp、Reface、Face AI、AI换脸相机、Mug Life、Deepnude等，先后上线。应用的普及，加剧了个人隐私、身份信息被仿冒滥用的风险。

4. 深度文本生成

文本生成是深度伪造在文化传媒领域的重要应用。主要风险来自恶意文章自动生成传播。基本方法是采用Transformers、循环神经网络、长短时记忆网络等算法构建自然语言模型，然后根据输入循环预测输出。

目前，文本生成技术日渐成熟。在语法、逻辑、条理方面进步显著，支持语种、文体形式更为多样。典型的如GPT-3[23]。该产品可以翻译、问答和完形填空，根据拟定的主题和基调进行文体创作，甚至可以参与讨论回答问题。此外，Narrative Science、Automated Insights等类似商用系统已投入体育赛事、公司财报等报道应用。正如所见的技术能力，实用化的文本生成技术如被敌对利用，存在着操控话语权、恶意煽动、宣传误导的风险。

（二）深伪检测能力发展

深度伪造检测是实施非法应用治理的重要技术支撑。近年来，学术界和产业界在视频、音频、对抗样本等方面做了大量工作。国外谷歌、Meta、微软等都推出了深度合成认证的方法和产品，国内清华大学、中科大、百度等学校企业成果显著。

深度伪造检测的主流思路是利用传统信号处理方法或深度学习方法分析数据伪造痕迹，可分为图像伪造检测、视频伪造检测、音频伪造检测、文本伪造检测四种类型。

1. 视频伪造检测

视频伪造检测，传统方法立足取证，如发现图像噪声、纹理、伪影、帧间流畅度、眨眼、心率、瞳孔反射、凝视跟踪[24]、 唇音同步[25]、动作关系等异常特征。深度学习方法致力于察觉细微非自然因素。Afchar等人[26]提取图像中层特征发现篡改痕迹，Amerini等人[27]利用卷积神经网络分析光流变化识别伪造信息，约翰霍普金斯大学的研究人员利用MultiBN[28]网络实现多种对抗性视频检测。2020年DFDC挑战赛上的鉴假最高准确度为82.56%，整体平均准确度65.18%。

2. 图像伪造检测

图像伪造检测，传统方法从特征取证出发，甄别频域特征或统计特征异常，如利用局部噪音分析[29]、设备指纹、光照响应检测[30]等。深度学习方法相比具有较好的鲁棒性。Jawadul H. Bappy等人[31]设计的Hybrid LSTM和Encoder-Decoder架构达到71%～95%的伪造检测准确率。Cozzolino 等人[32]提出以卷积神经网络学习图像噪声残差，有效提升伪造检测和定位的性能。Ahmed Abusnaina等人[33]利用图神经网络检测对抗样本。美国Adobe公司2019年6月推出的反向PS工具，图像液化篡改检出率高达99%。

3. 语音伪造检测

语音伪造检测，传统方法利用常量Q倒谱系数[34]、归一化的余弦相位等。Trisha Mittal等人[35]依据情感特征，分别在DFDC和DeepFake-TIMIT数据集上取得了84.4%和96.6%的检测准确率。在ASVspoof2019 数据集上，Alejandro等人[36]集成卷积神经网络和循环神经网络使得检测准确率显著提升。最近，有学者提出Transformer seq2seq 网络方法[37]，对未知特征无限制来源数据进行伪造检测，取得了较好的效果。

4. 文本伪造检测

文本伪造检测，主要利用信息内容和社交上下文。传统方法通过提取语言学特征、主题特征等进行鉴别，近年来多使用卷积神经网络、递归神经网络等方法。为检测伪造文章，MIT-IBM沃森AI实验室[38]等推出GLTR模型对文本进行统计分析和可视化，OpenAI等开发了GPT-2 Output Detector，Edward Tian 的GPTZero网站[39]提出文本困惑度指标。2019年，华盛顿大学和艾伦人工智能研究所推出的Grover鉴定模型的伪文本区分度达到92%。

（三）深伪检测困境和方向

事实上，比较一般固化测试环境，面向实际应用，深度伪造检测工作将更为复杂困难。一方面，这是一个不受控条件下的开集问题。众多未知伪造方法、大量未知伪造数据，而伪造检测所能看到的仅仅是冰山一角，延续着头痛医头、脚痛医脚的被动跟踪范式；另一方面，这也是一个对抗博弈过程。对象是有组织的黑灰产业链、国内外恶意势力。技术进步，此消彼长，亟需国家支持，前瞻设计，团结奋进。

综上因素，可归集为现有深伪检测研究面临的主要问题：舍本逐末，真实数据分析、数据真实性研究不足。亟需回答：已知数据的真实特征是什么？未知数据的真实性体现在哪？伪造样本出来了，分析如何假；伪造方法出来了，分辨如何造。没有假，不识假，所以被动。更为危险的是错把数据可区分特征作为真实依据来使用。加强真实性正向研究是未来鉴伪突破的重要方向。

（四）深伪治理法律法规和标准规范

近年来，深度伪造非法应用风险逐步显现。世界各国高度重视，相继出台了各类法律法规和标准规范，进行规制引导。

1. 法律法规方面

欧盟在《通用数据保护条例（GDPR）》等现有法律框架下规制深度伪造；德国出台了《社交媒体管理法》；美国相继出台《2018年恶意伪造禁令法案》《2019年深度伪造报告法案》和《深度伪造责任法案》等，要求严格限制深度伪造技术，评估安全风险；2019年，新加坡议会通过《防止网络虚假信息和网络操纵法案》；英国对个人脸部图像等信息保护的法律主要是《数据保护法》。

我国《民法典》第一千零一十九条规定“任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权”；《网络音视频信息服务规定》要求网络音视频服务提供者和使用者不得利用基于深度学习、虚拟现实等新技术新应用制作、发布、传播假新闻信息；《互联网信息服务深度合成管理规定》针对应用深度合成技术提供互联网信息服务，作了系统性、专门性规定，明确了各类主体的信息安全义务。

2. 标准规范方面

深度伪造安全治理的技术、管理标准体系尚未完善。

关于防伪安全评估，ISO/IEC 19989-3:2020《信息安全 生物识别系统安全评估的标准和方法 第3部分：呈现攻击检测》为相关系统开发人员和风险评估人员提供了建议和要求。

关于防伪安全性测试，ISO/IEC 30107-3:2017《信息技术 生物特征呈现攻击检测 第3部分：测试和报告》和GB/T 41987-2022《公共安全 人脸识别应用 防假体呈现攻击测试方法》中，给出了明确的测试方法。

关于防伪功能、性能指标，GB/T 38671-2020《信息安全技术 远程人脸识别系统技术要求》、GB/T 37036.3-2019《信息技术 移动设备生物特征识别 第3部分：人脸》、JR/T 0164-2018 《移动金融 基于声纹识别的安全应用技术规范》等提出了明确要求。

关于网络伪造虚假信息溯源问题，Adobe、Arm、BBC、Intel、Microsoft等公司联合成立了一个基金会项目“内容来源和真实性联盟”（C2PA），旨在制定媒体内容来源与历史或出处认证技术标准。

三、深伪治理措施建议

深度伪造仅仅是当前新技术革命超前发展，而配套社会治理体系尚未完善时期出现的阶段性发展问题，必然通过发展的手段来解决。解决的方案不应仅限于技术，还包括规制、管理、宣传、教育等体系化治理举措。

（一）技术研究层面

（1）前置应用环境安全感知能力，引导安全终端普及，广普漏洞查补，强化交互认证，落实信息安全机制，防范化解劫持、注入风险。

（2）加强深度伪造检测技术及应用研究。挖掘数据真实特征，增强多态信息融合防御，免疫博弈因素干扰，适应未知生成算法和现实应用场景，提高鉴别算法泛化性、鲁棒性。

（3）加强深伪取证、鉴定基础理论研究，跟踪伪造动态，洞察技术本质，探究真实性判别结论的客观性、规律性、科学性和系统性。

（4）建立信息内容安全监管机制，保护合法图像、音视频产品，落实数据真实性、完整性检验，以及可溯源、防篡改、抗抵赖技术措施，形成非法伪造溯源打击能力。

（二）规制管理层面

（1）落实法律法规、健全技术标准体系。以法律法规明确非法界定，保护合法应用，打击非法滥用，严格惩戒措施；以标准规范分类分级可信应用、明确适用场景、应用条件、合规指标和安全检测技术要求。

（2）建立敏感信息获取、使用，以及内容安全、技术风险审查制度，切实加强个人信息保护；构建联防联控监管机制，细化媒体、技术企业、信息源头责任落实，重预防、抓源头、控渠道、快查处、严整治、打黑产，形成层次化垂直管控体系。

（3）建立高性能自动化预警、监测、监控平台，常态化升级完善，实现异常风险广播、高效问题发现、及时断链溯源、精准化解处置，有效打击黑恶势力，有效应对“0 day”攻击和海量信息筛查。

（4）建立深度伪造安全能力检测、评价和市场准入管理机制。从技术能力、人员培养、管理流程、应急响应等方面，全方位考察、认证企业资质，正向激励落实安全责任，输出优秀专业人才、技术、服务和产品。

（三）宣传教育层面

（1）建立风险信息交流、学习服务平台，促进国际合作，共享科技情报、案例，推广攻防经验和科研成果。

（2）建立真实场景应用深伪测试数据集评价基准，定期举办攻防演练、比赛和技术研讨，促进鉴伪技术、产品迭代进步。

（3）加强社会工程学安全风险宣传教育，提高新闻工作者鉴假职业素养，逐步提升人民群众的反欺防诈、守法维权意识，促进适应新技术带来时代变迁的文明、道德理念换挡升级。

四、未来展望

深度伪造与反伪造工作是一个长期的博弈过程。科技发展势不可挡，社会治理应做好规划布局。

（一）深度伪造技术发展

未来深度伪造将继续向着图文并茂、声像逼真方向发展，并伴随“元宇宙”概念落地。

（1）解决轻量计算、复杂场景、多角色、小样本训练、高清、实时等问题。

（2）虚拟人物口音多风格化，自然度、可懂度和流畅度显著提升。

（3）隐蔽对抗技术继续发展，启动规模化、定制化虚拟场景生产。

（二）深伪检测技术和治理能力进步

深度伪造检测技术虽然已经取得了显著进步，但仍然有许多问题需要解决，未来期许形成产业，相关技术产品投放市场。

（1）解决规模伪造检测问题，鲁棒性、泛化性达到实用程度。

（2）形成深伪技术产品及反伪装备、能力和服务的认证机制。

（3）法律、法规、标准日臻健全完善。政府、企业、个人多方合作，建立共享、共赢的鉴伪、防伪、管控、打假新生态。

五、结语

深度伪造是当前公共安全领域的研究热点。由于其危害小至身份仿冒，大可至国家安全，因而受到特别关注。

目前，伪造新闻、图像、影音在技术表现上已经可以造成人、机“困扰”。然而，在检测、鉴定和防御能力上还有进一步上升空间。

深度伪造风险治理，除了依托科技发展，还需完善顶层设计，实施立法监管，健全标准规范，加强宣传教育。正向引导深度伪造技术发展，未来世界精彩可期。