人工智能犯罪风险评估“算法歧视”现象及其规制路径

马皑 宋业臻

摘要：随着人工智能技术的不断发展，犯罪风险评估工具逐渐开始了智能化的演进。域外司法实践中使用的智能化犯罪风险评估工具并没有解决“算法歧视”的问题。“算法歧视”的成因是复杂的、多层次的。结合传统算法规制的分析框架，从问题建构维度和模型设计维度，能够对人工智能犯罪风险评估“算法歧视”的成因进行深入分析，并据此对算法规制的算法公开、个人数据赋权、研发过程规制与审核，进行特定场景下的路径探索，为走出人工智能犯罪风险评估所面临的“算法歧视”困境提供理论支撑。

关键词：犯罪风险评估;算法歧视;人工智能;算法规制

中图分类号：DF792.6;B84   文献标志码：A    文章编号：1001-862X（2022）02-0119-009

中央网络安全和信息化委员会印发《“十四五”国家信息化规划》指出：“信息化进入加快数字化发展、建设数字中国的新阶段。”中共中央、国务院印发《法治政府建设实施纲要（2021—2025年）》明确提出“健全法治政府建设科技保障体系，全面建设数字法治政府”的新要求。为了响应国家数字化发展的号召，刑事司法领域主动与大数据、人工智能领域协作，开展了一系列国家重点研发计划，如“犯罪嫌疑人特征精确刻画与精准识别”“职务犯罪智能评估、预防”等一系列以人工智能犯罪风险评估为主题的跨学科科研项目，并取得了一系列初步科研成果。在人工智能犯罪风险评估领域，域外人工智能犯罪风险评估科技成果在进入社会应用阶段之后，引发了大量关于“算法歧视”的社会争议，甚至激化了社会矛盾。如何借鉴域外经验教训，在促进我国人工智能犯罪风险评估领域发展的同时，从“算法的场景性”角度切入，探索人工智能犯罪风险评估场景下的算法规制路径，走出“科林格里奇困境（Collingridge’s Dilemma）”（1），成为了我国人工智能犯罪风险评估领域发展的一项紧迫任务。

一、人工智能犯罪风险评估领域的“算法歧视”陷阱

人工智能犯罪风险评估一方面指的是依靠计算机视觉、语音识别、情感计算、复杂系统等前沿人工智能技术对犯罪行为、犯罪心理现象进行更加复杂的经验分析，形成新的犯罪行为成因推断与风险预测理论;另一方面指的是依靠人工智能复杂算法提升传统犯罪风险评估工具的统计分析能力，形成升级迭代的犯罪风险评估工具。目前，国内外人工智能犯罪风险评估主要在犯罪风险评估工具迭代升级方向上发力，形成了一些技术成果，但是由于技术尚未完全成熟，导致人工智能犯罪风险评估存在规模化应用的不确定性。

（一）域外人工智能犯罪风险评估的“算法歧视”现象

人工智能犯罪风险评估领域的“算法歧视”现象，最早出现在人工智能风险评估工具取得广泛社会应用的美国佛罗里达州。美国普利策奖得主非盈利性新闻机构ProPublica调研了佛罗里达州布劳沃德县的重新犯罪风险评估情况，将被逮捕的一万余人的风险评估结论与实际发生的重新犯罪率进行比较，并于2016年5月23日公开声称应用于美国司法实践中的犯罪风险评估系统COMPASS存在种族歧视，“系统在正确预测白人或者黑人的重新犯罪率方面是正确的，但是黑人比白人被评估为高风险结论的概率高两倍”。[1]随后，2016年6月8日，COMPASS的研发机构Northpointe书面回应称：“佛罗里达州布劳沃德县的审前样本不存在种族歧视现象，ProPublica未考虑黑人和白人在重新犯罪上的分类统计数据，评估工具《一般重新犯罪风险评估量表（GRRS）》和《暴力犯罪的重新犯罪风险评估量表（VRRS）》对黑人和白人具有等同效用，误认为存在种族歧视现象是因为混淆了‘未重新犯罪但是被评估为存在风险的概率’与‘被评估为有风险（风险较高）但是未重新犯罪的概率’而导致出现对‘算法偏见’的错误认知。”麻省理工科技评论在2017年跟踪报道了这一争议，将“算法偏见”问题正式提上了社会公众关注的议程。

（二）我国人工智能技术应用中的“算法歧视”现象

由于人工智能犯罪风险评估科技成果尚未在我国取得实践场景的广泛应用，我国法学界尚未充分关注人工智能犯罪风险评估的“算法歧视”问题。不过由于人工智能技术在商业、社会等领域取得了较广泛的应用，法学界对商业与社会领域中“算法歧视”现象已有较为广泛的讨论。李成指出：我国法学界使用“算法歧视”来统摄人工智能的“公正性论题”，“综观相关研究，算法歧视概念框架实际纳入了两类构型相似但性质迥异的歧视”，一种是“反垄断语境下的价格歧视”，另一种是“平等权语境下的身份歧视”。[2]毫无疑问，人工智能算法的歧视与偏见会对我国的社会秩序构成极大的挑战，尤其是在司法实践中的应用如果不能得到合理有效的控制，将会对我国法律的一些基本原则构成挑战。[3]丁晓东将这些挑战总结为“算法黑箱对知情权与自主决策的挑战”“对个体隐私与自由的威胁”“算法歧视与偏见”三大类。[4]关于形成这些挑战的成因，李晓辉将其中“算法黑箱”的成因归为商业秘密的保护，即盈利性实体为了获取商业竞争力而完全不公开报告关于自身智能算法的计算表征与决策方式。[5]

同时，“传统算法规制路径面临的困境根本原因在于忽视算法的场景性，算法可能由于运用算法的主体不同、针对的对象不同、涉及的问题不同而具有不同的性质”。[4]具体到刑事司法领域的人工智能技术应用场景，李训虎认为，“我国刑事司法领域中的人工智能应用的法理难题在于：智能辅助办案系统会加剧已有偏见”，进一步具体到犯罪风险评估领域，人工智能应用的法理难题可以被归纳为“智能化风险评估工具的使用会造成对特定群体的歧视”。[6]

二、人工智能犯罪风险评估中“算法歧视”的成因

造成“算法歧视”现象的成因是复杂的，目前较为全面的分析框架是“四维度歧视嵌入路径”分析法，具体包括：“问题构建维度、数据理解维度、特征选择维度和个人信息维度”。[2]其中，“数据理解维度”主要指的是“样本代表性”方面的问题，“个人信息维度”主要指的是个人信息泄露或开发者的非规范化使用导致的采样偏差从而引发算法研发的歧视问题，“数据理解维度”和“个人信息维度”属于模型设计研发的一个必要环节，同时，“特征选择维度”是算法模型设计研发的另一个必要环节，可以被统称为模型设计维度。以下将从问题建构维度和模型設计维度分析具体到人工智能犯罪风险评估场景，对“算法歧视”的产生原因进行分析。

（一）问题建构维度：犯罪风险评估理论的固有局限性

当前国际主流的犯罪风险评估理论与工具，已经进行了五代革新升级，但是，多轮迭代升级并未解决理论层面的固有局限。

第一代犯罪风险评估理论与工具出现在1920年代，其目的是服务于“罪犯康复治疗”，由专业人员进行临床的半结构化评估，工具中不包括验证与决策的统计机制。[7]第一代犯罪风险评估工具由于其评价方式过于主观，并且几乎没有预测功能而逐渐衰落。[8]

第二代犯罪风险评估理论与工具将统计学中的回归模型纳入风险预测环节，对评估工具进行了优化，工具的预测效度有所提升。第一代到第二代犯罪风险评估理论与工具的演进，其底层价值观方面有着根本性的变化，从“半个性化的治疗”（Semi-Personalized Treatment）转向了纯粹的预测，体现了“新刑罚”（New Penology）的变化——“由康复治疗转向更加行政化的人口管理，几乎完全依靠（使犯罪人）丧失行为能力来降低重新犯罪风险”。[9]第二代犯罪风险评估工具的推广及其底层价值观的变迁，使得在20世纪70年代之后，被认为存在一定程度重新犯罪风险的罪犯均受到监禁，美国的监禁率大幅度提升，但是大幅度的监禁也带来了被监禁人群的“棘轮效应”（Ratcheting Effect）[10]、监禁边际回报率逐年降低和个体层面的重新犯罪率不降反升等社会问题出现。[11]第二代犯罪风险评估理论更多地是从犯罪行为史、年龄等静态因素进行犯罪风险预测，严重地依赖历史数据对未来进行预测，很容易将社会结构性歧视引入评估模型，造成更严重的社会不公平。

第三代犯罪风险评估工具为了解决第二代犯罪风险评估工具过于依赖静态因素、历史数据的问题，进一步引入了“犯罪（犯因性）需求”（Criminogenic Needs）等更加侧重于强调心理特征的动态因素。

第四代犯罪风险评估理论则是在第三代的基础上，进一步将动态因素扩展到智力、自尊心等因素上，第三代与第四代犯罪风险评估形成了一个一体化的“混合风险/需求模型”（Hybrid Risk/Need Model）。

第五代犯罪风险评估理论将人工智能、机器学习等新技术引入了犯罪风险评估工具的研发中。第五代犯罪风险评估理论与工具中又包括两种研究路径，一种是在欧美第四代犯罪风险评估工具的基础上，将机器学习甚至深度学习等智能模型替换掉传统的线性回归模型，是“计算模型的复杂化”;另一种是我国犯罪心理学与人工智能技术的深度融合，开发出理论、技术、应用多层次整合的犯罪风险评估工具。[12]第五代犯罪风险评估理论与工具中“计算模型的复杂化”分支，解决了第四代犯罪风险评估工具线性回归模型计算过程过于简单，应用于实践中误差率高、系统抗噪声性不强的问题。而多层次整合的犯罪风险评估工具由中国心理学会法律心理学专业委员会、中国政法大学犯罪心理学研究中心进行理论研究与架构设计，由青岛认知人工智能研究院进行系统整合与系统开发，自2018年开始在全国12家监狱进行了为期两年系统试运行与效果验证，试验参与者超过2000人，积累数据量大于400万条，2019年该试验项目与技术装备进入中国科学技术协会《2019前沿科技成果推介手册》。

回顾五代犯罪风险评估理论与工具的发展，其核心问题是如何通过已知的数据和信息推断犯罪行为未来的发生概率，采用的主要方法是对比已经发生犯罪行为的个体与未发生犯罪行为的个体在年龄、行为史、心理特征等静态、动态因素上的差异性，故当代犯罪风险评估工具也被称为“精算风险评估”（Actuarial Risk Assessment）。但是上述五代犯罪风险评估工具由于理论假设与根本方法论并未改变，故均存在过分依赖数据统计的局限性，主要体现在模型建立的过程中“统计系统会重现数据中的歧视模式与历史偏见模式”。[13]

总而言之，在人工智能犯罪风险评估工具的问题构建阶段，由于犯罪风险评估理论依赖历史数据固有的局限性，导致“算法歧视”现象被自然地构建进理论设计中。

（二）模型设计维度：算法可解释性的错误聚焦

在模型设计维度，人工智能犯罪风险评估工具大量使用了目前主流的人工智能深度学习模型，由此形成的人工智能犯罪风险评估工具在应用过程中主要表现为：输入被评估者的个人信息，直接输出犯罪风险预测等级或者指标的“端到端”（End to End）式的風险预测模型。而人工智能深度学习模型目前面临严重的“算法黑箱性”质疑，由此“端到端”的犯罪风险评估与预测技术，也同样面临着对深度学习技术本身的“算法黑箱性”质疑。为了解决深度学习技术的“算法黑箱性”问题，人工智能领域提出了算法可解释性的研究方向，但是算法可解释性如果聚焦方向有偏差，则无法解决人工智能犯罪风险评估工具的“算法歧视”问题。下面主要从算法可解释性能够在何种程度上解决“算法黑箱性”的问题和人工智能犯罪风险评估能否利用算法可解释性规避“算法歧视”两个层面详细阐述。

第一层面：算法可解释性能够在何种程度上解决“算法黑箱性”的问题？

首先，算法可解释性从何而来？算法可解释性主要为了回应对人工智能深度学习技术本身的质疑与对技术应用的质疑。

对技术本身质疑的主要问题是：其一，深度学习技术所采用的深度神经网络模型是高度复杂的模型，模型中存在大量的自由参数，如在图像识别领域取得了巨大成功的AlexNet模型，其中包含了超过6200万个自由参数，导致了在学习与预测任务中出现了很多不可预期的结果;其二，使用一些“对抗性实例”（Adversarial Example）就会破坏深度神经网络的识别与预测的准确率。通俗而言，只需要对输入数据进行一些人类几乎感知不到的细微调整，就会发现模型输出发生巨大的变化，尤其是对一些类似于白噪声的毫无实际意义的输入数据，模型却判定其符合预测标准的置信度接近百分之百，这意味着深度神经网络模型在任务判别与信息计算方面与人类感知加工信息的方式完全不同。

对技术应用质疑的主要问题是：其一，道德与伦理方面，应当确保智能化犯罪风险评估工具不会对人口中的亚群体产生损害性的影响。其二，与知识有关（Knowledge Related Consideration）的方面，工具的用户并非计算机专家，因此用户自身不可能自己开发基于算法的解决方案，也几乎不能够理解算法是如何开发的，尤其是复杂统计和深度学习技术，用户距离理解技术还有较大距离。其三，方法可靠性（Methodological Soundness）方面，当前，世界各地已经陆续颁布了相关规范性文件，如《欧洲一般数据保护条例》（European General Data Protection）授予最终用户可以要求提升处理信息透明性的权利。这些方面均是将人工智能技术的透明性、可解释性与“信任”概念关联起来，既希望一个解决方案能够服务社会，又不会对社会公众产生伤害。

其次，算法可解释性是什么？算法可解释性指的是“使用人类可理解的术语提供解释的能力”，“可解释的术语”与“解释”是两个关键因素。在理想的情况下，“解释”应当以“逻辑决策规则”的形式出现，即“如果……那么……”形式的规则，或者能够很容易被转化为逻辑决策规则的形式;“可解釋的术语”则与专业领域知识密切相关，比如人工智能计算机视觉中可以用于解释的术语是人类视觉的相关概念（图像中的颜色块、图像中客体的材料、图像的纹理）。

简言之，算法可解释性包括两个重点：一方面要分析存在黑箱性问题的算法是如何进行计算的，以人类可以理解的方式阐明其计算规则;另一方面要结合具体应用场景，从场景相关专业知识角度分析为什么要这样计算、这样计算是否具有科学性和合理性。

最后，目前的算法可解释性研究已经解决了哪些问题，还未解决哪些问题？算法可解释性研究目前已经解决以下三方面问题：其一，被动与主动维度（Passive-Active Approach），根据是否需要改变网络结构或者优化流程，不需要对网络结构与流程改变，直接从已经训练好的深度神经网络出发，从中抽取计算与决策规则的研究，被称为被动解释;需要在训练网络之前进行一些改变，如增加一些额外网络结构或者改变训练过程的研究，被称为主动解释。其二，生成解释的类型（the Type/Format of Produced Explanation），由于不同的解释路径生成的解释是不同的，它们的清晰度也不同，具体类型如：显著性映射解释（Saliency Map），强调输入信息的重点区域的解释，需要人为加入更多主观经验进行判断才能获得清晰的解释;再如：逻辑规则解释（Logic Rules），无需进行更多的人为参与;隐藏层语义解释（Hidden Semantic），将神经网络各个层次拆分开进行解释，样例解释与概念归因（Concept Attribution）解释等。其三，局部与整体（Local and Global）解释，局部解释侧重于理解单个预测的方式，整体解释侧重于理解模型整体的决策方式，目前较为常见的是从局部解释开始，自下而上归纳出整体解释。

目前，算法可解释性研究能够解决存在黑箱性问题的算法是如何进行计算的问题，能够以人类可以理解的方式阐明其计算规则，但是并未能结合具体应用场景，从场景相关知识角度分析为什么要这样计算。

第二层面：人工智能犯罪风险评估能否利用算法可解释性规避“算法歧视”？算法可解释性能否解决人工智能犯罪风险评估的“算法歧视”问题，取决于犯罪风险评估与人工智能技术的结合方式。犯罪风险评估属于犯罪心理学的经典问题，故犯罪风险评估与人工智能技术的结合方式类似于心理学与人工智能技术结合的方式。

目前，心理学与人工智能技术主要存在三种结合方式：其一，保留传统的心理学路径，使用传统心理测量工具的输入输出数据，但是将传统心理学常用的线性模型替换为了人工智能统计机器学习、深度学习等复杂计算模型。其二，保留传统的人工智能机器学习路径，从音视频、文本、网络行为等粗糙原始数据中提取与心理相关的特征。其三，明确地采用数据驱动的方法，将传统心理测评工具替代，建立新的关联关系，同时根据是否需要手动提取数据特征而分为需要认为定义如何进行信号转换和输入数据特征提取规则的“特征工程”（Feature Engineering）路径和直接使用复杂模型进行原始数据特征提取的“表示学习”（Representation Learning）路径。

上述三种结合方式均涉及使用黑箱性算法，故算法可解释性具备解决人工智能犯罪风险评估“算法黑箱性”问题的前提条件，但是解决“算法黑箱性”问题不等同与解决“算法歧视”问题。解决“算法黑箱性”可以采用可视化方法、逻辑方法等来说明算法对输入数据的加工分析过程，即算法如何计算加工相关数据。而解决“算法歧视”问题需要进一步从科学理论角度阐明输入数据为什么能够与输出数据形成关联，以及输入数据是否已经潜在地含有歧视信息的样本。故目前学术界聚焦的算法可解释性研究虽然具备从“算法黑箱性”角度为解决“算法歧视”问题提供支持路径的条件，但是仍然尚未解决人工智能犯罪风险评估的“算法歧视”问题。

三、人工智能犯罪风险评估中“算法歧视”的规制

人工智能犯罪风险评估“算法歧视”问题来自于“算法黑箱”，“算法黑箱是算法规制的出发点”[14]，故应当在算法规制领域探讨“算法歧视”问题。人工智能犯罪风险评估“算法歧视”问题的解决又属于算法规制领域中的“场景化规制”问题，应当“根据不同的场景类型采用不同的规制方式，以实现负责任的算法为目标”。[4]在算法规制的方式中，目前常见的规制建议包括算法公开、赋予数据主体解释权[4]、代码审核、开发行为规范[2]等，已经在实践中其他场景化算法规制领域实施的包括：中国人民银行发布的《关于规范金融机构资产管理业务的指导意见》与国家网信办发布的《区块链信息服务管理规定》中涉及的算法备案制度等。[15]具体到人工智能犯罪风险评估的场景化算法规制问题上，算法公开、赋予数据主体解释权的问题主要转化为应当公开或者向相关用户提供哪些解释内容？代码审核、开发行为规范的问题转化为应当规范哪些、审核哪些研发或开发行为？

因犯罪风险评估的特殊性，对人工智能犯罪风险评估“算法歧视”的规制亦具有一定的特殊性，具体表现为：在评估对象方面，犯罪风险评估指涉的犯罪行为范畴比刑法学指涉的犯罪行为范畴更窄，在我国犯罪风险评估实践中主要指的是故意杀人、故意伤害、抢劫等暴力犯罪行为以及强奸、猥亵等性犯罪行为;在评估后产生的效应方面，犯罪风险评估结论可能造成对被评估人的人身权利限制程度的差异，尤其是侦查阶段变更强制措施时的犯罪风险评估与服刑阶段施加监管强度确认时的犯罪风险评估;在评估依据方面，我国犯罪风险评估的理论基础来自于我国犯罪学、犯罪心理学的理论成果，在犯罪行为界定、风险等级界定、风险因子集合方面，与国外犯罪学、犯罪心理学的犯罪行为界定、风险等级界定、风险因子集合存在一定差异。所以，对我国人工智能犯罪风险评估算法进行算法规制，要从具有根本性的理论基础、模型和方法角度进行分析并提出规制建议，从问题建构和模型设计两个角度提供公开信息或解釋内容，同时，从研发过程角度进行规范和审核。

（一）人工智能犯罪风险评估的问题构建维度

在人工智能犯罪风险评估的问题构建维度，应当从犯罪学和犯罪心理学的角度分析并公开或解释：在问题构建所使用的理论基础方面，是否可能由于基础理论存在歧视风险而导致人工智能犯罪风险评估出现“算法歧视”问题？如果存在基础理论通过问题构建维度导致“算法歧视”问题，那么造成“算法歧视”的风险靶点在哪里？如何针对风险靶点解决“算法歧视”问题？

首先，在问题建构维度，人工智能犯罪风险评估的基础理论带有“算法歧视”的基因，导致基于此研发出的人工智能犯罪风险评估工具带有“算法歧视”的风险。目前，国内外常用的犯罪风险评估工具，如《中国罪犯心理评估个性分测验（COPA-PI）》等，均是以人格特质理论为基础进行问题建构，其基本假设是个体内的行为倾向差异性小于个体间的行为倾向差异性，依靠对个体特质的测量能够描述出个体的行为倾向。由于基础层面的人格理论存在局限性，造成了应用层面的犯罪风险评估存在局限性。人格特质理论的局限性主要表现为米歇尔（Mischel）曾经对人格理论效度的质疑，认为人格特质不具有较高效度，从而在预测人类行为上存在缺陷。奥尔波特（Allport）对此回应称：“对于情境主义者来说，我承认，我们的特质理论不可能像以前那样简单了，我们现在所面临的挑战是（如何）解开构成一个人的复杂（行为）倾向的网络，无论在不同的情境下被以不同的方式激活时，它（行为倾向）看起来有多么矛盾”。[16]

其次，造成人工智能犯罪风险评估“算法歧视”的风险靶点主要包括以下两个方面。

一方面，人格特质理论的测量方式与统计建模方式。传统的人格特质理论主要依靠自我报告法进行数据收集，并建立简单的等级或者分数衡量个体在每种特质上的得分。这种测量方式与统计建模方式与日常生活中具有高度可变性的实践现象存在冲突，过度简化了现实的复杂性。弗里森（Fleeson）等通过在实验室控制环境下，招募了183名观察者对97个实验参与者进行行为观察与评价，根据观测数据，发现就行为变化程度而言，个体内差异性有时甚至高于个体间差异性，采用传统的自我报告法与统计建模法几乎不能根据个体特质准确预测个体行为。但是将行为倾向构建为一个概率密度函数，则可以使用人格特质进行行为倾向预测，并由此提出了“全面特质理论”（WTT：Whole Trait Theory）。[17]

另一方面，人格特质理论主要对人格特质与稳定的行为倾向进行描述，构建出了层次化、系统化的描述体系，但是缺乏对“这些特质从何而来”“为什么在相似的情境下，有相似特质的人会出现相似的行为倾向”等问题的回答，即缺乏对人格特质的成因以及其与行为倾向之间的因果关系的解释。行为预测的经典理论“列文公式”指出：“个体行为是由个体的心理状态与个体所处的外部环境共同决定的。”[18]但是人格特质理论主要是从个体心理状态出发，将个体稳定的心理特征作为主要研究对象来预测行为倾向，忽视了个体所处的外部环境，由于理论关注点的缺位，人格特质理论始终无法达到较强的行为预测效度。

最后，针对人工智能犯罪风险评估“算法歧视”的理论基础中的两个风险靶点，应当公开关于人工智能犯罪风险评估问题建构维度相关信息，并赋予利益相关用户对上述信息的解释申请权。

（二）人工智能犯罪风险评估的模型设计维度

在人工智能犯罪风险评估的模型设计维度，应当结合我国人工智能犯罪风险评估常用的计算模型公开或解释：人工智能犯罪风险评估是基于风险预测还是因果推断的计算方式来进行模型设计。

在美国犯罪风险评估的COMPASS系统出现疑似“算法歧视”现象之后，人工智能机器学习领域针对其公开的风险预测模型设计方式，曾提出了如何从技术上对智能化犯罪风险评估工具进行变革的提议：“精算风险评估工具中的统计系统会重现数据中的歧视模式与历史偏见模式，如果机器学习的目的仅仅是为了预测个人未来是否会犯罪，那么很难打破司法系统本身的‘医源性效应’（Iatrogenic Effects of the Criminal Justice System）”，“机器学习的目的不应当仅仅是预测，而是形成一种因果模型，用于帮助人来理解社会”。[13]简言之，犯罪风险评估工具在与机器学习、深度学习等人工智能技术融合之后，应当更加侧重于强调辅助人类进行因果关系的计算与推断。

当代深度学习技术创始人之一、图灵奖得主朱迪亚·珀尔（Judea Pearl）提出机器学习进入应用领域有“适应性”“可解释性”与“因果关系”（推理）三大障碍，目前已经基本上跨过了第一个障碍，在第二个障碍上也取得了一些进展，但是仍然需要努力跨过“因果关系”（推理）的障碍。[19]因果关系在本质上包括三个层次，基本层次是“关联”（Association），中间层次是“干预”（Intervention），最高层次是“反事实”（Counter-Factual），“关联”层次是纯粹的统计问题，一般采用相关性或者回归模型即可确定，“干预”则不能从直接的输入输出关联分析中得到，需要进行更深入的因果计算，“反事实”则是人类独有的思考方式，对不存在的现象进行纯粹的智能加工与分析。在因果计算与推理技术方面，问题的难点在于“在什么环境下，采用什么方式，能够基于观察数据来得出因果关系结构”，这一难点也被称为“从非实验数据中发现因果关系的方法”。[20]针对这一问题，目前的前沿进展包括使用“独立因素分析”（Independent Component Analysis）[21]、使用“贝叶斯网络模型”[20]等技术进行因果关系的计算与推断。

针对人工智能犯罪风险评估“算法歧视”在模型设计层面的问题，应当公开人工智能犯罪风险评估在模型设计层面采用了怎样的计算模型，属于风险预测性质的模型还是因果推断性质的模型，并赋予利益相关用户对上述信息的解释申请权。

（三）人工智能犯罪风险评估的研发过程

从规范与审核的角度来看，规范或者审核的重点并非已经完成开发的算法或者技术成果，而是应当结合我国人工智能犯罪风险评估研发机制与研发实践，从更前置的研发过程规范并审核：犯罪学、犯罪心理学的科学理论与应用技术的融合方式，科学理论向应用技术的转化机制以及验证性评价方式。

首先，如何规范或审核科学理论与应用技术的融合方式？在人工智能犯罪风险评估的研发实践中，经常出现跨学科协作混乱，科学理论与应用技术难以有机融合的局限性。以当前人工智能技术与科学研究前沿实践的融合方式来看，人工智能技术应当与具体的专业研究密切融合，并为专业领域的复杂问题提供辅助支撑是最佳实践方式。以结构生物学研究为例，诺贝尔奖得主克里斯蒂安·安费森（Christian Anfinsen）早在1972年就指出“蛋白质的氨基酸序列能够完全决定其3D结构”，在药物研发等研究中，蛋白质的功能研究是重点研究的科学问题，蛋白质的功能主要由结构决定。但是传统上依靠实验方法确定蛋白质的结构，时间成本与经济成本均较高。为了解决这一问题，DeepMind研发了AlphaFold人工智能系统，并在2021年进行了迭代升级，升级后的AlphaFold2在国际蛋白质结构预测竞赛（CASP）上实现了精确的蛋白质3D结构预测，堪比高成本的冷冻电子显微镜与磁共振成像等实验技术所得到的结果。简言之，AlphaFold的使用将人工智能技术与具体专业深度融合，针对传统科研中成本较高、难以大规模普及的技术难点着重发力，提升了传统研究的工作效率，是人工智能技术与科学理论、具体专业结合的最佳实践范例之一。具体到人工智能犯罪风险评估领域，科学问题应当以犯罪心理学为视角提出，由多个学科提供支撑。

例如，犯罪心理学常常对同一种犯罪行为存在多种“竞争性解释”（2），由此造成的问题是如何在竞争性理论中选择犯罪风险评估工具的心理学理论依据？全球领先的“大范围首先”理论的创始人、中国科学院院士陈霖指出借助当前的脑认知成像技术，“定位各个脑区的认知功能及其相互联系，揭示认知功能在大脑的神经表达”，能够为从竞争性理论中寻求依据提供“生物学约束”。[22]简言之，以脑认知成像等生物信息证据为标准，为理论选取提供客观支撑，能够在跨学科协作中解决犯罪心理学存在的“竞争性解释”问题。[23]

再如，犯罪风险评估研究的目的是预测犯罪行为倾向与解释犯罪行为倾向的成因，但是由于实践中的犯罪成因非常复杂、地区与群体等差异性极大，故常常出现“可重复危机”（Replication Crisis），由此造成的问题是如何克服这种因复杂性形成的“可重复性危机”？为了应对心理学研究中的“可重复性危机”，马库斯·穆那弗（Marcus R.Munafo）等在《自然》杂志上提出了“三角测量”的应对方案，面对同一个问题，从多种不同的假设出发，综合分析不同假设路径延伸出的解釋理论，采用不同的角度获得的证据支撑研究假设，而“强有力的理论是从多条证据线索中综合产生的”。[24]杰克·霍夫曼（Jake M.Hofmman）等在《科学》杂志上提出了复杂社会系统的预测与解释的方法论，强调“必须在复杂的社会系统中，明确（社会）理论在精确预测中的局限性，为预测和解释的对象设定期望”。[25]

其次，如何规范或审核科学理论向应用技术的转化机制？犯罪风险评估理论很难转化为具体的人工智能技术成果。为了解决这一问题，在犯罪风险评估理论与方法转化为计算机系统前，需要完成理论的形式化转化与计算模型、算法的专门设计。犯罪风险评估理论属于社会科学领域的理论体系，更多侧重于搭建“因果规范性网络”，但是在数理的形式化描述和计算模型方面的建构不足。设计智能化犯罪风险评估工具的难点也在于如何将偏重社会科学色彩的理论，转化为计算机可读取、可分析、可计算的数据与模型。借鉴人工智能领域的培养体系，搭建起理论到计算的关键桥梁主要是离散数学理论，在离散数学理论的指导下将理论转化为算法与模型，才能为后续的智能系统开发建立基础。

最后，如何规范或审核验证性评价方式？当人工智能科技成果未经过早期阶段较为充分的社会应用效应研究与验证时，很容易产生不可挽回的社会损失，避免“科林格里奇陷阱”的一个重要措施是进行充分的早期应用效应研究与验证。在我国实践中，功能实现与效果验证一般由负责系统开发的产业机构实施，但是目前产业机构与研究机构均缺乏“人工智能的社会系统分析”，即使用人工智能技术会对应用领域相关的人群产生哪些持续性影响方面的研究。域外为了避免技术广泛应用后出现的不良后果，已经启动相关研究，例如美国伊利诺伊州曾采用人工智能技术生成枪击事件的犯罪风险评估“热力图”预测最可能实施枪击行为的人，但是社会分析表明这一技术“增加了一些人成为警察袭击目标的风险，但是未能降低枪击案件的犯罪风险”。[26]凯特·克劳福德（Kate Crawford）等在《自然》上提出应当进行“人工智能的社会分析”研究，“不同的学科与政府部门应当合作调研社区、公共服务等信息，并分析这些差异如何塑造了人工智能训练数据的差异性”;在此基础上应当进一步着重分析“人们在什么时间、什么情况下会更容易受到某种人工智能技术的影响”[27]，并从哲学、法律、人类学等多个学科、多种角度剖析这些技术的应用会带来什么样的社会后果。对应到我国的人工智能犯罪风险评估研究实践中，目前国家已经发布多个国家重点研发计划专项进行系统研发，在国家重点研发计划的应用示范环节，应当增加对所研发的智能化犯罪风险评估系统的应用效应分析，在试点单位对其可能产生的政治、法律、经济、社会、文化等多方面后果进行系统分析与推演，确保新型技术的应用不会走入“算法歧视”陷阱和“科林格里奇困境”。

结 语

我国人工智能犯罪风险评估工具的研发已经取得初步进展，为了避免人工智能犯罪风险评估掉入“算法歧视”的陷阱，需要在技术已经出现初步的实践成果与示范，尚未达到规模化应用之前，及时探索人工智能犯罪风险评估的算法规制路径。对我国人工智能犯罪风险评估进行算法规制，应当结合我国犯罪学、犯罪心理学理论，以及犯罪行为、犯罪风险、犯罪风险因子集合等方面的独特性，针对我国人工智能犯罪风险评估理论基础构建的科学性，以及模型设计在风险预测或成因解释方面的侧重性，采用公开或者解释的方法进行算法规制。同时，由于人工智能犯罪风险评估结论很可能影响被评估人的人身权利受限程度，未来应当从更早期的研发阶段、以更加严格的标准审核人工智能犯罪风险评估研发过程与研发机制，从而提升我国人工智能犯罪风险评估的科学性与公正性。

注释：

（1）参见David Collingridge.The Social Control of Technology，London.Frances Printer，1980：19.“科林格里奇困境”指的是技术控制的两难困境，在技术发展应用的早期，对技术进行社会控制较容易，但是由于缺乏专业知识等，所以并不知道如何进行合理有效的社会控制;在技术发展应用的晚期，对技术进行社会控制较难，虽然已经获得了大量知识，但是已经很难扭转技术深入社会系统的局面。

（2）参见陈霖：《认知科学的三大基石》，《中国科学基金》2017年第3期。“竞争性解释”指的是在认知科学的研究过程中，任何一种认知心理现象，即便是最简单的实验，其结果的解释都是不唯一的，任何一种认知心理现象都有多种解释。

参考文献：

[1]Julia Angwin， Jeff Larson， Surya Mattu， Lauren Kirchner. Machine Bias In： Ethics of Data and Analytics[M]. NewYork：Auerbach Publications，2022：11.

[2]李成.人工智能歧视的法律治理[J].中国法学，2021，（2）：122-147.

[3]何积丰.安全可信人工智能[J].通信安全与通信保密，2019，（10）：8

[4]丁晓东.论算法的法律规制[J].中国社会科学，2020，（12）：138-159，203.

[5]李晓辉.算法商业秘密与算法正义[J].比较法研究，2021，（3）：105-121.

[6]李训虎.刑事司法人工智能的包容性规制[J].中国社会科学，2021，（2）：42-62.

[7]D. A. Andrews， James Bonta， J. Stephen Wormith. The Recent Past and Near Future of Risk and/or Need Assessment[J]. Crime and Delinquency， 2006，（1）：7-27.

[8]Kelly Hannah-Moffffat. Actuarial Sentencing， An "Unsettled" Proposition[J]. Justice Quarterly， 2013， （2）：270-296.

[9]Malcolm M. Feeley，Jonathan Simon. The New Penology， Notes on the Emerging Strategy of Corrections and Its Implications[J]. Criminology，1992，（4）：449-475.

[10]Bernard E. Harcourt. Risk as A Proxy for Race： The Dangers of Risk Assessment[J]. Federal Sentencing Reporter，2015，（4）：237-243.

[11]Hamilton  Melissa. Back to the Future： The Influence of Criminal History on Risk Assessment [J]. 20 Berkeley Journal of Criminal Law，2015，（1）：75-119.

[12]馬皑，孙晓，宋业臻.智能化犯罪危险性评估的理论与实践[M].北京：法制出版社，2020：12.

[13]Chelsea Barabas，Karthik Dinakar，Jochi Ito，Marlas Virza，Jonathan Zittrain. Interventions over Predictions：Reframing the Eyhical Debate for Actuarial Risk Assessment[C]. Proceedings of Machine Learning Research，2018，81：1-15.

[14]许可，朱悦.算法解释权：科技与法律的双重视角[J].苏州大学学报（哲学社会科学版），2020，（2）：64.

[15]许可.算法规制体系的中国建构与理论反思[J].法律科学（西北政法大学学报），2022，（1）：124-132.

[16]Allport Gordon Willard.The Person in Psychology：Selected Essays[M]. Boston：Beacon Press，1968：47.

[17]Fleeson W.，Law M.K..Trait Enactments as Density Distributions. The Role of Action， Situations and Observes in Explaining Stability and Variability[J]. Journal of Personality and Social Psychology，2015，（6）：1090-1104.

[18]Lewin Kurt.Behavior and Development as A Function of the Total Situation， In Carmichael，L.（Ed.）Manual of Child Psychology[M]. NewYork：John Wiley，1946：797-844.

[19]Pearl Judea. Radical Empiricism and Machine Learning Research[J]. Journal of Causal Inference，2021，（1）：78-82.

[20]Pearl Judea. Causality.Models，Reasoning and Inference[M]. London：Cambridge University Press，2000：3.

[21]Shimizu Shohei，Hoyer Patrik O.，Hyvarinen Aapo，et al. A linear non-Gaussian Acyclic Model for Causal Discovery[J]. Journal of Machine Learning Research，2006，（10）：2003-2030.

[22]陳霖.认知科学的三大基石[J].中国科学基金，2017，（3）：209-210.

[23]陈霖.认知科学若干基本问题的研究进展[J].中国科学院院刊，1993，（2）：112-118.

[24]Munafo Marcus R.，Simith  George Davey. Repeating Experiments is not Enough[J].Nature，2018，553（7689）：399-401.

[25]Hofman Jake M.，Sharma Amit，Watts Duncan J..  Prediction and Explanation in Social System[J].Science，2017，355（6324）：486-488.

[26]Saunders J.，Hunt P.，Hollywood John S.. Predictions Put into Practice：A Quasi-experimental Evaluation of Chicago's Predictive Policing Pilot[J]. Journal of Experimental Criminology，2016，12（3）：347-371.

[27]Crawford Kate，Calo Ryan. There is A Blind Spot in AI Research[J].Nature，2016，538（7625）：311-313.

（责任编辑 吴 楠）

本刊网址·在线杂志：www.jhlt.net.cn

*基金项目：教育部人文社会科学研究一般项目“人工智能视域下社区矫正对象再犯风险的动态评估体系研究”（21YJAZH058）

作者简介：马皑（1962—），北京人，中国政法大学社会学院教授，博士生导师，主要研究方向：犯罪心理学;宋业臻（1990—），山西太原人，心理学博士，青岛认知人工智能研究院研究员，主要研究方向：人工智能。