人工智能算法黑箱的法律危机及应对策略

王玉薇，任一晗

(东北林业大学 文法学院，黑龙江 哈尔滨 150040)

一、问题的提出

近年来，随着人工智能算法的应用，算法“黑箱”问题也引起了人们的广泛关注。算法黑箱存在着封闭性、歧视性与风险性等相关问题，有针对性地研究和分析人工智能算法黑箱给法律所带来的挑战及制定规制策略是非常有必要的。算法黑箱的封闭性影响立法决策的准确，人工智能算法黑箱的歧视性影响司法决策的公正，人工智能算法黑箱的风险性加大行政监管的难度。我国互联网信息服务领域出台的算法推荐规章制度，如2022年3月1日，国家网信办、工信部、公安部、市监局联合发布《互联网信息服务算法推荐管理规定》，这是防范化解算法黑箱安全风险的迫切需要，也是促进算法发展、提升监管能力现实需要。就目前来看，有学者主张算法透明，[1](P151-160)也有学者从监管的角度对算法进行规制，[2](P108-114)因此对人工智能算法黑箱法律应对的系统化研究仍需继续推进。基于此，本文尝试对人工智能算法黑箱在立法、司法与监管方面存在的问题进行深入分析，并提出解决人工智能算法黑箱问题的相应对策。

二、人工智能算法黑箱引发的法律危机

(一)人工智能算法黑箱的封闭性影响立法决策的准确

随着人工智能算法在立法活动中逐步应用，在应用过程中极大提高了立法决策的效率和立法决策的客观性和专业化程度，同时也会产生封闭化的立法决策。算法黑箱在立法的过程中一直扮演无形的支配者，阻碍了民主立法的进程，算法黑箱的封闭性影响立法决策主要体现在两方面：

首先，人工智能算法黑箱的封闭性导致立法决策形式固化。由于算法设计研发过程是封闭的，互联网平台企业为了实现自身利益诉求，将利益企图和行为指向植入规则驱动的算法中，并以算法安全与算法保密为由，不公开算法设计规则和运行程序，以避免因程序漏洞、方法不当、违规违法等问题而遭受指控。以算法自动化运行为理由，将引发风险的责任归咎于算法技术本身，立法者信任算法黑箱输出的信息，但经过算法黑箱处理的立法信息规律性极强，加上专业化的筛查分析，作出的立法决策具有极强的逻辑性，即使公开征求民意也不能对专业的立法决策进行反驳。[3](P32-36)在立法者眼里，他们的知识储备与自身职能不允许立法有失一定的法律逻辑，即使这个决策无法体现人民群众的意志。因此，在这类问题中公开的征求意见机制形同虚设，最后对于立法的民意调查也只能成为专家社会调查的补充。算法黑箱的封闭逐渐形成只求法律逻辑而不顾感性的内在思维，造成立法信息的单一，进而影响立法决策的准确。

其次，人工智能算法黑箱的封闭性导致立法决策缺乏民意。算法黑箱通过对数据分析整合，对立法信息进行预测，最后找出多数人的偏好，就形成了民主立法信息，这样的信息看起来客观公正，但应该考虑这是否会形成多数人暴政。公众舆论作为中央立法者了解民意的一个普遍渠道，它的形成原因及是否客观公正是非常重要的。由于算法黑箱的封闭性使得民众参与政治讨论的机会几乎为零，这样会造成话语被操控，这种公众舆论失去意义。例如：微博热搜在近些年来也是可以被操控的，通过一定的技术手段去撤下热搜、雇佣水军、上热搜等引导舆论。当立法者想要获取民意作为立法决策的参考时，算法中的数据和民意结果不能中立客观。算法被人操控，算法偏见无法避免，并导致数据偏颇偏离民主。在立法过程中过度依赖算法黑箱提供的数据而割裂了民意调查，一定会造成信息的不准确，甚至导致立法决策与民意相悖，封闭的算法黑箱会在不知不觉中屏蔽掉公共意志，影响立法决策的准确。

(二)人工智能算法黑箱的歧视性影响司法决策的公正

首先，人工智能算法黑箱的歧视性可能会对案件事实的认定构成误导。由智能办案辅助系统提出证据指引，并对单一证据、证据链和全案依据进行校验审查，是当前人工智能算法参与司法事实认定的主要形式。虽然算法是数字的表达和计算，似乎不被赋予价值和任何情感，能做到不偏不倚，处于客观公正的地位。但是，算法会受到算法设计人员价值观念的影响，也有数据本身暗藏的歧视影响，或是因为数据分析过程中，把相关关系和因果关系进行了混淆，数据经过算法“黑箱”式的计算，结论中就会存在偏见，当人工智能算法黑箱被运用到司法决策中，从而产生的歧视性会影响司法决策的公正。

其次，人工智能算法黑箱的歧视性会阻碍法律适用。法律适用是基于正确理解案件的事实。算法黑箱的歧视会使事实认定出现偏差，法律适用会出现过错。最明显的反映在算法自动化决策辅助系统中，犯罪事实的处理、证据的收集和判决中量刑如何确定都是由人工智能辅助系统独立完成的。司法人员在输出中可以看到判决中量刑和法律适配的结果，但他们无法了解其过程在选择法条适用中是否出现纰漏。算法系统对案例进行筛选，且不能充分理解法律条文。对于在应用人工智能算法中遇到的问题，“206系统”要发掘和及时地通过典型的刑事案件、司法信息资源、案例处理经验、上海公安和司法机构积累的上海高等法院指定的证据规则和证据模型，确保证据缺陷和证据之间的矛盾，为保证审查和起诉，提出逮捕和转移的案件都符合法规的标准。[2](P108-116)然而在人工智能算法应用过程中，由于算法存在黑箱模型，算法在量刑的可信度、智能推送相似案例参考(类案推送)的可解释性等方面存在质疑。司法审判属于强逻辑推理的领域，并且司法审判结果关乎人权与公正等价值判断，如何保证智能量刑结果的可信度、类案推送的可解释性，是“206系统”研发过程中面临的极大挑战。法律适用受到人工智能算法黑箱的歧视性的影响更加严重和明显。

再次，人工智能算法黑箱的歧视性会固化司法不公。如果根据算法决策的基本原则，算法过去被训练为不正确或偏颇的数据，其结果也带有歧视，然后将数据输出到系统，歧视加固形成歧视闭环。因此，在算法黑箱歧视下，智能办理案件系统可能会不准确，这会对事实认定形成误导和法律适用造成阻碍，从而导致个别案件司法决策的不公平。不公平的结果将继续成为算法数据的基础，恶化算法黑箱的歧视，通过参考和指导影响将来类似案例的司法决策，成为类似案件审判上司法公正的威胁。例如，人工智能算法黑箱的歧视性最明显体现在卢米斯一案中，法院承认 COMPAS 风险评估工具存在于司法实践中的价值，也提示司法界对该工具的风险应有足够清醒的认识。[4](P16-18)人工智能算法黑箱中的歧视问题无法公开。当用犯罪风险评估软件对犯罪嫌疑人进行评估时，司法决策不是规则，而是代码。当程序员把既定的代码转化为程序时，他们既是规则的设定者，也是规则的操控者。但是，公众、官员和法官并不了解其中的机制，无法分析人工智能算法自动化决策的透明度、问责制和准确性。在缺乏必要的问责机制的情况下，不可逆转的算法黑箱的歧视性影响了司法公正。

(三)人工智能算法黑箱的风险性加大行政监管的难度

人工智能算法黑箱的风险性使得行政监管遇到严峻考验。算法的思维逻辑像一张复杂的神经网络使得算法黑箱难以解释，特别是对于高度复杂的高级算法，研究者对其架构设计也难以完全理解。许多技术工程师或程序员在过程中不同阶段提供不同的代码。个人很难看到全局，而“创新的速度和根源使监管更加复杂”。具体来说，人工智能算法黑箱的风险性主要给监管带来两个维度的挑战。

首先，人工智能算法黑箱的风险性导致行政监管难以归责。“黑箱”的存在制约了政府治理算法的内容和手段，使政府陷入监管算法失灵的困境。算法“黑箱”的存在使得算法漏洞和算法缺陷被隐藏。一旦算法在数据、模型、方法等方面出现问题，算法的应用结果就会与应用目标相违背。[5](P53-86)政府公共部门作为算法技术应用的推动者，应该对算法进行管理，保证算法技术的健康应用。然而，“黑箱”使得公共部门难以对算法信息进行审核，几乎不可能对问题的焦点进行识别和判断，因此难以对算法问题进行及时问责和纠正。更重要的是，技术公司或算法设计者开始利用机器与人之间形成的“黑箱”来逃避算法自动运行的责任。风险的责任归于算法技术本身，技术外包的责任归属成为难题，加大了政府对技术公司的问责和算法问题的治理难度。[6](P52-62)

其次，人工智能算法黑箱的风险性导致行政监管缺乏公信力。公众期待政府公共部门参与算法、代理算法和治理算法，构建、维护和巩固算法社会秩序，从而实现政府对公众负责的目标。但算法“黑箱”使得许多算法过程显得不透明，这使得公众不知道算法的设计意图涉及到自己的利益及数据源是否合法，算法如何工作，以保证运算结果的公平性，这意味着公民的知情权在一定程度上被这种情况所覆盖，很可能引起公众对算法合理性的担忧，进而引发对政府的信任危机。[7]除了算法信任危机外，还有两个原因：一方面，政府监管算法的失效导致政府信任危机，黑箱的存在让政府统治算法的内容和手段有限。另一方面，公共领域算法风险导致政府信任危机。[8]算法决策结果、策略判断和“黑箱”掩盖了公平，政府无法检验算法运行的结果是否准确。这种情况在现实中得到了验证，将算法应用到公共事务中有众多风险。预测决策算法不完全公平或有差错。例如，美国法院使用商业公司开发的COMPAS算法评估犯罪风险，证明算法黑箱中存在对种族的偏见并歧视黑人。对于应用于公共领域的算法来说，公平性比算法的性能重要得多，但它不在私有技术公司和算法设计者的范围之内,只有在政府和公共部门的监管下，我们才可以选择公平而不是算法所谓的客观。然而，在这个过程中，政府进入了一个自己无法观察、无法理解、无法解释的算法“黑箱”，政府责任的有效性和公平性无法评价，也无法对公众负责，为政府带来了监管上的困境。

三、人工智能算法黑箱的法律应对策略

(一)构建算法透明制度

首先，算法决策立法的透明化。算法透明度的核心是公众可以看懂并理解算法决策，这是公众监督的先决条件。人工智能算法黑箱问题必须通过构建算法透明制度加以解决，实现算法逻辑的透明化，以促进立法决策的公正。算法的透明度是指源代码的开放性和透明性，公布用于做出相关算法决策的输入和输出过程，以简明易懂的方式公开输入到输出的中间过程，以便被决策对象充分知悉并认同算法的正当合理性等内容。例如，联邦委员会的技术研究和调查事务所就算法的透明度进行了独立的研究，向律师和FTC消费者保护调查官提供了关于算法透明度的训练和技术专业知识。封闭的算法黑箱容易导致形式固化的法律逻辑结构，因此，公开算法逻辑融入群众的感性内在思维，进而提高立法决策的准确性。

其次，立法决策信息的透明化。在对立法决策信息收集和民意调查中，应实现信息的公开透明，进而对所收集的数据进行控制，例如，公开民意调查信息，立法者及立法部门在分析和审查立法信息时重点关注民意信息等。我国立法的权力属于人民，人民是立法的主体，立法决策也是要按照人民的意愿及利益来制定实施，算法黑箱的封闭导致正义偏颇，数据被操控等现象。但是如果进行立法决策信息公开，就可以对算法技术充分利用，也提高了人民群众在立法中的参与，收集到的立法信息符合大众趋势，使得法律规范保障人民的利益。

综上所述，算法透明是立法决策的关键，也是立法原则的方向。因此，在立法决策中构建算法透明制度实现算法逻辑的透明化与决策信息的透明化，解决封闭化的算法黑箱问题，以提高立法决策的准确性。

(二)健全算法披露和审查制度

首先，确立算法披露制度。国外研究提出，技术公司应向用户解释算法隐含的逻辑推理过程。[9]我国有学者指出，算法说明应包括“算法的逻辑、算法的种类、算法的功能、算法的设计者、算法的风险、算法的重大变化等”，[10](P1-17)基于人工智能算法黑箱的歧视性对司法决策影响深化的事实，一方面受托从事司法智能辅助系统开发的技术公司应当根据合同的约定向司法机关就算法黑箱的过程详细说明义务；例如:披露算法“黑箱”中隐藏的算法模型与公式、算法逻辑与规则、算法功能与风险等。另一方面，使用智能辅助系统的机关应当根据《关于司法公开的六项原则》《人民检察院案件信息公开工作规定》等规定，将除涉及国家秘密以外的算法内容以可理解的方式向社会公开并接受公众监督，让更多的人理解算法、参与算法、信任算法，目的在于改善算法，让算法更好地服务社会。对此应尽可能的保证算法输入数据的公开性、这样才能在最大限度内削弱算法黑箱的歧视。为了实现这一目标，应确立算法设计者和算法服务提供者算法信息披露制度来解决司法不公问题。

其次，建立和完善算法审查制度。著名人工智能专家吴季松认为，算法的开发需要法律的约束与监督，并建议考虑制定《人工智能法》，从而减轻人工智能的消极影响，扩大其正面效益，更好地为人类造福。[11](P14)这就要求做到：1.技术机构应当自行评价已有或将要使用的算法自动决策系统，以发现算法自动化决策系统对公平、公正、偏见或其他重大问题可能产生的影响；2.技术机构应当建立有效的外部研究者审查过程，以发现、测量或追踪长期效应；3.各机关在取得自动决策制度前，必须将其定义告知大众，并将所有有关的自我评估、外部评估的审查程序告知大众；4.技术机构应当与公众协商，阐明关注和答复有待解决的问题；5.在各机关没有能够减轻或改正那些评估不充分、不公平、偏见或其它危险的自动决策制度时，政府应当向受害人员或团体提供适当的诉讼机制，以保证各项权利的有效救济。司法智能辅助系统作为可对司法决策产生重要影响的工具，参照目前域外相关企业和组织的做法，建立出法官、检察官、律师和其他人工智能、计算机、伦理学、法学等领域的专家组成的伦理审查委员会，对算法黑箱的歧视涉及的伦理、技术进行审查监督，最大限度保证算法黑箱的公正和合法性。对于智能辅助系统的审查应包括事前审查，事中审查和事后审查。

总之，对于人工智能算法黑箱问题的防范应体现在算法的研发与设计中，坚持采用已有案例加以训练，避免因数据歧视而导致司法决策不准确问题。健全算法披露和审查制度，探究算法中存在与伦理要求不符的价值偏见，并对存在歧视的数据进行矫正，防止影响司法决策的公正。

(三)设立算法全流程监管机构

2017年国务院发布的《新一代人工智能发展计划》提出建立健全公开透明的人工智能监管体系,实行设计问责和应用监督并重的双层监管结构,实现对人工智能算法设计、产品开发和成果应用等的全流程监管。政府应该建立专门监管机构来督促算法运行。

首先，建立专门算法监管机构。该机构必须是独立的且有相应的权限，应由具有专业算法知识的法律人员组成。当人们认为算法决策过程中存在的问题侵犯了自己的权利时，可以向算法监管机构投诉；当算法决策违反公共利益时，组织也可以根据其权限查询相关算法开发者和用户。[12](P77-90)

其次，建立全流程监管机制。目前，在算法行政监管方面较为有效的是建立算法审查评估和动态监测机制。一方面，建立事前的算法审查报批制度。在公共管理、个人隐私保护、金融征信等领域的算法要建立起算法准入制度，算法设计者必须具备一定的资质才能进行该领域算法的开发、设计，有必要还需要对社会进行公开。在审查阶段，确保算法不存在明显歧视和缺陷，确保算法的可用性。将算法的运作过程进行公布。算法的开发者应当参照专利权申请一样，对其所开发的算法进行内容的展示和说明，其中包括算法的参数、数据、目的等信息要素，保障算法开发的合理性和明确的责任归属。[13]

另一方面，加强算法应用动态监测。强化对算法的事中监管，提高对算法风险的预测、防范能力。

再次，设置第三方独立性机构加强对算法的监管。算法黑箱的妨害具有明显的公共特性，且会随着算法自动化决策的积累对社会和公众产生交叉伤害。我国可以设置如算法伦理委员会的第三方独立性机构对算法黑箱进行控制，其主要负责算法权力主体滥用算法权力而危及社会公共利益时，算法相对人可由第三方独立性机构向专业性算法审查机构申请进行事后矫正阶段审查。在监管方式方面，可以通过监管影响评估、评估算法的详细说明(包括设计、培训、数据及其目标)以及评估算法对个人隐私和安全的影响和歧视性后果的风险来进行披露。 此外，第三方机构对监管中算法的使用进行监督，将有助于丰富算法自由，同时继续发挥算法的作用。该监督由算法开发者或算法服务提供者担任，第三方监督者应承担相应的责任，这种第三方监督机制可以补充算法算法设计者和算法服务商的算法信息披露制度，从而提高算法的公开性，规范算法黑箱的歧视性问题。在日常生活中，第三方独立性机构帮助有关主体解答其关于算法黑箱规制方面的疑问，并开展与算法知识相关的教育实践活动。

总之，我国应设立专业性算法审查机构在事前备案、事中控制、事后矫正这三个阶段进行全过程行政审查，逐步完善算法责任制度对利用算法违法的行为追责，设置算法解释权与第三方独立机构，发展算法行业自律以求能实现全过程、多元化、全方位的利用法律规制算法黑箱，引导算法行业朝着正确的方向稳步发展。但法律规制算法黑箱不能仅靠法律工作者的单方面努力，还需要法律工作者与技术人员的合作才能实现从根本上规制算法黑箱。因此，将法律手段与技术手段相结合从而高效的对算法黑箱进行规制成为一个新的问题需要进一步深入的研究。