人工智能在司法实务中的技术风险与负面清单探析

梁成意，焦 阳

（华东交通大学人文社会科学学院，江西南昌，330013）

人工智能（Arifital Intelligence，简称AI）是指使计算机交互程序遵从人的编程设计去完成某项任务的技术。人工智能是人类的工具，是人类智慧的衍生物。人工智能随着科技的进步、互联网及大数据的发展，其发展方向、运用方向以及对于其的限制等问题引起了诸多讨论，同时随着司法实务活动的案件压力和司法效率等需求，人工智能逐渐成为司法实务工作的工具，且法律人工智能的初步成果在司法实务应用中也取得了良好效果。各地法院开始尝试运用人工智能技术建立“智慧法院”。

一、司法实务活动的现状分析

（一）案件总量上升，人均案件量急剧上升

2019—2020年，最高人民法院共受理案件35 994件，审结31 443件，同比分别上升22.1%和23.5%。地方各级人民法院受理案件数量也出现了激增的情况，各级法院审结的一审刑事案件多达119.8万件，受理并审结的一审知识产权案件也达到了28.8万件，同比上升41.8%。审结一审民事案件901.7万件，同比上升8.7%。在以上数据中可以发现，近年来案件数量上升，但是在职司法工作人员变化不大，人均案件压力上升。

（二）人工智能技术应用于司法实务日趋普遍

随着国家战略的部署和国家机关政策的落实，人工智能技术应用于司法实务得以迅速发展，各地法院纷纷开始以人工智能系统为依托建立起“智慧法院”。

河北高院研发的“智审系统”是通过对纸质卷宗扫描形成电子卷宗后，再以该系统对与当事人相关的案件自动关联后进行分类。大多数裁判文书能够通过系统一键生成。该人工智能系统的应用成果较好，极大地提高了司法工作的效率，因此在全国多个法院得到广泛应用。

北京法院的“睿法官”智能辅助系统，以法律数据、司法审判数据为依托，通过对审判行为的分析和智能化的学习，最后形成自己的法律逻辑知识图谱来辅助法官办理案件，例如根据司法人员的需要方向，精准列出办案所涉及的法律法规、相类似的已裁判案例等信息，并且还会梳理与案件有关的法律关系，归纳案件的争议点，系统生成裁判建议、裁判文书等。北京西城区人民法院的刑事审判团队运用“睿法官”系统在确保司法裁判尺度统一的前提下，高效地审理了1 000多件案件。上海法院也通过人工智能技术研发了裁判文书大数据智能分析系统，该系统能通过分析证据之间的印证关系、证据之间的逻辑符合性、寻找证据之间是否存在矛盾和冲突等关系来判断证据链是否充分达到法律对证据完整性的要求［1］。

从以上司法实务中，可以归纳总结出现阶段我国人工智能技术在司法实务中的应用为弱人工智能技术，起到了对司法实务活动的辅助作用。一是以标准化的办案模式、文书模式以及流程化的操作起到了规范化作用；二是在繁杂的司法实务活动中起到提示性的作用，提示司法工作人员办案注意重点把握部分案件事实和问题；三是提高了司法实务活动的效率，这也是人工智能应用在司法实务中最具有成果性的部分，从各个法院实施情况来看，办案效率均得到一定的提升，极大减少了司法工作人员的办案压力；四是人工智能技术偏向预测性手段发展，例如江苏法院的人工智能系统针对上传有关法律数据后自动作出预测性判决结果，为法官提供量刑参考的这一功能就带有对判决结果的人工智能预测性的倾向。但是，从以上各个法院对人工智能的不同应用也可以看出各个地区之间存在着差异性，也就是人工智能技术应用中的地域性，这也意味着地方之间的人工智能系统的标准有所差异。因此本文将从人工智能在司法实务中扮演的角色入手，对人工智能应用于司法实务进行利弊分析，重点讨论人工智能的技术风险与在司法实务应用中设立的负面清单。

二、人工智能的应用在司法工作中的角色

（一）人工智能是将要替代司法工作人员的司法人工智能

在纯技术界看来，人工智能是通过模仿人的思维方式从而以“智使化”手段来代替人类做出获取、分类、归纳、分析和决策等，人工智能是一种技术手段。虽然部分人认为人工智能不能代人在司法实务中实现自由较量，但是相信其终会解决该问题，实现替代司法工作人员完全做出司法判断，由此技术界对人工智能在司法实务的应用处于十分积极的态度，并且认为计算法律（Computational Law）和算法裁判会成为法律的终极形态，甚至代替法官直接作出裁判。此种观点在西方尤为凸显，英国广播公司曾报道，法律人工智能Case Cruncher Alpha与律师就保险合同纠纷展开法律问题竞赛，结果人工智能的准确率为86.6%，明显领先于律师66.3%的正确率［2］。基于此，美国弗吉尼亚大学的相关学者进一步认为人工智能预测裁判结果的准确率可以达到79.46%。

（二）人工智能是法律运用过程中的辅助手段

司法实务界则认为人工智能只能作为法律运用及司法裁判过程中的辅助手段，目的在于使法官、检察官从繁杂的文件材料、数据分析、案例检索等事项中解脱出来，以更有效率和精确的手段帮助司法工作人员做出最公正的司法决定。因此其目的不是使人工智能替代司法裁决，或者淘汰办案的司法工作人员，并且认为因为人性的复杂化和社会环境的多变化，很难将对人性、情感以及价值的衡量进行量化或者数据化［3］。

人的情感具有两面性，一面是同理性和衡量社会的价值观念，一面是难以避免社会诱惑的动摇之心。人性的复杂，难以保证每个司法人员在司法活动中不会被腐蚀，为了保证司法活动的公正性，人工智能作为“无人性、无情感”的机器可以在此意义上限制司法活动，弥补人的局限性。

（三）人工智能最高可视为司法案件的初审“检察官、法官”

笔者认为，可以综合前两种观点，一方面不刻意强调人工智能在司法活动的主导地位和对司法活动的替代性角色，另一方面不可迷信人工智能给司法活动方式带来的变革，因此可以将其视为司法案件的初审“检察官、法官”。

司法人员的时间和精力是有限的，每个司法人员从头至尾都将面临着繁杂的工作任务，而且人脑的知识储备、记忆能力是有限的，司法工作人员不能记住全部的案例和法律条文，因此在审办案件时，为了防止遗漏有关问题，影响案件的审理进程，司法人员必然会花费更多的时间和精力在检索和信息整合上，便会导致工作效率难以提升。

在上文中论述了人性带来的积极影响，人类主体会考虑到社会各个层次、情况、社会道德等多个方面，但“机器”却难以做到，这也是人工智能的局限性。即使人工智能能够完全模拟人的思维模式和办案模式，但机器始终是没有情感，无法做出价值判断，这是因为司法活动始终是人类的活动，面对的群众是人类，具有社会性，将案件完全托付“机器”虽说可以做到判断上的完全理性，但是选择此方式却是不理性的［4］。人工智能很难像法官一样理清复杂的法律关系，人工智能更多的是机械地按照法律条文规定来做出判断，很难针对诉讼参与人的诉求做出相应的回应。因此，人工智能应用于司法领域中，可以使其成为在案件前期办理进程中的一环，成为初审“检察官、法官”，但是不能够成为完全意义上的“检察官、法官”。

三、人工智能的技术风险

（一）司法数据不充分导致的人工智能的技术风险

以人工智能做出信息检索和初步的裁判预测的前提是可以提供和采集海量的、有效的司法数据以供分析。但是实践当中可能会存在部分特殊的案件，因各种原因未能将案件的审理过程和放判结果完全数据化。另一方面司法数据存在着片面化、不完全透明化的特点，在组织合议庭和审委会讨论中，其内部讨论均不公开。英美法系的法官、陪审团讨论也是内部性、不公开的，“庭审笔录不是一种公开的法律证明文书”，缺少审判过程和讨论过程的数据难说是完整和充分的，审判过程的不公开性也造成了该部分数据的缺少甚至是缺失［5］。

只有以十分充实的数据为基础，并通过这些数据得出总结，将类型化案件进行分析，归纳司法实务中的裁判规则，改进算法，进而总结出技术实务经验，使类型化案件实现以裁判规则、司法经验归纳为基础的有限智能化。“可以预见的是，在类型化案件中，有可能形成统一的智能化算法：在不那么规格化的案件中，至少可以做到法律依据提醒、政策比较和类案参考。”数据的不完备，很可能会影响到案件的裁判，也难以发挥人工智能的功能［6］。司法数据也会存在不客观性和不真实性，司法数据具有可修改性，司法数据的不一致性也是人工智能运用过程中将要面临的风险。人工智能作为技术手段，技术上数据的伪造和虚构是存在较大可能性的，并且是一种较低成本的伪造模式，司法数据的不真实性必然会影响到分析案件时的客观性，这就难以保证司法活动的公正性。完全依赖人工智能所带来的裁判预测容易造成利用技术上的不完整性，这也是人工智能技术风险的一种。

（二）人工智能容易变成犯罪分子利用的工具

人工智能时代的到来也会逐渐对法律的走向和发展产生重要影响。一方面人工智能可以更好地服务社会，对法律的发展带来积极的影响，同时也可以成为司法实践中的重要辅助手段。但是另一方面，人工智能的运用也会成为实现犯罪目的的工具。犯罪分子获得程序源代码后，便可控制用于司法活动的人工智能系统，并可通过此种人工智能系统控制结果的导向，甚至造成严重后果。这是因为数据本身是一种信息的载体，数据的集中意味着信息的集中，不法者就能用极小的成本利用或者攻击数据库以此获利，具有极大的社会危害性。

人工智能与互联网以及大数据密切相关，这些使得犯罪分子侵入系统变得更加隐秘，其侵入所造成的后果以及扩散化影响也变得更加严重。

1.算法独裁

算法是人工智能运行的基本要素，算法是以大数据为基础，进行一系列特定的运算并得出结果。对于算法的内容，因其专业性较强，不仅被控告人不知晓，甚至连主办案件的司法人员也无从得知，且有关结论的得出过程并未告知相关诉讼参与人，某种程度上侵害了司法活动的公正性［7］。如果司法裁判受到算法的支配，那么就会因为算法独裁而出现司法独裁，司法活动将成为算法创制人的私人行为。这种不透明性与司法活动公平正义的价值判断相抵触。盲目相信法律人工智能会产生如隐性歧视等新问题和新冲突，这将偏离基于公众判断而得来的公平正义。

2.信息利用

信息的利用是人工智能的关键，人工智能通过对信息的搜集、整合、归纳和推理等方式将信息通过计算机算法模式得出结论。但正是因为现如今网络信息庞杂，信息传递的简单、迅速的特点使得信息过滤难度加大，信息过量、无法分辨信息的有用性，甚至难以筛选客观真实的信息。

信息利用于私人利益，快速流转的信息在人工智能的数据库中就相当于一种资源财富，因此对于资源的掌握就成了一种强大的利益诱惑，信息由个人信息、集体信息、社会信息等基本单位组成，对于信息的利用容易陷入到对于基本单位信息安全与隐私的侵犯［8］。广泛应用的智能物会收集、共享并向智能信息中心传输、利用包括个人信息在内的各种信息，这是因为人工智能和单纯的信息处理采集系统不同［9］，人工智能具有自主性和自动性，是能够以智能程序自主进行事务处理的系统。这也使得人工智能与其应用主体的利益直接相关，二者关系的紧密性超出一般的信息处理系统，若对人工智能进行攻击就极可能会直接给信息主体带来巨大的危险。

另一方面，人工智能对数据的完整性和信息的充分性的要求恰恰成为私人信息容易受到侵犯的原因。人工智能的普及化应用，使得人工智能收集数据信息的设备发挥了极大的效用，信息将在各个领域和环境中暴露以供人工智能系统随时调取、使用和分析。当人工智能系统遭到攻击时，信息便爆炸般散落在非法利用者面前供其随意拣取。

四、人工智能的负面清单

（一）设立负面清单的理论基础

1.法律监管理论

人工智能在司法实务中运用时应当设立禁区，例如通过政策性立法对人工智能的运用范围和运用方式进行监管，以法律方式进行监管是最为有效的方式。通过法律监管可以极大地降低人工智能在司法实务运用过程中所带来的各种风险，法律的稳定性也可以与因人工智能运用的不稳定所带来的技术风险进行对冲，缓解一定不利后果的产生。对人工智能的监管是必然的，美国为了解决人工智能技术应用对社会带来的影响，将人工智能的相关立法措施纳入到立法机构的考虑范围之内。

2.法律与伦理关系论

对于一个案件的分析、裁判的过程和思维方式分析，应当考虑法律与伦理的关系。例如因电影《我不是药神》而广为人知的“陆勇案”，最后的司法裁判充分体现出“情理法”的平衡。假设以人工智能为依托来审理该案，极大可能单一机械地以对案情与法条的一一对应作为案件的审理标准，即当然地判定陆勇为生产销售假药罪。

这一部分以剖析人工智能与人类的差别为出发点，该思考逻辑认为人工智能无意识，人工智能的智慧只是人智慧的产物，没有判断人类社会复杂关系的能力。人的智慧不仅包含知识、能力，还包含着人情感的认知、价值观念和社会伦理，而这些要素都是司法判断中必不可少的，正是这些要素才使得司法变得有温度。但是，人工智能没有人的感知，也没有人的感情和情绪，因此不具有根据人的价值判断做出司法裁判的潜质。因此结果的“无温度化”可以选入为司法裁判的负面清单。

3.法律解释的多样性

法律解释一直是司法实务中的重点和难点，对于不同法律术语的解释往往会产生不一样的法律结果。同样以“陆勇案”为例，该案件的关键点是对“销售”行为的认定，但是对这个“销售”行为的解释却有不同意见。再如“天津老太摆地摊打气球案”中，对于“枪支”的解释也成为了案件的关键，这些往往向公众展示的是关于认知的不同与矛盾。但是如果将这一系列案件的关键点的解释用一连串的字符、公式算法来判断则会造成民众的不解，并且人工智能的算法存在非透明性和不可解释性的缺陷。“司法裁判的过程不仅仅是给出结论的过程，更是以一系列合乎逻辑的声明或通过引用相关的法源得出结论的过程”，在司法实务中如果没有对有关问题进行解释和分析，结果只会激发人民的不满与对司法活动的不信任感。

（二）设立负面清单的实践要求和调整范围

1.实践要求

结合现有的司法实践之发展，必须从司法实务的视阙考量人工智能在实践中的介入程度，并且能够“维护秩序与变革、守护与创新、价值与事实之间的动态平衡，就是所面临的紧迫的问题”［10］。

虽然人工智能系统通常有技术防护措施，但是，保护人工智能系统安全应以预设的法律规制为基础，否则将陷入人工智能技术攻防对抗、此消彼长的恶性循环，出现人和人工智能系统以及人工智能系统之间的技术“战争”，影响相关技术的发展前景，危及社会秩序，甚至颠覆现有的法律价值体系［11］。因此，在实践中要建立源代码及运行机制披露等事前监管机制化，预防出现干预代码化规则的系统性歧视。

利用人工智能化司法系统实施犯罪行为将是对诸多法益的全面侵犯，因为信息是人工智能化司法系统发展和运转的重要基础。人工智能在司法实务中的不恰当应用可能会在一定范围内激起各类信息主体即信息掌控者之间的对抗，甚至会会阻碍我国智慧社会的正常发展。为避免出现此种法治化危机，人工智能的应用必须在保障公民基本权利的基础上展开，依法利用包括个人信息在内的各种信息资源。在我国司法实务的智慧法院建设中，如何保证各类信息的合法合理取得或者是收集也需要诉诸负面清单的设立，即部分学者认为“工具理性对司法意义的消解，智慧管理对司法自主的削弱，智慧应用对司法平等的分化以及服务外包对司法公信的威胁”［12］。如何处置公民个人信息的决定权在工具的手上，工具的运转效果又与公民个人信息挂钩，在这样的对应关系中，人们对理性工具自然会产生怀疑。

2.调整范围

从司法实务要求来看，现阶段的人工智能虽尚存在技术缺陷，但是为避免可能出现的法治化危机，也需要给人工智能设立负面清单，尽可能规避人工智能给司法实务所带来的技术风险。设立负面清单调整人工智能技术规范的关键在于规范人工智能算法。通常人工智能算法遁于技术“黑箱”的保护，不具有公开性，而算法运行过程的私密性则与司法公开的原则相违背，如此一来，在人工智能应用于司法实践的过程中就必然要设立负面清单以规范人工智能算法。负面清单不仅要防止算法因“非因果性和不确定性”导致的安全风险［13］，规范人工智能算法，还要规范“算法与数据之间复杂动态关系”［14］。以逻辑演算方式确定司法逻辑，将统一司法逻辑标准赋予人工智能，增加其因果性和确定性是解决算法的“非因果性和不确定性”之必由途径。同时要保障算法运行中数据输入的充分性和客观真实性，以可预见性司法逻辑推导的司法决定规制算法与数据间的不确定关系，降低或者减少因为算法不确定或不公开、数据输入不真实或不完整带来的法律风险。在此基础上依然要强调法律数据的充分结构化与类型化，法律数据不同于其他数据，由于其专业性通常会涉及到诸多的法律术语，规范法律术语的解释，建立统一法律术语解释的数据库，也是促进建立标准化算法的前提。

建立起基本的地方统一数据标准，适当保留地方特色规范。地方规范是非正式制度的主体，在地方司法实务中也起着关键作用，人工智能在司法实务中的应用多以各个地方的司法机关为单位进行开展，不同主体的应用内容或者范围也有所不同，例如前文所述的河北高院研发的“智审系统”等。但正是由于每个地区应用的范围不同，所开发的人工智能系统也不一样，因此在人工智能内部的算法操作也各不相同，基础算法不一样再加上地区本身针对不同问题的地方规范不同，最后的结果也有所出入。因此探讨人工智能的应用范围，要高度关注涉及地方规范的人工智能，对属于地方规范的，应当在规范其统一标准的大前提下细化地方规则。

刑法应规制人工智能以防止其滥用，人工智能的滥用会使社会公众陷入“塔西佗陷阱”，也会使犯罪分子有更多攻击对象和攻击目标。一方面要建立起对于人工智能系统的“防护罩”，以技术手段保护人工智能系统不受侵犯，保障人工智能数据库，但是最主要的是要以刑法法律规制有关的侵犯、伪造数据库和算法程序的行为来充分保障人工智能的基本数据和算法不受污染，从而保障人工智能系统所做出结果的客观性和公正性［15］。另一方面，以刑法这一严厉的手段来规制有关滥用人工智能的犯罪，可以极大程度地平衡公众、集体以及社会对于人工智能获取其信息数据及将人工智能应用于司法实务对他们所带来的影响之间的矛盾和冲突。

五、结语

现如今网络技术进步，大数据及人工智能以极快的速度发展，针对司法实务的需求，人工智能应用于司法实务的趋势不可阻挡。我国现阶段的人工智能技术还不成熟，尚处于弱人工智能阶段，“法律人工智能仍属一种统计型、经验型、材料准备型、文字模板型的弱人工智能，低效且适用范围窄”，如今虽然未面临着是否淘汰法官、检察官的选择，但是也面临着人工智能所带来的技术风险。随着技术水平的不断提高，当强人工智能时代来临时，现有框架内的司法活动也将面对全新的风险和挑战，届时也必将面临着新的选择。

维克托说：“法律大数据以一种前所未有的方式，通过对海量法律数据进行分析，对法律问题进行预判，获得巨大价值的产品和服务，或得出新的认知、深刻的观点和主张。”［16］不可否认的是，人工智能带来的变革性方式在很大程度上给人类活动带来了技术上的便利，在司法实务中可以缓解案多人少、司法实务繁重等现状。但是人工智能的风险是不可轻视的，网络恶意的隐蔽性就像利维坦般，若不为其设置禁区则会像洪水猛兽般侵犯着公众利益，挑战司法的权威性以及公正性，甚至会威胁到社会秩序和国家安全。

在弱人工智能时代，需要推动人工智能技术的发展，优化算法结构，提高算法的科学性和准确性。完善数据库，保证数据充足和数据客观真实，深入挖掘数据，并且探究建造数据与算法程序背后所对应的司法活动规律，提高人工智能的智能化，减少人工智能带来的技术性风险，更好地推动司法实务工作的发展。

不论是现在还是未来，人工智能技术在司法实务中的应用应当是有所节制的，应当根据案件的复杂程度以及案件的社会影响，并且考虑原被告双方的争议焦点等，以此来确定人工智能的介入深度。针对人工智能在司法实务中的整个发展态势，笔者的观点是，不论人工智能技术的发展如何，即使是到达强人工智能时代，人工智能技术还是应当多应用于非裁判性实务当中，人工智能依然只能充当司法实务中起辅助和参谋作用的初审“检察官、法官”，人工智能不能完全取代人类做出决定性的决定和裁判。人工智能与司法实务的融合是长期的必然趋势，在运用人工智能时一定要充分结合我国司法实务的情况，考虑我国司法和法治改革。将人工智能技术运用于司法实务中不应操之过快，需要不断探索和各方努力来共同促进中国法治的现代化，共同实现司法的公平正义。