基于类型学视角的公共部门人工智能应用风险规制

郑圣贤

(安徽师范大学法学院,安徽 芜湖 241000)

0 引言

有关人工智能的研究最早开始于20世纪40年代。1939年,艾伦·图灵(Alan Turing)为英国政府开发了一款称为“Bombe”的密码破译机,该密码破译机破解密码的方法远超当时最优秀的人类数学家。图灵由此开始思考这种机器背后的智能问题,并提出了著名的“图灵测试”(The Turing test),即通过人机交互的结果来判断一个机器是否具有智能。1956年,“人工智能”(Artificial Intelligent,AI)一词正式被创造出来。20世纪的后几十年里,早期人工智能系统如ELIZA和通用问题解决程序,受技术条件的限制,其所能解决的问题主要局限于容易形式化的领域,发展的进度较慢,且一度陷入停滞。但随着近些年计算机算力的提升和大数据、云计算的发展,人工智能系统可通过模仿人类神经网络实现深度学习(Deep Learning,DL)［1］。

如今,人工智能已经广泛影响经济社会的方方面面,金融、交通、医疗、教育、公共行政和公安司法等公共领域都在积极运用人工智能的研究成果。2017年7月,国务院印发《新一代人工智能发展规划》,指出我国计划总投资1478亿美元,在2030年成为全球人工智能领域的创新引领者。但随着人工智能在众多领域的应用,越来越多的学者开始注意到它所带来的各种潜在风险。例如,国内有学者指出,人工智能在运行过程中可能会由于算法的缺陷或偏见导致有害的结果,在算法合理的情况下也可能由于数据质量问题而造成决策偏差,用户在运行和使用人工智能系统时可能产生相应风险［2］;也有国外学者研究发现,人工智能应用将会引发信息安全、问责难题、隐私问题、道德困境、算法歧视和失业问题等经济社会风险［3］。面对人工智能所引发的系统风险,如何对其进行有效监管,以最大化减少人工智能所带来的负外部效应,成为当务之急。

1 文献综述与分析框架

1.1 文献综述

有关人工智能监管的问题已经引起了广泛讨论,纵观已有的研究,关于该问题的讨论通常围绕人工智能的智能化程度和人工智能所产生的具体风险两个维度展开。

人工智能的智能化程度方面,学界通常将人工智能划分为狭义人工智能(ANI)、通用人工智能(AGI)和超级人工智能(ASI)。狭义人工智能通常能够解决一个特定的问题,但需要由人类进行编程;通用人工智能则能够自主学习,并在没有任何人工帮助的情况下将其经验和技能传递给其他对象;而超级人工智能则代表了软件的发展,其先进程度远超人脑,但目前这样的人工智能还存在于理念中。人工智能的智能化水平及其运行是相关风险和挑战产生的源头,数据存在瑕疵将导致数据失灵,形成潜在风险;数据一旦被人为操控将会造成巨大危害;算法编制过程,在利益和恶意动机的诱惑下,会产生偏见与歧视;随着算法水平的提升,人们越来越难以解释算法的运行结果,还会面临着由“算法黑箱”带来的未知风险［4］。总体而言,这方面的讨论主要集中于对人工智能风险产生机制的分析。

人工智能产生的具体风险方面,研究主要集中于两个子领域。一是人工智能风险类型。学者们对人工智能可能带来的风险类型进行了广泛的讨论,主要包括伦理风险、技术风险、法律风险和社会风险四个方面。二是人工智能风险级别。欧盟是较先对其进行界定的世界主要经济体,2021年4月21日,欧盟发布了《人工智能法案》,将人工智能风险划分为最小风险、有限的风险、高风险和不可接受的风险。在该风险体系中,最小风险是指那些提供简单工具性功能的应用;有限风险指具有特定透明义务的应用;高风险意味着这些应用可能危及公民人身安全及生活基本权利;不可接受的危险是指那些对基本人权和社会公平构成明显威胁的应用［5］。这也成为当前人工智能风险划分的重要标准。

立足于对这两个维度的探讨,学者们从不同学科的角度提出了相应的监管措施。有的学者认为,对人工智能的监管应建立在对其风险产生机制和表现的分析基础之上,进而构建全生命周期的监管治理体制,强化使用者的责任并突出技术性方案的基础作用。也有学者从人工智能科技属性的角度提出要进行区别立法,对专业科技和赋能科技采取不同的监管措施［6］。还有学者认为,人工智能的监管难题源自其决策过程的不可解释性,因此主张建立一个基于人工智能决策理由的法律监管框架［7］。虽然已有研究从不同视角提出了相应的监管主张,但是这些监管理论大多只建立在对某一维度探讨的基础上,缺乏交叉视野。

综上,当前国内外学界对人工智能风险监管的研究大多是沿着“风险来源—风险产生—风险监管”的研究路线进行探讨的,但是仍存在以下两个方面的不足。一是研究视角,已有的研究多只从某一个维度出发,探讨如何有效监管人工智能,鲜有结合两个维度进行研究的文献;二是研究结果,目前学者们提出的监管措施主要为一系列平行的举措,缺乏分类监管的主张,在具体实施监管政策时,可能会提高监管成本。因此,本文将利用基于“两维四分”的类型学研究方法建立分析框架,以人工智能在公共部门的部分应用为例,探讨构建人工智能的分类监管框架。

1.2 分析框架

1.2.1 “两维四分”的类型学研究方法

在很多领域,通常学者们都要面对纷繁复杂的研究对象,因此,按照某些标准对复杂研究对象进行分门别类,从而化繁为简,降低研究难度。按照某个标准一分为二显得比较简单,按照某些外部特征分为一系列并列的类别则难得要领,而按照某两个标准进行交叉,将研究对象分为四类,往往更利于研究。

学术史上存在很多成功应用“两维四分”法的案例。社会科学领域,马克思·韦伯以非理性和理性、低级和高级两个维度,将人的所有行动分为四种理想类型,即习惯型行为、情绪型行为、工具理性行为和价值理性行为;工商管理领域,采用这种研究方法对领导行为进行研究,以关注工作效率和关注人际关系两个维度,将所有的领导行为划分为四大类,并形成了“领导生命周期”理论。近年来,“两维四分”法受到国内学者的青睐,被用于多个领域的学术研究。例如,基于性质和主体来研究我国应急管理机构的演进与发展,按照不确定性高低和预期损失大小两个维度来分析邻避设施和邻避型群体性事件,从价值创造和发展潜力两个维度建立客户评价体系等。因此,将这种研究方法应用于人工智能监管领域的研究具备一定的可行性。

1.2.2 基于“两维四分”法的人工智能监管框架

在人工智能监管领域引入“两维四分”法,需要明确“两维”及其合理性,首要任务是明确其“两维”。首先,受技术条件的限制,人工智能应用目前主要停留在狭义人工智能向通用人工智能过渡阶段。有学者提出,现阶段的人工智能可划分为强、弱两种主要类型,前者主要是基于机器学习而具有在动态环境中感知、理解、推理、学习和行动的能力,并且心智水平达到人类水平的计算机程序,后者主要是基于逻辑运算并且具有在静态环境中模拟人类某些方面的思维能力,但心智水平尚未达到人类水平的计算机程序［8］。为了后续分析的需要,在相关学者观点的基础上,本文认为弱人工智能是能够模仿人类思维,但通常需要在人类指令的基础上进行运作的机器;强人工智能则是具备一定的学习、推理和理解等类人能力,同时在一定程度上可以不依靠人类指令而进行人机交互的机器。因而,智能化程度可以构成其中的一个维度。其次,对于人工智能给人类社会带来的风险,当前的主要监管对象是会产生有限风险(即低风险)和高风险的人工智能应用,对于最小风险通常不作干预,而对于不可接受的风险则需要明令禁止。因此,风险级别也可以构成另一个分析维度。

那么,运用这种划分方法进行交叉研究是否具有其合理性呢?首先,人工智能技术具有跨学科、融合性的特点,能够广泛应用于诸多领域。但是,在不同领域中,人工智能系统风险造成的影响程度和危害性质存在很大差异。当人工智能应用到涉及基本人权的领域时,如司法和医疗领域,它更可能带来高风险。换言之,相同的人工智能系统应用在不同的场景会产生不同的风险,不同的人工智能系统应用于同一个场景也会产生不同级别的风险。其次,政府在对充满复杂性、不确定性和不断发展的人工智能进行监管时需要遵循成本—收益原则,讲求监管的效益和效果。如果政府对所有人工智能系统进行普遍监管,其结果不仅是效率低下的,而且会阻碍人工智能技术的创新和发展。因此,采取分类的、差别化的监管才能取得更好的监管效果。

综上所述,得出基于人工智能风险级别与智能化水平的人工智能监管模型,如图1所示。

图1 人工智能监管模型

1.2.2.1 弱人工智能、低风险

对于智能化程度较弱又具备较低风险的人工智能应用,应对其保持最小限度的监管。其在公共部门的典型应用如下：在教育领域中的教学资源推荐等智能备课系统和课堂实录与数据分析等智能教研系统［9］;在城市交通治理中,公安部门利用人工智能分析由摄像头和各种传感器收集到的海量车辆运行状况数据,形成实时反映整个城市交通状况的动态画面,从而采取相应措施缓解城市交通压力;在司法领域中,审判机关利用人工智能将庭审过程中各方的陈述转换成文字,形成庭审记录,简化记录工作;在政务服务领域中,智能政务机器人将传统的窗口服务与人工智能技术相结合,通过系统设置和数据录入,达成信息共享,并利用简单的语义分析、语音交互,实现多种业务办理和政务服务事项查询等功能;在医疗领域中,运用人工智能技术诊断结肠息肉,据四川省人民医院的一项临床研究显示,人机合作诊断病人的检出率比只由一位专家进行常规诊断的检出率高20%。

1.2.2.2 弱人工智能、高风险

对于智能化程度较弱却具备较高的风险的人工智能应用,其主要风险来源并非机器,而是来自其背后的使用者或设计者。当出现算法的错误操作或系统故障时,机器可能对人类造成严重的伤害和巨大的损失。这种类型的典型应用如下：在司法领域中,人工智能帮助司法部门进行刑事审判中的证据审查、事实认定、法律判断及审前程序中的逮捕社会危险性评估,如上海市高级人民法院的“刑事案件智能辅助办案系统”［10］。研发者在给人工智能系统输入数据时可能存在数据采集偏差,或者研发者将自身价值观念嵌入算法模型,从而带来算法偏见［11］,最终影响司法活动的公正性;在医疗领域中,主要是手术机器人——达·芬奇手术机器人,外科医生可以在稳定、高速的互联网和屏幕的协助下,实时了解患者状况,使用机械臂完成手术,实践中对机械的远程操作是否精准及手术时细菌隔离和控制都是需要考虑的问题,一旦机器人发生故障,甚至会危及病人生命［12］;在社会保障领域中,美国有关部门应用融合数据自动化系统(MIDAS)审核失业人员提交的补贴申请,以监测是否存在欺诈行为,但是该系统存在93%的出错率,导致大量失业人员受到错误处罚［13］,算法缺陷是导致这一严重后果的重要原因。

1.2.2.3 强人工智能、低风险

智能化程度高意味着机器潜在地具备造成更大风险的能力,即便其程序设计合理,能够预见的风险较低,或是其应用的领域风险较小,也应该对此类人工智能系统保持警惕,尽可能避免潜在风险的发生。其在公共部门的典型应用如下：教育领域的智能导师系统(ITS),它由领域模型、导师模型和学习者模型三部分组成,能够根据学习者当前的知识技能水平和情感状态,做出适应性决策,向学习者提供个性化推荐服务［14］;社会保障领域的智能养老服务系统,它利用物联网技术,通过智能感知、识别技术与普适计算,实现对老人生活状况的实时监测,还能与老人进行互动,一旦发现老人跌倒或出现健康问题时,能够及时报警;社会治安领域的人工智能监控系统,这种系统使用计算机视觉和深度学习技术,通过对监控视频进行实时分析和解析,自动识别和处理监控区域内的信息,如人员、车辆、物品等,从而实现对目标的监控、跟踪和警报等功能。

1.2.2.4 强人工智能、高风险

智能化程度强的同时具备高风险的人工智能应用是当前监管的重点,需要对其进行持续的、多方位的监管。杭州的“城市大脑”是这方面的代表性应用,它以数据为核心,依托深度学习、科学算法、智能建模和快速分析,将数据分析结果实时呈现,为政府决策提供参考。在将有关数据接入平台后,通过数据的存储、分类、融合和计算,最终实现城市中水电、道路、政务、医疗和警务等资源的优化配置［15］。由于“城市大脑”与整个城市的运行联系密切,所以一旦出现故障,它所产生的风险也更加巨大,对社会造成的影响更是难以估量。此外,在交通领域,一些国家和地区已开始试行自动化驾驶系统,我国的深圳市也已推行了自动驾驶巴士项目。该系统运用传感器、雷达和相机等技术来采集车辆周围的相关信息,并使用人工智能和深度学习等来分析和判断这些信息,最终实现自动化驾驶。但该系统一旦失控很可能会危及驾驶员或行人的生命安全,从而产生相应的技术风险、社会道德风险和法律风险。

2 公共部门人工智能监管策略

依据“两维四分”法确立了四种不同类型的人工智能应用,探讨具体监管政策,提出针对性的监管措施,以提高监督效率,降低监管成本。

2.1 对“弱人工智能、低风险”的监管建议

此类应用的风险小而收益大,对它的监管应当保持最低限度。首先,建立日志溯源机制。人工智能的运行日志由人工智能系统运行产生,它详尽描述了系统大规模内部事件及用户意图。开发运行日志的溯源功能可以在用户有需要时提供相关信息,保障用户的知情权。同时,这一功能也有利于专业人员在此类人工智能应用发生故障或产生风险时进行溯源,尽快排除相关风险因素,提高安全保障能力。其次,保证信息的透明公开。一是AI系统须在收集用户数据前履行告知义务,保证用户的知情权和选择权,确保数据采集的合法性;二是应当在用户使用前说明设计者等相关信息,包括应用可能存在的缺陷与不足。最后,确保应用的合规性。虽然这类应用可能产生的风险较低,但是仍然要确保它们符合国家设定的相关质量要求,需要通过质量和安全认证工作才准许其应用于公共领域。

2.2 对“弱人工智能、高风险”的监管建议

这类人工智能应用主要侧重于对有关设计者和使用者的监督和问责,以减小或控制风险发生的可能性。首先,要明确人工智能使用者的法律主体责任。因为人工智能的风险主要产生于它的实际运用过程,相比人工智能系统的开发者和系统用户,它的使用者在数据的储存与运用和系统运行等方面可以直接进行操作与管理,所以人工智能使用者应该明确为风险防范的主要责任人。具体而言,使用者的责任需要包括如下方面,一是使用者要保障用户的知情权,确保用户能够明确如何使用相关系统、知晓系统结果的产生方式、了解该系统的相关信息;二是使用者要履行数据治理义务,数据的采用需要符合“相关性、代表性、完整性、正确性”标准、数据储存要安全可靠,还要持续监测并修正数据偏差;三是使用者要承担人工智能全周期责任,即在人工智能的投入、运行和产出等阶段的风险管理责任均由使用者承担;四是使用者要对组织成员进行技术培训和管理,落实组织保障。

其次,要建立设计者的算法问责机制。人工智能算法因为其潜在的不可解释性和模糊性而广受学者们诟病。因此,加强算法问责也是有效规避风险的关键一环。相关设计者有义务减少算法所带来的负面影响和潜在风险,一旦算法在运行过程中造成实际损失,开发者必须承担相关的责任。算法责任机制包括如下内容,一是研发者要在算法形成后对其运行展开测试,评估算法可能存在的风险并确定可行的防范措施,符合相关的风险防控标准才可进入应用领域;二是算法的应用需要以规范、公正的方式运行,开发者要保证算法价值观的客观、中立,避免算法的偏见与歧视;三是算法在正式运用过程中导致的任何风险或损失都需要设计者承担相应的连带责任。

2.3 对“强人工智能、低风险”的监管建议

对此类人工智能应用进行监管的关键在于加强技术监测以确保它的运行安全可靠,可以采取三方面措施。一是统一算法技术标准。人工智能算法的设计是影响安全的基础,因此,要制定统一的程序设计标准,以利于监管和避免偏见。这一标准需要遵循安全性、透明性、公平性和问责性的基本原则,并由政府、企业与行业协会共同制定,以确保可行性。通过将相关价值要求嵌入人工智能算法的程序代码设计中,提高人工智能的安全水平,尽可能规避各种潜在的风险。二是落实算法备案。为了在事前降低算法的“公共性”应用引发风险的概率,有必要建立该类算法的备案制度［16］。首先,落实备案后,监管机构能及时、准确掌握算法推荐服务基础情况,便于开展后续监管执法工作;其次,算法备案能确保投入公共部门的算法按照统一的技术标准设计,从源头降低“公共性”算法可能存在的风险;再次,算法备案可以提高算法的透明度和可解释性,一旦发生风险,监管人员可以根据备案及时采取相应的紧急措施。未经备案或者备案时存在较高风险隐患的算法需要重新备案或调整相关算法,完成备案登记后即可将其投入应用阶段。三是提升算法的透明度。算法的风险很大程度上来自其“黑箱”模式,提升它的透明度无疑有助于使用者和用户对其进行监管,及时发现相关安全隐患。根据国际计算机协会提出的关于算法透明度和责任原则的算法行业标准,投入公共部门的人工智能系统应当满足以下透明度标准。首先,算法设计者和其他利益相关者应了解算法的设计、实施和使用中可能存在的偏差,以及偏差可能对个人和社会造成的潜在危害;其次,受到算法决策不利影响的个人和团体能够向监管部门提出异议和申请纠正;再次,使用算法的公共部门应尽量解释算法的运行程序和决策的产生过程;最后,完善用户个人信息和隐私保护,数据收集要获得用户同意并尽可能缩小收集范围,数据的储存要确保安全,数据使用要符合事先披露的收集目的。

2.4 对“强人工智能、高风险”的监管建议

由于公民与政府之间的广泛连接,政府存储着大量公民隐私信息,政府的行为也关系到每个公民的基本权利。当此类人工智能系统进入公共事务领域时,应对其保持充分警惕,以免由于监管不力导致巨大的损失和危害。

首先,设定严格的安全指标。制定标准是审查各种产品安全系数的常用做法,同时也能提供合理的价值引导,这同样适用于人工智能系统。在开发者设计此类人工智能系统时便要求其严格遵守相关标准,从而大大降低潜在的风险发生概率。考虑到人工智能公共部门应用的特殊性,这一指标应包含如下要求：一是数据安全,这项指标要求开发者必须采用先进的数据保存和隐私保护技术以避免用户的数据泄漏,同时还要保证原始数据的客观公正以避免“数据失灵”和“数据操控”;二是算法安全,算法运行程序的设定不得带有性别和种族的歧视与偏见,要保证算法价值的客观中立,避免出现自动化偏见、选择偏见、集体归因偏见和隐形偏见;三是有关人工智能的设计和应用必须遵守国家法律法规及行业伦理规范,如我国2018年发布的《人工智能标准化白皮书》。

其次,为了防范风险,可以通过实验进行试错,对高风险强人工智能系统实行必要的安全评估,在得到充分的安全性验证后,再将相关人工智能系统投入使用。监管沙盒为此提供了可行路径,监管沙盒最早产生于金融领域,用于取代传统的事后监管模式并推动了金融创新。在人工智能领域,监管沙盒则是指“人工智能系统入市或投入使用前,主管机构提供一个受控的环境,在指定时间内对人工智能系统进行开发、测试和验证”［17］。它的意义在于在对人工智能系统进行沙盒实验时,一旦发现系统对人的健康、安全和隐私等基本权利产生直接危害时,可以立即要求开发者采取措施规避风险,直至该系统达到相应的风险防控要求。通过这样的举措能够在可控的范围内检验人工智能系统的安全性,防止这些系统将其风险扩散到不可控的外部环境中。

最后,鉴于人工智能系统具有不断学习和动态变化的特性,需要对已经投入使用的人工智能系统开展持续的监管。一是在使用中,强化部门的风险管理责任并加强对相关系统的监测与审查。使用此类人工智能系统的公共部门需要建立有效的风险管理措施,这包括采取先进的风险管理技术、制定相关的风险应急预案和开展组织成员的技术培训;政府监管机构要开展持续的风险监测与审计,监测与审计的内容包括数据质量、算法命令执行是否存在偏见、数据与结果的相关性、是否存在使用者操控数据问题和是否存在隐私泄漏等安全隐患。二是在使用后,强化对违法行为的问责。公职人员在照章办事过程中所产生的风险和损失由相关部门承担相应责任;公职人员由于自身行为导致损害性后果的,依法追究相关人员的责任;对公民个人合法权益造成严重损害时由该人工智能系统使用部门承担赔付责任;在人工智能系统使用过程中,部门责任与部门领导人的责任可以相互转换。

3 结束语

人工智能在公共部门的应用越来越广泛,应该加快制定相应的监管政策以尽可能地控制风险,为其在公共部门的应用保驾护航。本文运用“两维四分”的类型学研究方法,提出了基于智能化水平和风险级别的分类监管模型,这是对相关研究的有益补充。需要指出的是,虽然本文提出了对四种类型的人工智能应用采取不同的监管举措,但它们之间在一定程度上仍存在相同的监管要求,只是侧重点不同。