人工智能在公共管理中应用的风险分析

胡象明 陈一帆

摘  要：现阶段的人工智能浪潮主要是基于大数据的深度学习算法繁荣的表现。人工智能作用于公共管理实践的过程，大致需经历三个流程：智能基础设施建设→智能算法设计→智能应用落地，相应地形成三个作用层次：基础设施层→算法层→应用层。文章分析了三个层次各自对应的数据安全风险，技术精度、算法偏见和算法监管风险，以及公共部门的智能化转型风险，并探讨了风险从底层向表层传导的一般邏辑，为剖析人工智能在公共管理中应用的风险提供了一个整体性视角。

关键词：数据安全风险;技术精度风险;算法偏见风险;算法监管风险;智能化转型风险

中图分类号：TP18;D631.43     文献标识码：A

Risk analysis of the application of artificial intelligence in public management

Hu Xiangming  Chen Yifan

（School of Public Administration in Bei Hang Uinversity，Beijing，100191）

Abstract：The current wave of artificial intelligence is mainly based on the prosperity of deep learning algorithms based on big data. The process of artificial intelligence acting on public management practice generally needs to go through three processes： intelligent infrastructure construction; intelligent algorithm design; intelligent application landing， correspondingly forming three function layers： infrastructure layer; algorithm layer; application layer. This paper analyzes the data security risk， technical precision， bias and supervision risk of algorithm， and intelligent transformation risk of public sector corresponding to each of the three layers， while investigating the general logic of risk conducted from the bottom to the surface. Those findings serve to provide a holistic perspective for analyzing the risk of the application of artificial intelligence in public administration.

Keywords：data security risk; technical accuracy risk; algorithmic bias risk; algorithmic supervision risk; intelligent transformation risk

人工智能等新技术正以前所未有的速度和规模影响着公共管理实践[1]。然而，颠覆性技术的价值与其所隐含的风险常常相伴相生。“科林格里奇困境”表明，人们在创造一项新技术并将其付诸应用时，通常并不具备针对该技术的风险控制能力[2]。在人工智能技术应用于公共管理实践的初期，管理者可能更重视新技术的红利，往往疏于预估它所引发的诸多风险。相反，等到人工智能技术与公共管理实践深度融合，其所隐含的风险逐渐显现并引起管理者的警觉时，它很可能已经根植到国家治理体系当中、成为整个治理架构的重要组成部分，此时再做修补，往往要付出较大的社会经济成本。

鉴于此，在人工智能技术初步应用于公共管理实践的当下，对其可能产生的风险进行全方位研判，具有较强的紧迫性和实际价值。以下从两个方面入手，剖析人工智能在公共管理中应用的风险：一是厘清人工智能的内涵，深挖其作用于公共管理实践的过程和机制，分析不同阶段可能存在的风险;二是从公共管理领域中已经爆发的、由人工智能引起的风险事件入手，总结其风险生成的一般逻辑，进而对前一步的风险分析进行印证。

一般认为，人工智能是用于模拟、延伸和扩展人类智能的技术统称。然而，对于“智能”很难有明确的界定，造成人工智能概念的泛化，同一个术语可以从未来愿景和当下实情等不同维度来理解。目前的主流观点认为，在可预见的未来，暂时不会出现兼具情绪感知、自发想象和自主目的的“通用型人工智能”（Artificial General Intelligence）[3]。而且，人类理智在推动人工智能发展的同时，也在不断优化自身的适应力和扩展力，所以从一种技术进步、人类静止的角度提出“强人工智能全面超越人类”，并分析由此而来的人机伦理风险和人类生存风险等，可能面临“条件不成立，结论可任意”[4]的逻辑挑战。

因此，笔者拟立足于当下人工智能的实际内涵，结合具体实例分析其在公共管理应用中的潜在风险。现阶段的人工智能浪潮主要是基于大数据的深度学习算法繁荣的表现[5]，深度学习算法通过对海量数据的模式识别和规律挖掘，能够在部分目标行为上表现出接近于人的特征。这种行为主义的智能事实上属于弱人工智能，它在部分专域（domain-specific）表现出的能力超过人类，但尚未形成独立思维和自主情感，仍需作为人类的辅助而听命于人。

根据技术方向的差别，可将人工智能在公共管理领域应用的具体场景分为三类：一是利用基于计算机视觉和自然语言处理等技术的计算机程序，代替公共管理者完成人员筛查、业务咨询办理，以及其他流程明确的工作，它们执行每项任务的边际成本会随着时间的流逝而趋零，进而大大降低行政成本，提高行政效率，例如，政务呼叫中心、政务服务热线中的聊天机器人;二是大数据挖掘技术，通过从复杂多维的公共大数据中，发现难以察觉的规律和模式，辅助提升公共决策质量，并实现公共服務的定制化供给;三是智能规划决策系统，通过模拟公共决策生效的场景和预测可能的结果，帮助公共管理者选择最优化决策方案，规避风险。

从人工智能作用于公共管理实践的过程和机制来看，上述三类应用实现都需经历以下流程：智能基础设施建设→智能算法设计→智能应用落地，相应地形成三个作用层次：基础设施层→算法层→应用层 。公共管理者直接接触的，通常是最为显见的应用层，包括智能硬件设备和智能软件等。然而，从风险生成的路径来看，基础设施层和算法层因其处于底层，更容易引发风险的传导效应：如果底层出现问题，以此为支撑的表层应用几乎必然出现异常，甚至崩溃。因此，在公共管理的应用过程中，人工智能所产生的风险是从底层的基础设施和算法、向表层应用逐级传导，风险分析需沿着这条传导路径，结合已经爆发的风险事件，层层深入，逐个剖析。

一、 基础设施层：数据安全风险

在公共管理应用中，人工智能所依赖的基础设施，是指公共大数据和存储、调度、运算公共大数据的计算平台。公共大数据是人工智能技术生效的基石，越是大规模、高质量、多模态的公共大数据，越能客观反映公共事务之间的复杂关系，进而越能训练出高精度的智能算法结果，提供更为精准可靠的政策建议。为此，公共管理行为及其附带的诸多重要信息都被预先转化为在线量化数据，这个过程也被称为“数据化”（datafication）。例如，搭建智慧政务平台，将以往需要面对面办理的政务服务转移到在线网站或手机应用上，公共服务行为被数据化为电子轨迹;设立人脸识别闸机，需要提前对公职人员的面部图像进行采集，公职人员的个人信息被转换成二进制数据;在新冠肺炎疫情的特殊形势下，公共部门推行在线办公、在线会议、在线咨询等，都加速了公共管理实践从决策端到服务端的数据化进程。

然而，这种新的数据形式也考验着数据安防工作，平台安全漏洞可能被网络黑客或数字欺诈团伙利用，造成公共大数据泄漏或被不明第三方劫持和篡改，爆发数据安全风险。这部分源于人工智能技术本身也为黑客所掌握，令安防工作难度大增;但更需引起重视的是，数据安防的木桶效应，即遭受攻击的往往是公共大数据平台的薄弱环节（如因缺乏足够预算而未做防护的个别端口），进而导致整个政务平台面临泄漏、停滞、失控的安全风险。虽然这些不是人工智能在公共管理应用过程中所独有的，但公共领域的特殊性及公共大数据的敏感性，使得数据安全风险容易升级为公共安全风险，造成难以估量的损失。

2019年5月，美国马里兰州巴尔的摩市（Baltimore）的政务平台在一年内第二次遭遇黑客攻击，黑客将平台本身劫持为“人质”，要求市政府以比特币等无法溯源的加密货币方式缴纳赎金，否则以此为支撑的智慧城市系统、警务系统、办公系统等均无法登录。联邦调查局前执行官认为，正是巴尔的摩市政府过度依赖人工智能技术，而缺乏相应的风险安防意识，给了黑客可乘之机[6]。类似的数据安全事件近年频频上演，2017年美国圣路易斯公共图书馆的数据平台被黑客劫持，2018年亚特兰大遭遇黑客攻击，全球最繁忙的空中交通枢纽的网络被控制，重建工作历时数月。作为人工智能应用于公共管理实践的探索者，截至2019年4月，美国已爆发了169起由黑客勒索软件造成的公共数据安全事件，受影响的州或地方政府普遍缺乏足够的安防预算、安防人才以及应急准备[7]。此外，公共大数据平台本身的抗灾能力普遍欠佳，火灾、洪水、雷击、台风等自然灾害和其他突发事件（如电气设备短路）都可能造成平台损毁，进而引发数据丢失的安全风险。综上，在推进人工智能与公共管理实践融合的同时，必须高度重视数据安全风险，加强前瞻防控和实时预警，确保公共大数据及其计算平台作为智能基础设施的安全稳固。

二、 算法层

算法是人工智能应用于公共管理实践的引擎。算法层涵盖了人工智能算法、实现算法的技术方向，以及每个技术方向下的子技术。当前，在公共管理的研究及实践中，深度学习是最受重视的人工智能算法[8]。然而，以深度学习为核心的人工智能算法并非完美，其本身也处在发展当中。目前在公共领域的实践中，人工智能算法已经暴露出至少三个方面的风险：

一是技术精度风险。精准治理，是经常被提及的人工智能算法在公共管理领域应用的优势。然而，2017年，在一场百万人次的狂欢节活动中，英国伦敦大都会警察局运用一款人脸识别筛查潜在的通缉犯，该应用通过比对狂欢节参与者的面部数据与警察局存档的通缉犯面部数据，共识别出35名面部数据匹配成功的人士，其中30人为肉眼可见的匹配错误，剩下5人经警察核实，发现仅有1人匹配成功[9]。这种严重的精度偏差，固然反映了算法本身有待进一步完善，但也与公共部门长期运用项目制来推进智能应用落地有关。技术的研发往往是依托于实验室良好可控的条件，但转化为应用成果则需要面对更为复杂甚至不可控的实际环境，智能应用的技术稳定性尚待验证;但在公共管理者推进智能应用的过程中，由于其与应用供应商间的技术鸿沟，很难全面地评估相关技术稳定性，为实际效用欠佳埋下了伏笔。此外，公共部门普遍缺乏技术创新传统，较难给予工程师和数据科学家高薪酬，智能应用供应商对实际效果的夸大，以及部分公职人员与应用供应商之间的腐败合谋等，都可能引发人工智能应用的技术精度风险。

二是算法偏见风险。公平、正义是重要的公共价值，是公共管理行为的基石。然而，人工智能算法却可能受到多重因素影响，提供带有偏见的政策建议，进而损害公共管理行为的公正性：其一，作为算法输入的公共大数据可能带有偏见。公共部门以往的行政方式、文档材料、决策逻辑中可能带有某种不易察觉的偏见，当这些信息被量化输入到智能算法中时，算法会对数据的分布模式进行挖掘，“学习”其中的偏见倾向，并在回应新需求时，输出带有这种偏见的结果。微软聊天机器人Tay上线一天后就被紧急下线，因为它在与人类交流的过程中，迅速“学习”到人们话语中的偏见并复现出来，表现为极端种族主义者[10];其二，作为算法设计者的数据科学家或工程师可能未经偏见审查。在提出人工智能算法的初期，数据科学家未对其偏见性进行考察，没有设计抵御偏见的算法机制，导致偏见“从一开始就注定无法得到充分解决”[11]。在运用算法实现实际需求的过程中，工程师需将目标任务转化成机器能够识别的代码、参数和标签，其转化过程带有较强的主观性，从而对输出结果产生影响;其三，作为算法出资者的利益集团可能引导算法实现自身的偏好。算法的本质是一种技术工具，资本操纵和政治内嵌作为其背后的重要操控力量，能够利用大众对算法中立性的信任，修剪社会事实以实现自身的偏好[12]。

三是算法监管风险。迄今为止，人工智能算法的发展及其在公共管理领域的应用，几乎都是在监管真空中进行的[13]。英国上议院的公开文书指出：“目前没有法律，没有监督，也没有政策来规范警察该怎么使用人脸识别等智能算法。”[14]尽管近年来部分地区开始就隐私合规、无人驾驶等形成立法，但实际监管执行仍颇为困难，产品许可、研发监督和侵权责任等传统监管方法不适用于智能算法监管。因为人工智能技術的研发过程可能涉及技术专利，外部人员介入并逐行审查代码的成本十分高昂，很难在智能算法尚未出现重大问题时，对其进行严格审查以提前发现潜在危害。同时，智能算法的不可解释性也令自查变得难以推进：在实际使用过程中，智能算法的运算过程和推理机制是一个密封的“黑盒”（black box）。公共管理者和监管方都只能输入数据，然后经由算法自主训练，最后获得输出结果，却无法摸清其训练、推理或预测的内在逻辑。算法黑盒的不可解释性，违背了公共管理对透明度的要求，进而降低了算法结果的可靠性和可信度。

总体上，技术精度风险、算法偏见风险和算法监管风险都可能误导公共管理者做出错误的决策。而公共部门不同于私营企业，公共决策失误会进一步引发公共信任风险，从而限制公共管理者未来深化人工智能应用的能力。

三、 应用层

应用层是指建立在基础设施层和算法层之上的、实现公共管理具体需求的智能应用和解决方案。应用层的风险有两种生成路径：

一是由基础设施层和算法层的底层风险逐级传导而生成。以隐私泄漏风险为例，隐私泄漏可能源于基础设施层的隐私大数据遭受黑客攻击或数字欺诈，也可能源于算法层中算法受利益集团操纵，通过“捆绑霸王条款”截获隐私，而监管方又未建立起成熟的流程对其进行规制。

二是外部环境对智能应用的渗透产生了适应性风险，主要表现为公共部门的智能化转型风险。公共管理者所在的公共部门对人工智能应用的适应能力相对落后于私营部门。相较于私营部门可以快速通过优胜劣汰和结构调整来完成智能化转型，公共部门所面临的智能化转型风险要复杂得多：首先，组织领导者若缺乏对人工智能底层风险的充分认知，对智能应用过于乐观，可能推动一些本无必要的人工智能项目上马，在未做技术评估的情况下，将人工智能用在其并不擅长的领域，造成公共资源浪费;然后，智能化的行政方式会对以往的工作模式构成挑战，而组织成员可能缺乏足够的信息、资源以及技术能力来适应这种变化。随着人工智能应用在公共部门铺开，组织成员的技术适应力如果未及时升级，可能不仅会阻碍公共管理实践从技术进步中受益，而且还会出现结构性冗员;最后，对于那些自身岗位被智能技术替代的组织成员，他们将面临岗位内容调整和自由裁量权流失的风险。据估计，人工智能在公共部门的应用，将在五到七年内替代30%的人类劳动力工时[15]，例如，部分的行政咨询工作可被政务聊天机器人替代，而原本承担咨询工作的人员将被调整到其他工作岗位。此外，公共部门可能受自身层级、人员构成、对外部创新的接受度、上级领导的支持度等影响，而表现出不同水平的智能化转型风险。智能化转型风险最终将影响到组织内部关系、组织成员的认同度和凝聚力，因而，应在推行人工智能技术前，对公共部门的准备度（readiness）进行全方位调研。

参考文献：

[1]Agarwal P K. Public administration challenges in the world of AI and Bots[J]. Public Administration Review，2018，78（6）： 917-921.

[2]Collingridge D. The social control of technology[M]. London： Frances Pinter. 1980： 11.

[3]韩水法.人工智能时代的人文主义[J].中国社会科学，2019（6）：25-44+204-205.

[4]王飞跃.新IT与新轴心时代：未来的起源和目标[J].探索与争鸣，2017（10）：23-27.

[5]腾讯研究院，中国信息通信研究院互联网法律研究中心，腾讯AI Lab等.人工智能：国家人工智能战略行动抓手[M].北京：中国人民大学出版社，2017：7.

[6]Farmer L. The Baltimore Cyberattack Highlights Hackers' New Tactics [EB/OL]. （2019-05-30） [2020-05-10]. https：//www.governing.com/topics/public-justice-safety/gov-cyber-attack-security-ransomware-baltimore-bitcoin.html.

[7]Liska A. Early Findings： Review of State and Local Government Ransomware Attacks [R/OL]. （2019-05-10） [2020-05-10]. https：//go.recordedfuture.com/hubfs/reports/cta-2019-0510.pdf.

[8]de Sousa W G，de Melo E R P，de Souza Bermejo P H，et al. How and where is artificial intelligence in the public sector going？ A literature review and research agenda[J]. Government Information Quarterly，2019，36（4）：1-14.

[9]Margetts H，Dorobantu C. Rethink government with AI[J]. Nature，2019，568 （7751）： 163-165.

[10]莫宏伟.强人工智能与弱人工智能的伦理问题思考[J].科学与社会，2018，8（1）：14-24.

[11]德勤管理战略研究中心.人工智能与风险管理报告[R/OL].[2020-05-10].

https：//www2.deloitte.com/content/dam/Deloitte/cn/Documents/risk/deloitte-cn-ra-ai-and-risk-management-zh-190329.pdf

[12]郭小平，秦艺轩.解构智能传播的数据神话：算法偏见的成因与风险治理路径[J].现代传播（中国传媒大学学报），2019，41（9）：19-24.

[13]Scherer M U. Regulating artificial intelligence systems： Risks，challenges，competencies，and strategies[J]. Harvard Journal of Law & Technology，2016，29 （2）： 353-400.

[14]UK Parliament. Security and Policing： Facial Recognition Technology [EB/OL]. （2018-3-1） [2020-05-10]. https：//hansard.parliament.uk/Lords/2018-03-01/debates/0AD45D64-63CB-458F-B9B1-A41B2887C051/SecurityAndPolicingFacialRecognitionTechnology.

[15]Deloitte Center for Government Insights. How much time and money can AI save government？ [R/OL]. [2020-05-10].

https：//www2.deloitte.com/content/dam/insights/us/articles/3834_How-much-time-and-money-can-AI-save-government/DUP_How-much-time-and-money-can-AI-save-government.pdf.

作者简介：胡象明，男，北京航空航天大學公共管理学院二级教授，博士研究生导师，研究方向：社会风险评估、政策科学研究;陈一帆，女，1992年生，北京航空航天大学公共管理学院博士研究生，研究方向：社会风险评估研究。