论自动化行政中算法决策应用风险及其防范路径

陈 飏 裴亚楠

[提要]自动化行政中算法决策应用仅限“三大类别”，但仍无可避及与正当程序、行政公正等原则相背离之风险，甚至因不当或滥用而削弱行政裁量的能动性，最终影响行政决策的准确性而导致行政相对人权益损害等风险。算法决策“黑箱”性特征、数据质量瑕疵与相关制度规范缺失等是风险产生的客观成因，而行政主体对算法决策的不当操作与过度依赖是重要的主观成因。为防范该等风险、促进算法决策在自动化行政中的良性发展，在建构因应性的专门法律框架下，至少可从地位厘定、立法明定和程序控制等切入，以重申并坚定行政机关的主体地位、明确算法决策的工具属性，并明晰界定自动化行政中算法决策的具体应用场景，且须以比例原则先行完成系统预审，同时还须切实贯彻正当程序控制，在督进行政主体算法解释责任的同时，尽速完善行政相对人的权利救济。

算法决策技术已然涉入自动化行政应用领域，2020年初疫情背景下的健康码的开发与推广，正是基于大数据收集的算法自主分析决策技术，完成个人疫情风险的评估，为行政机关的疫情防控应急行动提供了技术支持，是算法决策在自动化行政领域中的典型应用。但是，算法决策在自动化行政中的应用并非全然，而仅限定以部分自动化行政、无裁量能力的完全自动化行政和有裁量能力的完全自动化行政之三大类别。尽管该等应用确实大幅度提高了行政机关在具体行政活动的工作效率、节省各类行政资源，却也无可避及面临算法决策与正当程序、行政公正等原则相背离的风险，甚至因不当或滥用算法决策不仅削弱行政裁量的能动性，最终还影响行政决策的准确性而对行政相对人造成实质性权益损害等风险。上述是为算法决策在自动化行政领域应用中已露端倪的诸多特定风险，限于技术发展水平，将来定还有他类不可预测之风险。所以，本文择取行政法的视角，在建构自动化行政中算法决策应用的专门性法律框架下，通过明确自动化行政中算法决策应用的地位厘定、立法明定与程序控制等路径展开，以积极防范该等风险的发生，有效规避该等风险的后果。

一、自动化行政中的算法决策及其类别化应用

大数据时代，自动化行政中算法决策的应用已是大势所趋。但是，算法决策在自动化行政中的应用并非全然，至少当下应仅限于“三大类别”的应用。在厘清算法决策、自动化行政等基本概念基础上，完成自动化行政之“三大类别”的解读与分析。

(一)算法决策与自动化行政

1.算法决策

算法是由一系列步骤分明的清晰指令组成的计算机程序。[1](P.128)算法决策作为一项新兴技术，具有自学性、“黑箱”性与极速性三种特性，并借助此三种特性的各自优势和相互作用的充分发挥，实现其辅助自动化行政的工具作用。

算法决策系统涉入的场景通常分私人生活场景和公共治理场景，并在部分场景下逐渐代替传统中只有人为才可进行的工作或决策。作为算法决策基础之一的机器学习，具备区别于其他分析技术的三个特性[2](P.1167)：(1)自学性。算法决策的结果并不完全依赖人类预先指定的预测结果。事实上，只要机器自主学习还在运行，人类就无法真正控制、组合和比较数据；因此，算法决策系统可以有效地、自主地寻找决策模式。(2)“黑箱”性。算法决策的分析过程是一密闭的“黑箱”性操作，其决策结果并不能被直观解释，当然也就不能作为司法、行政部门行动理由基础的因果解释。(3)极速性。算法决策系统的整个运行过程极其迅速，算法决策产生结果的过程可以缩短、甚至跳过人类深思熟虑的时间。

2.自动化行政

自动化行政，系人工智能在行政领域中的一种具体运用，是指行政程序中特定环节或所有环节由人工智能或者自动化系统代为处理，无需人工的个别介入，从而实现部分或全部无人化的行政活动。[3](P.140)可见，自动化行政并未完全应用算法决策系统。因此，就有必要对自动化行政类型作出界定。

一项特定的行政活动可分为识别与输入、分析与决定、输出与实现三个环节，并依据这三个环节各自的完成主体是人类还是自动化系统，将自动化行政分为无自动化行政、自动化辅助行政、部分自动化行政、无裁量能力的完全自动化行政、有裁量能力的完全自动化行政这五个类别。[4](P.83)其中，只有无裁量能力的完全自动化行政和有裁量能力的完全自动化行政这两个类别在分析与决定环节的完成主体是自动化系统，即直接应用算法决策完成其行政活动。实践中，部分自动化行政虽然没有直接应用算法决策完成分析与决定，但在具体场景下，已然应用算法决策进行辅助行政、帮助行政主体做出最终决策。

(二)部分自动化行政

在部分自动化行政中，分析与决定环节的完成主体虽然是人类；但是，行政主体仍可以应用算法决策进行数据的识别与分析，以此辅助行政主体作出决策。最典型的应用场景是为行政执法。

以国内行政执法论，2018年，北京、杭州先后推出了“声呐电子眼”违法鸣笛抓拍设备。该设备通过采集声音、车辆图像等信息与信号，并传输至后台经算法系统的自动检测与识别，完成对违法鸣笛车辆的精准查控，以有效辅助交警进行远程或现场执法。①

国外行政执法也有类似举措。2013年，美国小城雷丁，利用加州圣克鲁斯的大数据分析初创公司PredPol的犯罪预测软件——收集并利用该地区的历史犯罪数据——通过算法决策以按小时计算出最有可能发生犯罪的地点——被预测区域，以协助警方在对应的时间段安排相应的警力进行巡逻与犯罪预防。[5](P.91)

(三)无裁量能力的完全自动化行政

无裁量能力的完全自动化行政，是指自动化系统可以对不需要裁量的行政活动进行独立的全程处理，但对于需要进行裁量的事项不能适用。[4](P.83)实践中多应用于行政审批、社会信用体系建设和市政建设等情形。

第一，行政审批的特定事项。2018年6月，深圳市人民政府率先启用“无人干预自动审批”的新型行政审批方式。②申请人无须现场报到，只需在线提交相关信息，审批系统采用算法决策技术自动核查材料完整性和准确性，并决定是否进入下一步程序。随之，安徽、广西等地也有相关文件陆续出台。

第二，社会信用体系建设。社会信用体系建设中的信用评级即是通过算法治理完成信用数据的判定。算法治理包括三个“阶段”[6](P.39-40)：1.数据收集与存储，是大数据不可或缺的数据监视；2.数据挖掘，即自动处理大数据，识别其间的细微关联；3.关联数据应用，即以概率统计知识，利用关联数据预测单个行为。

第三，市政建设。如美国波士顿为解决城市道路坑洼问题，在2013年推出一款名为Street Bump的应用软件。借助智能手机的运动感应功能记录坑洼引起的震动数据信息，并将其发送至市政府数据中心，数据中心利用算法决策自动分析传来数据，以准确定位坑洼区域、及时作出修复等市政建设指令。[1](P.158)

(四)有裁量能力的完全自动化行政

有裁量能力的完全自动化行政，是指自动化系统具有裁量能力，可以在一定的裁量空间内进行完全自动化决策。[4](P.83)但是，囿于行政裁量空间的诸多不确定性、科学技术水平的客观限定以及配套制度的缺失等诸多现实条件，在有裁量能力的完全自动化行政中，算法决策尚未、且将在很长一段时间内只能作为行政辅助性工具，而不能直接作出最终的决策结果。就此，德国即以立法形式对之进行了严格规定。2017年，德国在修改的联邦《行政程序法》中引入“全自动作出的具体行政行为”概念，并在第35a条明确提出，“仅允许在羁束行政行为中应用算法决策等全自动技术，禁止在存有不确定法律概念或裁量情形的行政行为中予以应用”。[7](P.171-172)

质言之，在有裁量能力的完全自动化行政中，算法决策的作用惟限定于工具性地位而辅助行政机关作出最终行政决策。即藉由算法决策的数据收集与分析处理上的技术优势，最终可以通过数据整合为行政机关提供决策支持。如，通过算法决策对互联网数据的收集与分析，行政机关可以判断某类广告的影响群体与传播范围，进而促使行政机关政策制定以及决策的优化。[8](P.58)显然，行政机关正是借助算法决策的辅助，希望可以作出更富有科学性的行政决策。

二、自动化行政中算法决策的特殊风险

随着算法决策在自动化行政中的扩张性应用，更因其具有不可彻底解决的“自身弊端”，自动化行政中算法决策应用的特殊风险正逐层显露。

(一)算法决策与正当程序原则的冲突性

算法决策的“黑箱”性特点致使算法决策与正当程序原则相冲突。算法决策的分析过程是一密闭的“黑箱”性操作，其决策结果并不能被直观解释，当然也就不能作为司法、行政部门行动理由基础的因果解释。[2](P.1167)按照行政正当程序基本原则要求，行政机关作出任何行政行为，特别是作出对行政相对人不利的行政行为，除非有法定保密的要求，都必须说明理由；同时，还必须听取相对人的陈述和申辩。[9](P.74-76)正当程序原则在增强公权力机关可问责性的同时，还必须保护公民的知情权，保障决策结果的公平性，保护公民免遭专权独断。[10](P.22)

然而，自动化行政中的算法决策是通过算法内部自主分析迅速完成的，且整个决策过程又是封闭的，行政相对人对此全无直观感受，因而无法直接参与算法决策系统的内在决策流程，更无机会要求行政主体说明理由，并听取相对人的陈述和申辩。例如，技术公司接受行政机关委托，运用算法决策技术开发健康码，健康码的生成过程自然就是不透明的。并且，实践中健康码的评级结果还存在一定程度的偏差，亦因算法决策并不透明，信息申报人对决策过程也根本无从知晓，自然地，在申述中也就无从进行陈述、作出申辩。[11](P.30)

(二)算法决策与行政公正原则的背离性

算法决策辅助自动化行政，其全自动地高速处理自是大幅降低成本而提高行政效率，但也致使行政行为趋于模块化或程式化。[7](P.176)如此“一刀切”的程式化行为方式严重忽略个案情景的因应考量，势必有违行政公正原则，以致作出不公正决策而最终导致个案正义受损。

例如，在“声呐电子眼”等交通抓拍系统场景下，行政相对人恰巧是医护急救车等而超速、鸣笛等特殊情状，现有技术无法自主识别救护车辆或是普通私用车辆，仍按照系统进行常规化的处理。但事实上，诸如人类的同理心等特征，是完全可以帮助决策者做出更合理、也更令人信服的结果。尽管这些结果可能与可预测的算法决策结果有所偏离，但该等人类特征目前实难被编程于算法决策系统中。[12](P.1785)遇此情状，如果行政主体缺乏个案情景考量，过度依赖算法决策结果，必然导致执法不公。又如，行政机关运用算法决策对行政相对人进行社会信用评级时，往往将相对人某一领域的失信记录纳入另一个完全不同的领域，并以此作为基础数据作出最终评级结果。但是，不同领域的信用记录是否可以互相作为信用评判的基础本身就存在争议，因为并非所有关于相对人生活场景的数据都具有分析价值、对个人信用评估都具有意义。[13](P.86)所以，如果行政主体过度依赖这种评级结果，将无可避免地背离行政公正原则，产生评级错误等问题。

(三)算法决策干扰行政决策的准确性

算法决策技术的应用在一定程度上会干扰行政决策的准确性。一如前述，美国小城雷丁适用的犯罪预测软件，重点数据的基础是地理位置，且以详细输入每一次犯罪的类型、时间与地点为主要的数据收集与选择。看似客观、合理，但该软件的适用终归依赖警方的最后决定与选择，即：“只关注第一类犯罪(暴力犯罪、杀人、纵火、人身侵犯等)——该等犯罪通常必须要被警方记录在案”；还是“需同时关注第二类犯罪(轻微犯罪、流浪、酗酒、侵犯型乞讨等)——如果警察不在现场，此等犯罪通常不会被记录在案”。必须指出的是，后者之轻微犯罪等情形在贫困地区十分常见。倘若PredPol的预测软件已然囊括第二类轻微犯罪数据，结果必将出现巨大偏差。一旦选择轻微犯罪数据作为分析指标，就会轻易得出“贫困地区是最有可能发生犯罪的地点”的轻率结论；如此，更多警力被安排进贫困地区，警察在该地域就又获得更多的轻微犯罪人在案记录，相应地犯罪预测模型中也将会出现越来越多的轻微犯罪数据，而更多警力将被再次派驻于轻微犯罪高发的贫困地区。[5](P.93-94)如此，恶性循环的周而复始，怎可能有针对性的准确行政决策。

经过研究得知:观察组中护理满意度,空腹血糖,餐后两小时血糖指标大小分别(96.09±2.00)分、(4.16±0.13)mmol/l以及(6.20±1.11)mmol/l,所有数据均显著优于对照组,两组结果对比具有统计学意义。如表1所示:

(四)自动化行政中算法决策的泛化性

算法决策作为大数据时代的一项新兴技术，不能应用于自动化行政的所有外部场景，如果行政机关肆意应用算法决策，必将导致算法决策在自动化行政中的泛化或滥用。如此，当外部场景的自身条件不符合算法决策的实际应用要求时，该等完全取代人为决策的算法决策最终必定产出不准确、甚或是不公平的决策结果。

美国波士顿Street Bump应用软件解决城市道路坑洼仍是最好例证：实践中，该软件算法决策系统的数据表明，常常是富裕地区颠簸程度反而高于贫穷地区，以此作为依据而建议市政资源向富裕地区倾斜。但实际上，大量的、急需被修复的道路多聚集于贫困区域。导致这一偏差的原因其实很简单，惟因富裕地区居民的智能手机数量及其运动感应程序的配置度远高于贫困区域的相应配置。[1](P.158)但波士顿政府恰恰忽略了这一关键的基础性要素——智能手机本身的择用就存在严重偏差。所以，该种外部场景并不满足Street Bump软件进行算法决策的内部要求，而波士顿政府不加选择的应用即是算法决策于自动化行政中泛化应用的风险例证。

(五)算法决策对行政裁量能动的削弱性

诚如上述，如果任由自动化行政中算法决策的肆意泛化应用，算法决策完全有可能取代人为决策而令算法权力深度嵌入公权力，以致逐渐削弱、甚至彻底吞噬行政裁量的能动性。原本算法决策仅以工具属性辅助自动化行政，但行政主体却因对之无条件的依赖，促使其不加质疑的直接应用决策结果作出行政决定；加之算法决策的自身特性与机器优势，算法决策亦正逐渐突破工具属性而进行着实质性的资源调配、作出决策等行为。同时，随着算法生态环境的搭建，算法必将胜任更复杂的行政行为，并使公民身份最大可能的数据化和动态化，进而逐步削弱行政机关在该决策领域的地位，甚至凌驾、取代行政机关的主体地位。[14](P.69-70)

当然，行政机关还具有行政裁量权。即在其职权范围内，可以基于法理或事理对具体事件进行酌量处理。如行政处罚：在传统行政中，行政机关可在法定的处罚幅度内自由选择，不仅是处罚种类的自由选择，还包括该种类下处罚强度的自由选择。但在自动化行政中，借助算法决策辅助行政处罚，将无法及时有效地发挥行政主体行政裁量权的作用，更遑论个案情景的充分考量。因此，如果对算法决策在自动化行政中的应用不加以有效的限制与监管，其将完全取代人为决策而导致算法权力深度嵌入公权力，逐渐削弱行政裁量的能动性。

三、自动化行政中算法决策风险的成因审思

为最大限度地防范、规避算法决策在自动化行政中显露的上述五大特殊风险，首先必须要对风险背后的原因进行深度解析。基于此，不仅能从源头上尽可能地进行风险防范或规避，更能在风险来临时尽可能的降低风险、甚至解决风险带来的各种问题。下述即从风险成因的客观方面与主观方面展开论述：

(一)算法决策原生的“黑箱”性与极速性

算法决策原生内在的“黑箱”性操作特征，外在表现为自动化行政中的行政决策过程是通过算法内在的自主分析而快速做出的，行政相对人对此全无直观感受。因此，算法决策分析的结果自是无法被直观地解释，当然也就不能作为司法、行政部门行动理由基础的因果解释。[2](P.1167)而且，自动化行政中算法决策应用主要是公私合作模式，即行政主体委托技术公司研发、完成算法决策系统，且大部分行政主体对系统内部运作机理几近一无所知。面对这一强技术性的操作系统，即使行政主体通过技术公司对行政相对人充分解释决策理由，但若非专业技术人员，实是难以理解。因此，也就根本无法达到正当程序原则所要求的“说明理由”这一事项的要求与目的。

同时，在算法决策的“黑箱”性特征导致的不透明性障碍之外，又因算法决策系统的运行过程、决策结果产生的极速性，可以缩短、甚至跳过人类思考的时间，令行政相对人根本无法及时的作出反应，更别说能进行准确、有效地陈述和申辩。如此，不仅严重危及程序正义，并且，在这种不透明与极速性的决策系统下很可能导致作出不公平的、甚至是错误的行政决策结果，也势必遭致行政相对人合法权益受损之虞。算法黑箱，尤其是其导致的算法社会，使得算法的拥有者手握巨大的算法权力，且这是一种准国家权力的权力。[15](P.11)如果自动化行政中算法决策过程不受正当程序原则约束，则该权力极有可能会被滥用，从而侵犯行政相对人的知情权、平等权等合法权益。

(二)数据流转环节疏漏的数据质量瑕疵

数据收集、选择与处理通常是数据流转的基本环节，也是算法决策在自动化行政中的应用基础。任一环节疏漏的数据质量瑕疵，必然影响行政决策的准确性；并且，算法决策作为一项技术也不可避免会出现漏洞。因而，数据收集、选择与处理环节的数据质量瑕疵即是干扰行政决策准确性的基础性原因。

这里的数据质量瑕疵区别于行政主体自身操作失误因素，主要是指客观上存在数据质量瑕疵。如，以健康码的实践为例，健康码的生成依赖两部分数据——申请人个人自主填写的数据与行政机关掌握的公共数据。个人填写部分包括申请人的行踪轨迹和健康状况，若申请人故意隐瞒行程和病情，则该部分数据失真无效，必定导致健康码的输出也不准确。[11](P.30)另外，技术公司开发健康码，将被授权接入公共数据，鉴于数据掌控主体之间普遍存在的数据壁垒，数据共享并不理想，后台数据的完整性并无完全保障。[11](P.30)同理，行政机关掌握的公共数据准确性同样不能确保。基于数据输入错误而作出的算法决策，必然影响最终行政决策的准确性。

(三)自动化行政与算法决策的相关制度规范缺失

2016年11月，我国颁行《网络安全法》，随即又发布《国家信息化发展战略纲要》《新一代人工智能发展规划》(以下简称《发展规划》)等战略规划文件。但是，有关算法决策在自动化行政中应用的专门性法律、法规却寥寥无几，仅在《发展规划》有所提及安全便捷的智能社会建设。③此后，尽管地方各级政府也有智能政务的相关地方性文件出台，但均未对人工智能与政务结合的具体场景做出细致说明；在行政决策方面，更未有算法决策应用的详细规定。如，在深圳、安徽、广西等关于智能审批的地方性文件规定中，也仅笼统强调推行“无人干预自动审批”或“不见面审批”等举措。④由此可见，自动化行政与算法决策相关制度规范存在极大地缺失。

反观域外，美、德等国关于算法决策的相关制度规范的制定已经走在了前端。1970年与1974年，美国分别颁布《公平信用报告法》(FCRA)与《平等信用机会法》(ECOA)，就信用评分领域的自动化决策进行立法规制。[16](P.16)2017 年，德国在《行政程序法》中引入“全自动作出的具体行政行为”概念，并进行若干法条的匹配修改；[7](P.170)又通过《税收条例》的制定为税法领域的完全自动化奠定规范基础。[17](P.1)2018年，欧盟又正式出台《通用数据保护条例》(GDPR)，当中第22条即是有关自动化决策的专门规定。⑤显然，适逢大数据时代，为有效解决算法决策于自动化行政应用场景中的特殊风险，相应的制度规范自刻不容缓。

(四)行政主体对算法决策的不当操作与过度依赖

上述三大成因是择从客观层面的分析与论证，而行政主体对算法决策的不当操作和过度依赖是遭致前述五大特殊风险的主观层面成因。

就行政主体的不当操作成因论，缘因算法决策作为大数据时代的一项新强技术，在实际的具体应用中，必须配备以大量的高科技专业技术人员，才能进行正确的操作与有效的驾驭。但是，在应用算法决策的自动化行政实践中，却是由非专业技术类的行政机关工作人员完成实际的具体操作；面对高强技术性决策系统，行政主体极易因操作不当或失误，影响行政决策最终结果的准确性。究其原因，正如前述，缘因我国自动化行政中的算法决策应用，所有决策系统的研发与完成皆是由行政机关委托技术主体完成，即实行的是行政机关与技术主体的公私合作模式。所以，在算法决策的相关技术方面，行政机关必然、且将长期依赖系统研发的技术主体，而行政主体的不当或失误操作也将客观、长期的存在。

又以行政主体过度依赖算法决策之成因分析，正因算法决策于自动化行政中的推广应用，不仅大幅降低成本，且又极大地提高行政效率。如此明显优势利导着行政主体大肆应用算法决策而产生过度依赖，甚至无条件信任算法决策并促令其直接使用决策结果于各类行政决定之中，如此“一刀切”的盲目信赖与过度依赖，只谋图高效率，完全无视效益与准确率，更全然无视个案或特殊情形的考量。同时，必须指出的是，决策系统也因行政主体的过度依赖而反向促使算法本身形成一种固定式、模块化的决策模式。如此，行政主体若仍保持信任、毫无质疑，势必侵蚀行政主体自身的独立判断能力，最终导致决策结果的准确性存疑。

一如上述，基于客观成因与主观成因之标准划分，不管是算法决策原生的“黑箱”性与极速性、数据流转环节疏漏的数据质量瑕疵以及有关自动化行政与算法决策的相应制度规范缺失等客观原因，还是因行政主体对算法决策的不当、或失误操作及其过度依赖决策系统等主观成因，都深刻揭示了自动化行政中算法决策的特殊风险并非偶然；且也为下文提出的该等特殊风险防范或规避的因应性路径夯实基础。

四、自动化行政中算法决策应用风险的防范路径

有学者提出，数字行政法是社会信用体系等法治化的新路径，在未来也将成为大数据时代法治建设领域全新的行政法学科分支。[6](P.47)为促进算法决策优势在自动化行政中的可持续发展，基于创新一定不能打破规则和安全的态度，在建构自动化行政中算法决策应用的专门性法律框架下，至少可以在地位厘定、立法明定与程序控制等方面对自动化行政中算法决策的特殊风险予以防范或规避。

(一)地位厘定：主体地位与工具属性

诚如前述，算法决策正在、且将来更有可能直接取代人为决策而令算法权力深度嵌入公权力，甚至于突破其工具属性而凌驾、取代行政机关的主体地位。因而，在自动化行政中，首要的就是必须重申、坚持行政机关的主体性地位，而算法决策仅是具有起辅助作用的工具属性罢了。

1. 坚定行政机关的主体地位

人工智能是人类创造的高度自动化、智能化的工具，无论其怎样发展，但终非人类。任一算法决策运行背后，仍是行政机关通过专业技术人员进行着系统的操控和应用。同时，囿于当下的计算机技术水平，仍无法将同理心、道德感、意志等人类独有的特征进行编码转换至算法决策中。因此，占据主体地位的只能是具有同理心、道德感、意志等人类特征、能够做出个案情景判断的行政机关(行政主体)。质言之，重申并坚定行政机关的主体地位，不仅能够防范模块化的决策系统掌握控制权，且在特殊个案的情景下，最大限度地避免其对行政相对人的合法权益造成侵害；进而，有效抑制算法决策完全取代人为决策，预防算法权力深度嵌入公权力而致使行政裁量权被削弱。

2.明确算法决策的工具属性

作为人类创造的高度自动化、智能化的工具，人工智能本身并没有自己的意志，只具有工具属性。[18](P.48)同样地，自动化行政中的算法决策也仅具有工具属性，其功能就是辅助行政机关作出决策，且其辅助形式亦因自动化行政的不同级别而呈现出多样化态势。如，在部分自动化行政中，算法决策通过完成数据识别与分析得出初步结论，以此辅助行政主体做出决策；在无裁量能力的完全自动化行政中，算法决策系统可以独立对不需要裁量的行政活动实施全程化处理，即算法决策直观上取代人为决策。但是，无论直观上算法决策是辅助人为决策，亦或是有限度地取代人为决策，都无法掩盖其工具属性。

(二)立法明定：应用场景与系统预审

公共利益是所有行政活动的理由和界限所在，也是行政机关追求的大众福祉与个人追求的私人福祉区别所在。[19](P.83)为更好地协调二者利益关系，须以立法明定自动化行政中算法决策的具体应用场景，且同时还须按比例原则完成决策系统的提前预审。

1. 明确算法决策的应用场景

尽管算法决策已然成功应用于部分自动化行政、无裁量能力的完全自动化行政和有裁量能力的完全自动化行政，但同时也表明，算法决策绝非可任意应用于自动化行政的所有场景。

德国行政程序法对完全自动化行政的适用明确提出其两个限定性条件：(1)法律保留，即仅限定于法律法规允许时方可适用；(2)行政机关不存在裁量或判断余地时方可适用。[4](P.89)这于明确我国算法决策在自动化行政中的应用场景具借鉴意义。于法律保留，立法者应当提供原则性指引，而非面面俱到的干预，如在授益行为和不涉及当事人重大利益等事项上，法律可以对算法决策在自动化行政中的应用给予概括性的授权，释放创新空间。[4](P.89)又如，算法决策在自动化行政中应当适用于事实清楚，又易数据化、类别化等事项。对于情况较为复杂，尤其切关人身权益、住宅等建筑物拆除令等行政决定不可逆的场景中，行政机关应当谨慎应用算法决策。[17](P.13)

2. 完成决策系统的提前预审

事先运用比例原则对算法决策系统进行提前的预审与测试，是合理评估算法决策系统是否适合应用于某项具体的自动化行政的有效举措。

算法决策系统的预审，具言之，即分别进行适应性判断、均衡性判断和必要性判断。[20](P.112)(1)适应性判断。判断算法决策系统的设计是否能够合理、合法地运行，且其对数据的收集、选择和处理是否能够最大限度地减少数据质量瑕疵。(2)均衡性判断。判断决策系统对数据的实际应用是否产生歧视性决策等消极影响，并比较其可能带来的积极与消极影响，只有确认积极影响明显高于消极影响时才可通过均衡性判断。(3)必要性判断。行政机关应当选择产生消极影响最小的算法决策系统，最大限度地降低技术的不确定性和数据质量瑕疵，以保障决策结果的最大可靠性。自动化行政领域，决策结果可能会致使行政相对人的人身权益和财产权益发生重大变化，所以，有且只能采用技术不确定性最低、数据质量瑕疵最小的算法决策系统。质言之，惟同时满足上述三者判断的算法决策系统才可通过预审并投入实践应用。

(三)程序控制：解释责任与权利救济

一如前述，自动化行政中的算法决策应用，应然接受正当程序原则的约束，即在法定程序的控制下进行算法决策的应用。但是，鉴于算法决策的新强技术特征，我们应与时俱进赋予正当程序原则以新的要求与内容。

1. 说明理由——督进行政主体的算法解释责任

督进行政主体的算法解释责任，并非要求行政主体对算法决策的技术细节进行解释，只要求当行政相对人存在异议时，行政主体通过保留解释能力对个案进行事后监督。[3](P.144-145)即对算法决策的输入端和输出端进行事后检查。

(1)输入端。如果算法决策系统输入端的数据本身存有瑕疵，那么决策结果必将存疑。如果行政相对人就此提出质疑，行政主体必须通过事后检查进行监督。在社会信用体系评级中，并非所有关于相对人生活场景的数据都对个人信用评估有意义，如果相对人质疑其某一领域的信用评级，那么就可要求行政主体对输入端中作为评级基础的数据进行解释与理由说明。

(2)输出端。陈景辉学者认为，只要程序的输出结果是单一性的，那么就能反向推断，这样的做法违反了正当程序或者程序正义的要求，因此就有了要求该算法决策做出改变的正当理由。[15](P.13)如在某一项算法决策系统中，如果输入端数据在多次修正后，输出端得出的结果依旧一样，就须考虑决策系统内部故障、或决策系统程序本身是否出现问题。如此，就必须要求技术人员及时进行修复。

2. 听取陈述和申辩——完善行政相对人的权利救济

因算法决策的“黑箱”性与极速性，当事人几近全无陈述或申辩的机会。所以，行政相对人的相应救济权必须尽速得到完善。

欧盟《通用数据保护条例》第22条第1款规定，除例外情形，数据主体有权反对自动化决策。⑤德国在自动税收程序中实施特殊的保护机制，即风险管理系统。该系统的目的即在于确保重大风险案件仍然可以由人为决定，只是在没有重大问题情况下，自动化系统才可以发挥作用。[17](P.8-9)这一特殊保护机制赋予纳税人由算法决策转为人为决策的可能性，某种程度上也是对行政相对人权利救济的扩张。此外，按照学者查云飞的观点，全自动行政应至少保障行政相对人对全自动程序的知情权、选择权与要求人工介入等权利；并且，在法定情形下，行政机关还应当恪守主动中断自动程序的义务。[7](P.177)

可见，实践中已有上述例证关于自动化行政中行政相对人救济权的相关规定；由此印证——在保障行政相对人对算法决策知情权的基础上，赋予行政相对人于重大事项、且符合正当性规定的情况下，要求人工介入决策、中断算法决策的救济性权利成为可能。

结 语

我国《行政处罚法》修订草案新增第38条⑥就此命题曾努力尝试进行规定，但除却涉关算法决策应用之“电子技术监控设备”这一专业语词外，并未就该等算法决策系统应用设备的大数据支撑、如何设置及其具体设置标准等进行详细规定，更无只字提及风险防范。而我们也深知，大数据只有在为人类所掌控时才是好的数学工具，尤其在自动化行政领域，我们必须重申并坚定行政机关的主体地位、明确算法决策的工具属性。同时，通过立法规制，严格限定算法决策在自动化行政中的具体应用场景，并运用比例原则进行决策系统预审，明晰算法决策系统合格标准，绝不能因盲求效率而放弃更为重要的公平与公正价值。当然，在强调合法程序控制的意义下，应发展性地赋予传统行政法之正当程序原则以新的内容与要求，督进行政主体算法解释的义务与责任，且更须竭尽完善行政相对人的相应救济权。因为，在可以预测的未来，算法功能定是愈来愈趋强大，而人类只有不断地审视人工智能新技术的发展，并不断增强自身防御和应对风险的能力，才能够在新技术到来时从容面对算法决策可能产生的新风险，最大限度地确保并激发算法决策的优势，促进自动化行政中算法决策的可持续发展。

注释：

①参见《“声呐电子警察”在杭州上岗！》，《杭州日报》2018年7月12日，第8版。

②参见《深圳市人民政府办公厅关于印发深圳市普通高校应届毕业生引进和落户 “秒批” (无人干预自动审批) 工作方案的通知》(深府办函〔2018〕109 号)。

③国务院《新一代人工智能发展规划》第三章第三节第2条。

④《安徽省人民政府办公厅关于印发进一步深化“互联网+政务服务”推进政务服务“一网、一门、一次”改革行动方案的通知》(皖政办〔2018〕31号)；《广西壮族自治区人民政府办公厅关于印发进一步深化“互联网+政务服务”推进政务服务“一网、一门、一次”改革专项行动实施方案的通知》(桂政办发〔2018〕145号)。

⑤参见《通用数据保护条例》第22条第1款。

⑥我国《行政处罚法》修订草案新增第38条第1款。