欧盟个人数据保护法上的反自动化决策权研究∗

张建文，李锦华

(西南政法大学民商法学院，重庆401120)

一、反自动化决策权概述

(一)反自动化决策释义

自动化决策指建立在自动化基础上的决策。它建立在整理收集人们大量个人数据的基础之上,同时研究人的决策行为,使之能够适合不同阶层、不同行为方式的决策者需要[1]。在大数据时代,数据的整理分析可以大幅降低风险,提高决策的效率和正确性、最优性。如今,许多决策都不是由人工参与直接做出,而是通过算法后台程序运作自动做出。在自动化决策普及率越来越高的时代,人工决策将从决策链中逐步淘汰,因为人工决策速度慢、犯错率高,综合考虑多种因素的能力较算法低。社会各领域越来越多地依靠自动化决策系统进行风险评估和机会分配。自动化决策技术能够更好地将现代大数据分析的科学技术水平与分析预测未来行为的期待结合起来,从而做出符合未来发展趋势的最优决策结果。然而,在算法不公开不透明的程序运作中,错误的信息或者涉及隐私的信息可能会被滥用,从而导致不公平不公正的决策结果,给个人带来损害,甚至是灾难性的后果。同时,当自动化决策中参入不公平或不正当的偏见因素或错误信息时,它们的预测功能将失去价值。即这种“黑箱”模式的自动化决策的泛滥将给整个社会带来危险。而且,当无辜的人被视为危险恐怖分子或不讲信用、工作表现差的人时,人们不仅对造成这种误解的结果没有申诉救济的途径,甚至可能对这一情况都一无所知。

自动化决策作为使用价值极高的决策手段,我们应该将其放在何种位置?依靠自动化系统做出的应当是什么样的决策?对于自动化的决策我们如何进行审查和质疑?如果自动化决策出现了算法歧视、算法错误导致经济损失或人格利益受损时,自动化决策的相对人是否可以得到救济?通过何种途径获得救济?又应当如何确定自动化决策造成损害的责任主体?如今将计算机算法程序当作挡箭牌的情况很多,有很多类似“都是计算机的问题,我们也没有办法……”的托辞。面对这种不作为推卸责任的做法,我们没有任何预设的可质疑路径。计算机算法尽管犯错率极低,但是出现错误也是十分正常的事情,因为算法最初就是由人类设计,很可能出现人类常常会犯的错误和偏见,也无法完全掌握与该事项相关的所有信息,因为世界上不存在十全十美的事物,所以没有人能够要求算法达到百分之百正确。因此,为自动化决策的相对人提供一种救济权利,包括提出质询、要求解释的权利,可以通过指定一个专门的负责人处理质询事件,该负责人有权对算法决策结果正确与否做出判断,同时也有纠正错误算法的权利,这对于保护自动化决策相对人具有重要意义[2]。如果算法决策不容置疑,或者没有合适的途径进行异议,那么它的存在就不仅不能称为一种进步,而且完全可能形成新型的“专制暴政”。

综上所述,由于自动化决策已经在我们现代社会扎根发展壮大,成为社会中的一部分,因此自动化决策带来的歧视、不公平和不公正现象以及算法错误造成的经济损失或人格利益受损等问题不容忽视。针对这些算法决策设计一套可质询程序是当务之急。而解决这些问题的前提是自动化决策的相对人拥有拒绝被算法自动化处理的权利,有权对自动化处理的决策提出质疑,并就遭受的损失提出赔偿请求等救济的权利,即赋予自动化决策的相对人以反自动化决策权。

(二)反自动化决策的意义与价值

反自动化决策是数据主体对个人数据自主控制的必然要求。反自动化决策的立法构想在于允许自然人对提供给数据处理者经过匿名化处理的个人数据进行再次利用后所形成的算法程序(该算法程序所作的自动化决策行为对自身产生重大影响时)提出意见,包括有关要求以易于理解的形式传达有关的数据信息,有权视情况提出修改或删除信息的要求,并在相关请求遭到拒绝时寻求救济①参见欧盟系列条约第108号《有关个人数据自动化处理之个人保护公约》第8条。[3]。根据《有关个人数据自动化处理之个人保护公约》第1条规定可知,该公约的目的是为了保障个人的权利和基本自由受到尊重,强调特别是对个人数据进行自动化处理时,应当充分保护个人的隐私权。由此可知,赋予数据主体反自动化决策权的目的在于尊重个人自由和尊严,减少自动化处理给个人可能带来的不利影响。反自动化决策权赋予了数据主体对个人数据较大强度的控制力,个人数据可依照数据主体的自由意志、自主决定是否被自动化处理,即使是经过数据主体同意所进行的自动化处理,数据主体仍然可以对该自动化处理结果进行确认、异议,根据情况要求修改或者删除。

一方面,考虑到反自动化决策个人信息处理涉及传统隐私和数据保护问题之深层原因在于社会要求保障人权,尤其是不歧视、言论自由和信息自由的人权要求,在高度强调人文精神的现代社会里,需要更广泛地考虑人权的需求。但是自动化决策具有过度依赖数据的缺点,自动化决策所依靠的数据来自广泛获取的个人数据,而这些数据可能本身就包含个人或社会成见,导致基于偏见数据所做出的自动化决策结果不公平地歧视个人或群体,干扰个人权利,导致人们被排除在社会生活的某个领域之外,使个人无法享受某些服务或福利待遇。2018年,第40届数据保护与隐私专员国际大会《人工智能伦理与数据保护宣言》中主张,人工智能发展需要道德和人权的考虑进行补充,应当充分尊重人权、保护个人数据和隐私权以及人的尊严不受侵害,考虑到自动化决策系统对隐私权和数据保护权的挑战,应当保证个人能够控制和理解自动化决策系统。

另一方面,反自动化决策权的规定可以从侧面要求自动化决策系统的所有相关人员,为了自动化决策结果不违反法律规定或造成损害从而引起数据主体寻求法律保护,而更加积极主动地采取安全保障措施,包括在原始数据收集时尽可能保证数据的真实准确,在分析整理数据形成算法程序时保证设计者的个人偏见不带入系统,主动监管自动化处理系统作出决策的全过程,在发生决策错误或其他不公平不公正的结果时,能够准确定位到具体出错环节,明确应当承担责任的主体等。反自动化决策权有利于保障人权,保护个人数据安全、隐私以及人的尊严不受侵害。

二、反自动化决策的理论基础

最早使用“个人信息自决权”概念的是德国学者施太姆勒,他认为人们有权自由、自主地决定是否让自己以外的其他人获悉自己的所思所想所为,这项权利属于德国关于人的自由发展权的范畴。在德国的“人口普查案”的判决书中,法庭使用了“信息自决”的概念,承认了自然人有权决定其信息是否被公开或使用。对于德国联邦宪法法院来说,个人的自决是指：在面对某种可能性的时候,个人有作出从事或者放弃决定的自由,并且依照此决定而行为[4]。该案对立法、司法、学术研究产生了重大影响,判决中的信息自决概念被广泛引用[5],为欧盟和其他国家及地区个人数据保护立法提供了法学理论和判例上的支撑。康德也说过,每一个理性存在的人是他自身的目的而不是工具,所有的行动都是以自身存在为出发点[6]。个人有自主能力对自己的行为经过思考而作出选择。信息自决权在我国台湾地区也获得了一定发展。台湾司法院于2005年出台的第603号解释认定强制公民按捺指纹的规定违反了宪法要求保障的基本人权[7]。该司法院解释与德国人口普查案中论证信息自决的原理基本一致[8]。我国宪法虽未明确将其列为一项公民的基本权利,但也有学者(如王利明教授)主张将个人信息权作为一种具体人格权进行规范,法律应尊重个人对其信息的控制[9]70。我国《宪法》第38条所确立的人格尊严不受侵犯条款可以成为信息自决权的正当性基础[9]72。

自决权是一项自己决定如何向世界展示自我的权利。在个人信息保护中,自决权体现为个人有权自行决定是否将个人信息转移或进一步使用。即个人信息自决权指信息主体拥有是否披露个人信息以及所披露个人信息的范围、时间、方式、对象等的权利。因此,想要获取个人信息必须获得信息主体的同意。个人信息自决权中自我决定的对象是与个人相关的信息[10]。因此,信息自决在于保障个人对自身信息的控制,更多时候是为了防止个人信息在毫不知情的情况下被不当利用。王泽鉴先生也曾指出,现在的隐私权法律体系已经转变为“以个人信息自主权为中心的法律体系”[11]。因此,为促进信息的自由流动和保护公民的人格利益,自然人除了有权决定其个人信息是否以及在何种程度、范围内被收集、使用和处理,还有权以平等主体身份参与到个人信息的自动化处理决策过程中[12]。

三、GDPR中反自动化决策的权利架构

(一)反自动化决策权的适用前提

自动化决策作为大数据时代促进经济发展、促进数据高速流通、保障数据分析精准高效的数据处理手段,不论是消费页面定点投放的广告,微博、新浪新闻的推送服务,还是网易云音乐的个性化推荐,无时无刻不在影响着我们的生活,给我们的生活带来了快捷精准的个性化服务,从而减少了用户的搜索成本,提高了效率。生活中绝大多数的自动化决策处理行为,不会给人们造成或产生太大的不利影响。自动化决策不仅能够提高个人数据的商业价值,而且能为人们提供优质服务。因此,如果不对反自动化决策权的使用范围进行限定,将给数据处理者带来极大的成本负担,同时造成资源浪费(时间、人力、司法资源等),不利于以数据为核心的产业发展,从而阻碍数字经济的发展。欧盟《通用数据保护条例》(general data protection regulation,GDPR)第22条规定：“对于仅基于自动化数据处理的决策,包括特征分析,若其产生的法律效力涉及数据主体,或对他/她有类似的重要影响,则他/她有权不成为此决策的对象。”因此,从GDPR的规定可以看出,数据主体反自动化决策的权利是在该自动化决策的行为产生的法律效力涉及自身或产生类似重要影响时方可行使的权利。比如当这些自动化决策损害人们获得信贷、工作、住房和其他重要利益时,人们有权利拒绝被自动化决策模式处理,即拥有反自动化决策的权利,人们至少有权对自动化决策处理结果提出自己的意见[13]。

(二)反自动化决策权的主体

反自动化决策权权利主体的确认直接决定了谁享有该项新型数据权利。根据欧盟GDPR序言第14条[14]和第1条第2款[14]规定可以得知,GDPR的保护对象是自然人,其重点保障自然人的基本权利和自由。因此,GDPR所要保护的主体是自然人,即GDPR所规定的数据权利的主体是自然人。

按照传统民法理论对于自然人的研究以及世界各国民事立法对自然人的规定可以得知,自然人一般是指基于出生的事实存在于世的人。WP29工作小组也在意见中指出,在各成员国现行民法典对自然人的定义下,“个人数据因此在原则上是关于已识别或可识别的在世的人的数据”[15]。GDPR序言(27)规定：“本条例不适用于死者的个人数据。成员国可以为死者个人数据的处理行为制定规则。”[14]没有生命的死者不属于自然人的范畴。所以,死者无法成为反自动化决策权的主体。对于法人的权利主体资格,虽然GDPR没有直接排除适用,但从其第4条关于个人数据的定义以及立法目的可以看出,法人也无法成为反自动化决策权的权利主体。

同时,GDPR第8条规定儿童数据处理需由父母同意。处理低于16岁(其他成员国可以规定其他年龄但不得低于13岁)儿童数据时,必须获得其父母或监护人的同意。反自动化决策权用其他方式表达即为不同意被自动化决策处理,不接受自动化决策的约束。GDPR规定儿童行使同意权利的年龄限制是考虑到儿童心智、知识和经验等方面不够成熟,不能够作出正确合理的意思表示。因此考虑个人数据保护的立法目的,对于低于16岁(其他成员国规定低于13岁)的儿童的反自动化决策权由其父母或法定监护人代为行使。

(三)反自动化决策权的客体

GDPR第22条规定：“数据主体有权反对此类决策：完全依靠自动化处理——包括用户画像对数据主体作出具有法律影响或类似重大影响的决策。”GDPR将用户画像作为典型的自动化决策类型进行特别举例强调,具体指任何以评估个人的特定方面为目的,对个人数据进行自动化处理的形式,包括对工作表现能力、经济状况、信用状况、健康状态、个人喜好、忠诚度、地理位置、消费趋向等进行分析和预测。因此,反自动化决策权的客体是自动化决策的结果。根据欧盟法律规定的有权反对的“自动化决策”须满足以下三个特征：一是该决策只能是以自动化处理方式进行,即决策不是由人工参与直接做出的,而是通过算法后台程序运作自动做出的决策结果；二是该自动化处理的决策是对于个人特定方面的分析和预测,而不是其他与个人无关的内容和事项,个人特定方面包括但不限于经济条件、健康状态、信用度等；三是自动化处理的决策结果应当对个人有法律效果或其他类似重大影响[16]。

(四)反自动化决策权的内容

一是GDPR第22条第1款规定,未经同意或履行合同或法律其他规定所作出的自动化决策,数据主体有权不受限制。数据主体有权不受对其自身产生法律效果或其他类似重大影响的自动化决策的限制。

二是GDPR第22条第3款规定,即使基于数据主体同意或履行合同需要或法律的其他规定所形成的自动化决策结果,数据控制者仍旧应当采取适当的措施保护数据主体的自由权利和正当化利益,同时数据主体至少拥有对自动化决策系统的使用者进行人为干预的权利,可以表达自己的观点或提出质疑。因此,即使是经过数据主体同意的自动化决策,数据主体仍然有权采取对该自动化决策提出质疑或反对意见等人为干预的方式行使反自动化决策权。

(五)反自动化决策与其他权利的关系

1.反自动化决策权与拒绝权

GDPR第21条规定了拒绝权。即在关于他/她的特定情形下,任何有关他/她的个人数据处理和分析,数据主体拥有拒绝权。数据主体有权拒绝任何与之相关的个人数据处理。这一规定是为了保障数据主体对自身信息的绝对控制权,切实落实个人信息自决的理念,保障个人数据的安全、尊严和隐私等权益。

而反自动化决策权作为拒绝权中的一种,内涵和外延都没有拒绝权宽。反自动化决策权仅在该自动化决策对其产生法律效果或其他类似影响时可以提出质询或不受限制,而拒绝权可以在源头就扼制数据收集及进一步使用的可能。自动化决策建立在收集整理分析大量个人数据的基础之上[1]。从根本上看,自动化决策作出的过程,除了最初原始数据样本收集的海量数据中包含有未经处理的可识别到个人的数据(收集时已然应获得数据处理合法的依据),经过无数个同类的个人数据整理并经过匿名化处理后形成一个类别的集合(结论报告),原则上无法识别到个人。基于这些数据运作的自动化处理过程,也不会直接识别到个人,这类数据的进一步利用不需要获得数据主体的同意或其他合法处理依据。根据前文所述可知,反自动化决策权仅在自动化决策对权利主体产生了法律效果或其他重大影响时得以行使并获得救济。例如,由于自动化决策的算法程序的基础数据错误、设计者的观点偏见、程序本身的技术缺陷等造成的歧视、不公平不公正或其他错误决定,导致自动化决策的相对人的生活、工作、经济等利益受到损失时,可以对该决策提出质疑,要求自动化决策的使用者进行解释,并在受到非法损害时请求赔偿等。

因此,反自动化决策权更侧重于救济,赋予数据主体在特定情形(对自身产生法律效果或其他类似重大影响时)获得救济。而拒绝权是强烈体现以人为核心的价值观,能够从源头切实保障个人自主决定权,体现数据主体对个人数据强烈的控制力。

2.反自动化决策权与其他权利和自由

在信息爆炸时代,大数据的整理分析可以大幅度降低风险,提高决策的效率、正确性与最优性。自动化决策是适应数字时代高效快捷的经济发展需求和保障企业、政府或其他组织作出最优决策的手段之一,不仅可以减少人力、物力和时间成本,同时可以降低决策失误,减少人为偏见影响。但是,反自动化决策权的行使必然会与其他权利和自由发生冲突。原则上,数据主体对于自动化处理的决策结果没有干涉的权利,因为个人数据的立法目的是为了保护个人数据,即可识别或可能识别个人的数据。自动化决策的数据均要求经过匿名化等去识别性的措施处理,无法定位到具体个人。因此自动化决策处理不需要获得主体同意即可合法进行,除非该自动化决策结果对相对人产生了法律后果或类似重要影响,否则反自动化决策权没有可适用余地。反自动化决策权是数字经济发展中鼓励以数据为发展核心的企业充分挖掘个人数据的商业价值,发掘个人数据对国家安全与公共利益的重要价值与以人为核心的个人信息保护法律体系构建之间的矛盾、冲突的调节器,能够使多方利益冲突达到相对和谐平衡状态,实现共赢发展。

四、GDPR中支撑反自动化决策权的制度规范

(一)同意的制度规范

同意的概念在西方首先是在政治领域使用,但是不仅仅局限于政治领域,在其他领域①例如商业领域、医疗领域和家庭生活领域。也存在涉及个人同意或集体同意的问题。当前许多国家已然将同意作为个人数据处理的合法要件之一,GDPR更是规定了当前最为严格的同意规范。同意不仅体现了数据主体对自身相关的个人数据的控制权,更是个人数据处理的合法依据。GDPR第22条规定了仅三种例外情形下,自动化决策方属合法行为,数据主体没有提出反对自动化决策的权利。即如果不符合以下三个条件之一,该自动化处理行为即为违法行为：一是数据主体与数据控制者的合同签订或履行合同所必要的；二是欧盟或成员国的法律所授权的；三是数据主体的明确同意。前面两种情形属于特殊情形,数据主体的同意是大多数自动化决策合法的依据。同时,GDPR第22条第3款规定,即使在第一种和第二种情形下,数据控制者仍应当保障数据主体对控制者进行干涉、表达其观点和对决策进行异议的权利。因此,即使在数据主体同意其对用户画像等进行自动化决策的情形下,数据主体仍然有提出异议、发表意见的权利。尽管同意只是在当前绝大多数个人信息保护法律规范下处理个人信息的若干合法理由之一,但无疑是最具全球性的合法标准,并且最有可能使用户产生信任。可以认为,同意是基于对行为的事实、含义和后果的清楚理解并作出的选择,是权利主体基于自由意志所做的许可允诺的意思表示。同意能够体现尊重和保护数据主体相关数据权利的时代要求。

(二)匿名化制度规范

根据前文所述,GDPR中将用户画像作为典型的自动化处理进行举例。根据GDPR的解释,“用户画像”指为了分析个人特定方面信息从而预测未来行为而对个人数据进行的自动化处理,尤其是为了评估个人的信用度、工作能力、行为表现、兴趣偏好、健康状态等特定方面的情况而进行的数据处理。即自动化决策的结果与个人的相关性依旧强烈。匿名化处理是数据控制者进一步利用数据所应当采取的安全技术手段,以保护数据主体的合法权益。“匿名化就是去除数据中个人标识符的过程”[17],目的在于切断数据与个人之间的联系,使之不具有“可识别性”,确保个人数据不能关联到某个已识别或可识别的自然人,有利于规制数据处理者,防止数据的进一步处理侵犯主体权益,保障数据主体的人格尊严、隐私等。因此,进行自动化决策的前提应当是对个人数据进行匿名化处理。如果没有采取有效的匿名化处理技术(或其他可以消除数据的可识别或可能识别的性质的技术手段),切断信息中“可识别”或“可能识别”的联系,该自动化处理的决策结果就不符合法律法规的要求,即该数据处理行为不具有合法性,数据主体有权提出异议,要求修改删除和赔偿损失。

(三)禁止或限制特殊个人的数据处理制度规范

GDPR中明确禁止对个人敏感数据进行自动化处理。对于敏感数据的类型各国没有同一标准和范围,但是具有重叠部分。普遍认为种族、政治观点、宗教信仰、健康、生物数据、基因数据和与性相关的数据为敏感数据。对于这些敏感数据原则上限制处理。在自动化决策处理中,对敏感数据进行处理的前提是获得数据主体的明确同意或基于法律规定的其他合法依据。但是系统总是在无意识的情况下自动收集处理个人信息,难以自动判定是否属于敏感数据而不进行自动化处理,因此基于自动化处理方式下的决策很可能会有侵犯隐私的风险[18]。

五、GDPR中反自动化决策权的启示

“个人信息权是一种新兴权利。”[19]欧盟地区有关个人数据保护的立法不论是法律体系的完备还是规定主体权利的新颖,在全球范围内是数一数二的,欧盟个人数据保护历年发展的立法规范是世界各国各区域个人信息保护立法的借鉴对象。因此,GDPR规定的反自动化决策权对于我国未来的个人信息保护立法具有重要的启示和借鉴价值。

首先,个人信息保护立法的最根本目的在于保障人权。立法者应当坚持以人为核心的价值观构建个人信息保护法律体系,“以保护个人信息之上的人权保障,实现个人信息保护法制的体系化”[20]。

其次,明确赋予自动化决策相对人以反自动化决策权。尊重个人言论自由、信息自由等相关权利,赋予个人对自身产生影响的自动化决策提出异议的权利,包括提出质询、要求解释、甚至不受限制的权利,从法律上最大限度地保障个人对自身信息的控制。

最后,在反自动化决策权利受到法律明文保护的基础上,进行反自动化决策的制度建设。从多方面保障反自动化决策权的行使。例如引入算法解释。算法解释指的是,当自动化决策的具体决定对相对人产生了法律上或其他类似的重要影响,相对人对该自动化决策使用人提出质疑,要求对自动化决策的结果进行具体解释的权利[21]68。算法解释权包含了自动化决策相关者之间的博弈[22],同时也是信息不对称的矫正工具,是意思自治的必然要求[21]69。算法解释请求权的引入,赋予相对人对自身有重大影响的自动化决策的结果提出质疑并要求解释的权利,为信息主体提供一个合理的救济路径,平衡多方的利益需求。还可以通过建立问责制,确保对自动化决策潜在的影响和后果保持时刻关注,促进利益相关者(例如个人、监管部门和其他第三方)对自动化决策系统进行监控、监管、定期评估、定期审查①参见《人工智能伦理与数据保护宣言》中的责任原则。。保障自动化决策的全过程均有利益相关人的参与和监督,使自动化决策过程对参与者透明化,确保决策导致的错误、歧视等问题都能够准确定位到具体的出错环节,找到对该自动化决策结果负责的主体,以期解决自动化决策带来的问责机制弱化问题,切实保障反自动化决策权得以行使,保护数据主体的合法权益。