人工智能的算法偏差及其规避

闫坤如

内容提要 人工智能的发展引发人类认知的第四次革命，但人工智能中存在着算法偏差，算法偏差可能引起算法歧视，导致不公平竞争以及算法滥用等现象。算法并非价值中立的，它负载着设计者的价值，人工智能的算法偏差是由算法设计者的主观因素和认知偏差引起的，除此之外，数据偏差和“算法黑箱”也可能导致算法偏差。要想消除算法偏差，需要强化人工智能算法主体的责任，保障挖掘数据的准确性并提高算法的透明度与可解释性，通过在人工智能技术中嵌入道德代码消除算法偏差，让人工智能算法经受“道德图灵测试”的考验。

人工智能的核心是大数据和算法，人工智能是基于算法的大数据分析，发现隐藏于数据背后的结构或模式，从而实现数据驱动的人工智能决策。人工智能发展中的人脸识别、语言识别、机器学习、机器翻译、深度学习、无人驾驶汽车等都依赖于算法。人工智能技术既影响人的精神世界，也影响人的外部世界，依赖于算法的人工智能在自我认知以及社会进步方面发挥着革命性作用。

人工智能算法偏差的表现分析

按照人工智能算法学家科尔曼(Thomas H. Cormen)等人的观点，“算法以某个值或一组值作为输入，并生成某个值或一组值作为输出。因此，算法是将输入转换为输出的一系列计算步骤”①。算法作为计算机程序，由纯粹的数学逻辑驱动，算法作为计算机程序具有公正性和客观性，但在人工智能发展中却存在着算法偏差。学界对于算法偏差没有统一的定义，算法偏差一般指的是计算机程序或者人工智能系统在数据收集、数据选择和使用的过程中因包含了人类的隐含价值而在输出中呈现出不公平现象，算法偏差是对算法客观性的偏离。算法偏差隐含在算法中，具有内隐性，我们可以通过算法偏差的外在表现来把握算法偏差，人工智能的算法偏差主要表现在以下几个方面：

1.算法偏差表现为算法歧视

歧视指的是由于认知主体的偏见或者偏差引起的不公平对待的现象，例如不同的种族、性别、宗教信仰、居住地点等均可能引发种族歧视、性别歧视、宗教歧视以及地域歧视等。算法偏差导致的算法歧视现象广泛存在，人工智能算法中可能同样隐含着种族歧视、阶层歧视以及性别歧视等内容。例如，2016年，微软开发的通过抓取和用户互动的数据模仿人类对话的聊天机器人Tay散布种族主义信息；2012年，哈佛大学发表在《社会问题杂志》(JournalofSocialIssues)上的一项研究显示，如果搜索传统的非裔美国人的姓名，结果中显示有逮捕记录的可能性更大；2016年，ProPublica的一项调查发现，执法部门使用的人工智能工具显示黑人比白人更有可能犯罪。以上人工智能算法中都包含了某种种族歧视的内容。又如欧洲保险公司推出UBI(Usage Based Insurance)保险涉嫌阶层歧视，UBI车险根据驾驶人的实际驾驶时间、地点、里程、具体驾驶行为等，进行算法分析，推出差异性保险计划，由于上夜班且上班地点远、驾车经过复杂路线的，大多是低收入者，因此UBI车险事实上会提高低收入者的车险费用，这也反映出社会地位低的弱势群体受到了歧视，人工智能算法表现出阶层歧视。算法偏差还可能导致性别歧视，2015年卡内基梅隆大学的国际计算机科学研究所(ICSI)的研究结果显示，由谷歌创建的广告定位算法中潜藏性别歧视现象。男性可以收到更多高职高薪的广告推送，而女性收到高薪职业推荐的机会远远小于男性。微软和美国波士顿大学的研究人员也发现在一些人工智能算法中存在性别歧视现象，“编程”和“工程”等词常与男性联系起来，“家庭主妇”“家务劳动”等词往往与女性联系在一起。算法歧视是算法偏差的外在表现，算法歧视主要是由于算法设计者主观认知偏见引发的。

2.算法偏差导致不公平竞争

人工智能算法依赖于大数据，数据资源已经成为资本，具有强大的经济价值，已经成为数据公司盈利的关键因素，数据拥有者比不拥有数据的人可以产生更多经济效益，导致竞争中的不公平现象。数据是由使用者产生的，但数据往往不归数据使用者占有和使用，基于数据所有权不公平、使用权不公平而成的算法偏差表现为数据占有不公平和数据挖掘不公平，人工智能算法基于数据的占有和使用程序上的不公平会导致算法结果的不公平，因此，人工智能算法偏差导致了不公平竞争。2018年，热遍网络的“大数据杀熟”现象就涉及因为算法偏差导致的价格上的不公平现象。例如，在订房订票过程中，使用苹果手机的用户比使用安卓手机的用户需支付更多费用，老用户比新用户价格高，VIP用户比普通用户价格高等。不同的经营者因为掌握数据的程度不同，分析数据能力以及预测水平具有差异，导致企业间存在着不公平竞争。计算机可以通过算法进行用户画像，分析用户的消费行为、消费习惯、消费能力，计算用户的价格敏感度和消费依赖度，预测消费者的价格天花板，以此对老客户抬高价格，对不同客户区别定价，这种不公平竞争也是算法偏差的外在表现。

3.算法偏差表现为算法滥用

算法滥用是指人们在利用算法进行分析、决策、协调、组织等一系列活动中，其使用目的、使用方式、使用范围等出现偏差并引发不良影响的情况。例如，人脸识别算法可以精准识别罪犯，提高治安管理水平，但是将人脸识别算法推广至预测潜在犯罪人，或者根据脸型判定犯罪潜质，就属于算法滥用。在人工智能发展中，人工智能的数据分析与算法预测是其重要的一个方面，但是在算法预测过程中存在的偏差——如预测犯罪偏差、性向偏差等目前尚无法避免。例如，英国警方希望使用人工智能技术来预测严重的暴力犯罪，人工智能算法通过人脸面相中的内眼角间距、上唇曲率以及鼻唇角角度之间的关系预测犯罪概率的精准度高达89.5%；COMPAS算法预测精准度为65%，它主要通过年龄以及此前犯罪情况、人际关系、生活方式、个性和态度、家庭的情况等，运用逻辑回归的机器学习算法预测犯罪概率。然而以上手段都会出现同样的长相会呈现出同样的犯罪概率的情况，也无法解释双胞胎中一个是罪犯另一个却是模范市民的现象，这就反映出在犯罪概率中出现了算法偏差。在人工智能预测性向中同样存在偏差，2018年，斯坦福大学学者发表论文《深度神经网络在从面部图像检测性取向方面比人类更精确》中提到，“这些可能涉及偏差中嵌入的数据集,如社会、语言、文化和启发式偏差嵌入在数据当中，同时提供上下文敏感的相关性,如深层神经网络可以成功地由图像分析预测性取向”③。然而，若滥用人工智能算法，会进一步促使对不同的人贴标签，侵犯人权。算法被广泛地应用于预测、识别、评判、决策等各个领域，但算法偏差表现为算法滥用，如视觉算法被用于为五大洲的人画像，错误地将亚洲人的眼睛画成闭着的、选美比赛中用到的评判算法特别偏爱白色人种具有的特征等等，这都属于算法滥用的结果。算法除了被用于犯罪预测方面，还被用于算卦、占卜等各个领域。算法是人工智能技术发展的基础，但算法存在偏差，并非是客观中立的，它包含着算法设计者的主观偏见以及客观偏见，不能把算法作为客观评判标准来应用，更不能因迷信人工智能技术而盲目扩大其应用，应理性地排除人工智能技术偏向与路径依赖性。算法滥用既不能保证算法的客观性，也难以保障算法结果的准确性。

人工智能算法偏差的成因溯源

人工智能算法偏差产生的原因有算法设计者的主观原因、依赖数据原因以及“算法黑箱”等客观原因。下面我们从三个方面对算法偏差的原因加以分析。

1.主观因素导致的数据偏差

人工智能算法偏差因设计者的主观偏见、认知偏差抑或认知局限性导致，这些是主观因素引起的算法偏差。《自然》杂志的社论文章“让大数据算法更可靠”中提出“偏见进，偏见出”(bias in，bias out)④，有偏见的主体设计出有偏见的算法，主观因素引起的偏差表现为以下几个方面：

首先，算法设计者主观偏见导致的偏差。算法偏差的主观因素主要是由算法设计者引起的，算法设计者为了达到某种目的、获取某种利益而人为地设计具有偏见与歧视性的算法，从而导致了算法偏差。任何算法都是设计者为了达到某个目的设计出来的，它体现了设计者的意愿。例如，2016年，剑桥分析公司获取Facebook数据，通过“精准营销”算法影响选民的政治选择，帮助特朗普团队赢得美国总统选举。人工智能算法中的技术偏差容易避免，但算法设计者受自身偏见或者社会偏见产生的影响难以根除，致使在人工智能算法设计中难以排除偏差现象。

其次，算法设计者的认知偏差导致的算法偏差。认知偏差指的是主体在知觉自身、其他人或外界环境时因自身或情境的原因使得知觉结果出现失真的现象。认知偏差也会导致算法偏差，例如，认知偏差中的幸存者偏差(Survivorship Bias)，也称为“生存者偏差”或“存活者偏差”，这是一种常见的逻辑谬误，指的是算法设计者只看到了数据统计结果，而忽视数据挖掘过程，遗漏有效数据或者关键数据导致的偏差。这同样出现在由于算法设计者对事物的认知存在偏见，或者算法运行过程中挖掘或使用带有偏见的数据等，造成算法产生偏离客观事实的结果，导致出现算法偏差。

再次，算法设计者的主观认知局限性导致偏差。算法设计者也有知识盲区，也会有自身的认知局限性，而这种认知局限性会伴随算法设计的全过程，不可避免地导致算法偏差。人工智能算法的设计目的、数据运用、结果表征等都体现了算法设计者的价值选择，他们可能会在无意识中把自己持有的偏见嵌入到人工智能算法之中。算法不是价值中立的，由于不同的设计人员有着不同的成长经历和教育背景，并形成了各自相对独立的价值观，这决定了不同算法设计者具有不同的利益追求与价值判断，形成了根深蒂固的价值偏见和习惯看法，从而导致设计出的不同算法皆具有一定的偏差。“这样的算法既不是中立的也不是客观的，而是主观解释和决策、选择和分类的结果，可能会让位于有意识或无意识的歧视和偏见”⑤。算法受设计者主观因素的影响，算法设计中带有倾向性，算法负载了设计者的价值和偏见。

2.数据偏差引发的算法偏差

人工智能算法基于数据驱动之上，数据的准确、全面可以保障人工智能算法结果的真实性与准确性；反之，数据虚假、数据缺失以及数据污染等原因会引发数据偏差。歧视的存在有部分是由于决策者的偏差，但不容忽视的是，现代社会的不平等在很大程度上应当归因于“数据歧视”，如果数据被污染或者数据不全，便会容易引发算法偏差。若数据驱动的数据来源是被污染的、失实的，带有偏差的，那算法呈现的结果也是有偏差的。输入偏差，则输出偏差。人工智能系统从历史数据中学习，而人工智能算法可能会编码历史偏见。当被挖掘的数据本身就是过去故意歧视的结果时，通常没有明显的方法来调整历史数据以消除这种污染，数据挖掘并继承以前的决策者偏见，或者反映社会中普遍存在的偏见。数据不全面或者不准确时或许会反映社会存在的偏见，算法也同样会延续之前决策者的偏见。例如，如果雇主在之前的招聘决策中一直拒绝雇佣女性或黑人求职者，那么计算机可能会在算法上歧视某些女性或黑人求职者；又如数据显示通勤时间长与员工流失率高有关，招聘算法便由此会对通勤时间较长的人给予负面评分。以上数据歧视几乎属于算法使用过程中无意出现的一种特性，而不是算法程序员的有意识选择，但其结果同样产生歧视。数据挖掘算法消除人为偏见，但却带来新的算法偏差。数据反映了社会普遍存在的偏见，在数据驱动的世界里，算法既是优点的来源，也是缺点的来源。人工智能算法依赖于数据，在巨大的数据集合中所提取的数据的质量，很大程度上影响算法的准确性。

3.“算法黑箱”导致的算法偏差

“算法黑箱”指的是算法设计者运用不透明的程序将输入转换为输出。“算法黑箱”是由于算法的不透明以及算法的复杂性引发的算法设计者对算法的不能完全把握造成的结果，在人工智能技术中，我们可以称之为算法透明性(Algorithmic Transparency)难题，即“算法黑箱”导致的算法偏差。在人工智能中会用到多种算法，例如，模式识别算法、自然语言处理算法、数据挖掘算法等等，算法遵循一组指令或学习完成一个目标。理论上，人工智能算法可以通过减少人类的短视和偏见，帮助人类作出公正的分析和决定，因此算法一直被认为是公正的、客观的，但算法的不透明性却难以保障算法的客观性。伯勒尔(Jenna Burrell)在《机器如何“思考”：理解机器学习算法中的不透明性》中给出了三种形式的不透明性：“(1)作为故意的公司或国家机密的不透明；(2)作为技术文盲的不透明；(3)由于机器学习算法的特性和所需的规模而产生的不透明。”⑥如果公开信息损害了企业的声誉或业务能力，企业不太可能对其系统保持透明，且往往是作为企业隐私或商业秘密。谷歌、Yahoo及其他搜索引擎可以有效地为人们在查询条目时提供个性化的人为推荐，大多数公司倾向于将个性化推送的算法的内部工作原理作为商业秘密加以隐藏，这导致网站的人为推送信息中包含着算法偏差。除了大公司利用算法权力造成算法偏差，一些小公司也加剧了算法偏差的出现，“由于缺乏数据、专业知识和技术技能，以及计算机和数据处理本身的不断发展，这些机构在控制和管理快速变化的数字市场方面基本上没有什么影响力，而且，无论是否自愿，它们还助长了算法不透明的蔓延”⑦。因为人工智能算法的复杂性以及算法在运用时带有偏见，使得算法难以解释。“当人类在机器的决策支持下做出决策的时候，他们通常是在不确定性的条件下这样做的。即使有数据和统计的帮助，也不可能实现完全的信息和充分的‘理性’。”⑧

人工智能技术的不透明性导致算法具有可错性，罗森布拉特(Rosenblat Alex)、科内斯(Kneese Tamara)和博伊德(Boyd Danah)在《算法责任》中提出，“算法在对大量信息进行排序时非常有用，可以提供最有用的排序。自动算法可以使用一系列定义良好的步骤和指令，根据有关理想结果的动机组合生成过滤信息的类别。在该组合的最终表达式中，不确定性、主观解释、任意选择、意外事件和混合中的其他元素都被呈现为不可见的，与算法产品交互的最终用户看到的只是技术的功能”⑨。算法复杂性与不透明性导致了算法偏差。例如，人类基因组计划在确定人类DNA中所有10万个基因、确定构成人类DNA的30亿个化学碱基对的序列、将以上信息存储在数据库中以及开发数据分析工具等目标方面取得了巨大进展，但每一步都需要复杂的算法。随着机器学习模型作为决策工具的日益普及，解释工作可能面临着新的挑战。

在人工智能系统中，人为的主观偏差及认知局限、数据来源的失实及不完整、“算法黑箱”等均会导致算法偏差。因此，对于算法偏差需要从主观与客观两个维度去消除和规避。

人工智能算法偏差的规避措施

避免算法偏差，首先，要承认人工智能的局限性，人工智能不是无所不能的，人工智能算法也不是绝对中立的。其次，人工智能算法偏差也不是与生俱来的，但人工智能算法在数据挖掘、采集以及运用过程中会有意或无意地嵌入人类的偏见。如果想避免人工智能的算法偏差，应该针对人工智能算法偏差的主观原因与客观原因，强调人工智能算法主体的责任，保证人工智能算法挖掘数据的准确性、完整性，同时，也要提高人工智能算法的透明度与可解释性，只有这样，才能更好地规避人工智能算法偏差。

1.强调人工智能算法主体的责任

技术中立主义者认为，算法是没有价值的实体，算法作为技术只是人类改造世界的工具，不负载人类价值，算法是中立的，并且，一个算法或系统产生一个价值判断作为它的输出这一事实，并不能证明用于产生价值判断的算法本质上是有价值的。克雷默(Kraemer Felicitas)等人在《是否存在算法伦理？》中反驳这种观点，克雷默等人反对技术中立论的观点，他们认为算法负载人类价值，算法设计者、数据拥有者、数据和算法使用者都是有价值诉求和利益驱使的，欲规避算法偏差，必先提倡算法主体的责任，“如果一些算法本质上是有价值的，也就是说，如果设计算法的人无法避免对什么是好什么是坏做出道德判断，那么我们有理由认为，软件设计师对他们设计的算法负有道德责任”⑩。宾斯(Binns Reuben)等人提出规避算法偏差必须提倡“算法问责制”，“虽然人类的决策者可能会表现出片段和偏见的错误，但我们至少可以要求他们对自己的决策合理化从而让他们承担责任”，人类应主动干预算法。2016年4月，欧盟颁布《通用数据保护条例》(theGeneralDataProtectionRegulation,GDPR)，被称为数据保护中的“哥白尼式革命”，该条例对算法决策中的主体责任以及行业规范提出要求。算法设计者要有责任意识，对他们来说，朝着提高透明度的方向迈出的明智的一步便是公开他们的数据来源。除此之外，还要关注数据、算法持有者和使用者的主体责任。百度与谷歌等在线信息媒介正在慢慢取代传统媒体渠道，搜索引擎公司运用算法权力来控制信息流，对内容进行排名，战略性地放置产品广告，并预测未来的用户行为。在算法运行时，谷歌、Yahoo和其他搜索引擎可以有效地为人们在查询条目时看到的结果创建“过滤”，但是，“这些过滤信息的在线服务不仅仅是算法。人不仅影响算法的设计，而且人还可以手动影响滤波过程”，我们可以通过分析滤波过程，剔除其中明显存在的主观偏见和技术偏见，“利用现有的文献和搜索引擎偏置守门，并提供了一个算法守门模型”。数据拥有者在利用算法对消费者的支付预见进行建模的时候，精准的用户画像应该剔除偏见，减少算法歧视现象。通过算法拥有者、算法使用者以及算法管理者的共同努力，消除算法偏差。

2.保障挖掘数据的准确性

“数据挖掘等算法技术消除了决策过程中的人为偏见，但是算法的好坏取决于它处理的数据。”数据已经成为国家战略性资源，数据也成为能为企业带来经济效益的资产，数据占有者和数据控制者通过大数据分析可以产生新知识、创造新价值、发展新生产等等，这就导致数据垄断的产生。大数据控制者可以通过长期积累的大量数据及数据挖掘分析或者与数据相关的经营交易获得经济利益，如Facebook滥用市场支配地位收集、分析用户数据等。数据垄断导致数据寡头的出现，数据寡头作为数据控制者来占有市场上的数据支配地位，应该用法律或者人工智能伦理审查制度限制数据寡头的权利。例如，《中华人民共和国反垄断法》就对数据寡头的行为进行了规制，对拒绝开放数据的行为进行约束，以保障数据挖掘的资源是全面的。2016年，亚马逊、谷歌、微软、IBM以及Facebook等多家公司联合成立人工智能伦理委员会来避免数据歧视、数据滥用、数据偏差等，数据的准确全面可以有效规避算法偏差，从而保障算法的客观性。同时，还要通过完善数据挖掘技术保证数据的准确性。“数据挖掘可以是歧视的来源，也可以是发现歧视的手段。”人工智能算法依赖于大量的数据，数据挖掘是程序员有意识的选择，当用于教授人工智能系统的数据反映了参与数据收集、选择或使用的人类的隐含价值时，就会出现算法偏差。数据挖掘是一种越来越重要的技术，用于提取隐藏在大量数据中的有用知识。然而，数据挖掘存在潜在的歧视，必须保证数据源的全面准确，以此来消除算法偏差，“在不损害决策效用的情况下，发现这些潜在的偏见并从数据中消除它们是非常可取的”。算法是基于数据的，算法依赖于人为选择的数据，因此，算法是形成性的而非描述性的，我们可以通过保障数据的准确性，来避免算法偏差的出现。

3.提高算法的透明性和可解释性

“算法黑箱”导致算法的透明性难题，算法的复杂性以及技术的不透明性导致算法偏差的产生，“算法可能会犯错，并带有偏见。大规模运行的复杂算法在技术上的不透明性使它们难以被仔细审查，导致公众对它们如何行使权力和影响力缺乏了解”。算法操作人员可能别有用心，这与透明性的要求相冲突，算法拥有者常把算法透明等同于暴露商业机密，认为会破坏其竞争优势，因此一些公司经常限制算法的透明度，造成算法的技术垄断或者数据垄断现象的出现。为了避免算法偏差的出现，有学者主动出击，如迪亚克帕罗斯(Diakopoulos Nicholas)、科利斯卡(Koliska Michael)在《新媒体的算法透明性》中提出算法透明性框架，即“我们将算法的信息公开定义为允许相关方进行监视、检查、批评或干预”。算法透明就要杜绝算法垄断，人工智能系统的开发人员要保持“透明操作”，让不同知识背景的主体能够理解与接受算法。“透明度只是实现算法伦理和问责制的一种方法。”把提高算法的透明度作为实现算法伦理的方法以及对算法主体问责的方法，算法中的伦理假设至少应该是透明的，并且容易被用户识别，通过人为干预、控制算法，消除算法应用的不公平现象、歧视性或者偏见的效果，减少信息的不对称性，能够准确描述算法的决策程序与学习机制，保证算法的客观性。

人工智能在我们日常生活中得到迅速而广泛的应用，算法化社会即将到来。然而，基于人工智能系统的一个关键障碍是它们往往缺乏透明度。算法的黑箱特性允许其给出强有力的预测，但无法进行具体解释。布赖斯(Bryce Goodman)和塞斯(Seth Flaxman)等人提出《欧盟关于算法决策的规定以及“解释的权利”》，米勒(Miller Tim)等把可解释性作为“展示自己或其他主题做出的决定所依赖的原因”，算法的可解释性是“解释人工智能算法输入的某些特性引起的某个特定输出结果的原因”。鼓励可解释人工智能的研究人员和实践者与社会和行为科学的研究人员和实践者合作，为模型设计和人类行为实验提供信息。乔治(George Nott)在《可解释人工智能：打开人工智能黑箱》中指出，美国国防部下属的国防高级研究计划局(Defense Advanced Research Projects Agency)一直致力于可解释的人工智能(XAI)，这项研究正力图开发新的机器学习系统，该系统将能够解释它们的原理。重要的是，它们还将把模型转换为可理解的、对最终用户有用的解释。人工智能技术要想得到行业和政府的信任，需要更高的透明度，并向用户解释它们的决策过程。为了算法应用安全，也需要对算法给出准确的解释，给出算法决策明确的理由，使用算法决策的系统和机构对算法的过程和特定的决策提供解释，通过技术手段打开技术黑箱，保障算法的可解释性和安全可靠性。

人类往往认为算法是客观的，在算法没有偏差的错觉下，人类倾向于相信人工智能算法的判断，忽略了这些判断已经反映了人类的偏见。人类接受人工智能算法的决策，并为这些算法创建更多有偏见的数据，如果不解决算法偏差，可能会导致人类偏差的进一步放大。在人工智能发展中，算法处于技术核心地位，算法的准确性能够保障人工智能输出结果的公平性与客观性。人工智能算法偏差是由于人为主观因素、数据偏差或者“算法黑箱”引发的，为了发挥人工智能的“领头雁”作用，应该强调人工智能算法主体责任，保障数据资源的准确性并提高算法的透明性与可解释性，让人工智能发展符合人类主流的道德伦理要求，把人工智能的算法歧视变为算法化、模型化的道德代码，通过设计和应用道德代码来规避算法偏差。

①[意]弗洛里迪：《第四次革命：人工智能如何重塑人类现实》，王文革译，浙江人民出版社2016年版，第107页。

②Thomas H.Cormen, Charles E.Leiserson, Ronald L.Rivest, Clifford Stein,IntroductiontoAlgorithms(3rdEdition), Cambridge, Massachusetts London, England:The MIT Press, 2009, p.5.

③Wang, Y.Kosinski, M., Deep Neural Networks are More Accurate Than Humans at Detecting Sexual Orientation from Facial Images,JournalofPersonalityandSocialPsychology, 114(2) , 2018, p.246.

④More accountability for big-data algorithms,Nature, 537(7621), 2016, p.449.

⑤Boyd D., Crawford K., Critical Questions for Big Data, Information,Communication&Society, 15(5), 2012, pp.662～679.

⑥ Burrell J., How the Machine“Thinks”: Understanding Opacity in Machine Learning Algorithms,SocialScienceElectronicPublishing,3(1),2015,pp.1～12.

⑦Rieder G., Simon J., Big Data, Corporate Governance, and the Limits of Algorithmic Accountability// Isis Summit Vienna-the Information Society at the Crossroads.2015，https://www.researchgate.net/publication/300249734_Big_Data_Corporate_Governance_and_the_Limits_of_Algorithmic_Accountability.

⑧Berendt B., Sören Preibusch, Better Decision Support Through Exploratory Discrimination-aware Data Mining: Foundations and Empirical Evidence,ArtificialIntelligenceandLaw, 22(2),2014, pp.175～209.

⑨Rosenblat A., Kneese T., Boyd D., Algorithmic Accountability, Social Science Electronic Publishing, 2014. http://www.datasociety.net/initiatives/2014-0317/. https://www.researchgate.net/publication/326116918_Algorithmic_Accountability.

⑩Kraemer F., Overveld K.V., Peterson M., Is There an Ethics of Algorithms?EthicsandInformationTechnology, 13(3), 2011, pp.251～260.