算法歧视的法律规制

周先伟

（东华理工大学，江西南昌，330000）

一、算法歧视现状

（一）事例导入

1.2016年，刘某在某机场通过网约车平台预约“普通型车辆”，实际来的却是七座商务车。尽管网约车平台特殊时期实行“调换车型，费用不变”举措，但实际却按商务车型收费。

2.廖某因出差需要经常预订国内某知名酒店。廖某用自己和朋友的账户在相同条件下查询的房价居然相差50元。酒店平台回复称可能是手机后台缓存的问题。

3.2014年，亚马逊公司上线了一款名为“算法筛选系统”的程序，设计人员发现该算法程序识别出“女性”或“女生”相关词汇的时候，会给该份简历相对较低的分数。

（二）问题归纳

上述事例共同点体现为当事人受到算法不平等的对待。事例1中，网约车针对同一客户给出不同价格，尽管网约车平台给出“服务升级，费用不变”的解释，但实际仍按升级后的车型计费；事例2中，不同用户查询的客房价格不同，按常理，回头客都会有相应的优惠待遇，然而廖某不仅没有享受到优惠反而因为“特殊身份”收到了更高价格待遇[1]；事例3中，“算法筛选系统”在无形之中对女性产生歧视。分析可知，造成该结果的原因在于程序设计员输入的原始数据存在片面性，缺少足够数量的女性求职者简历。

三事例显然违背了企业经营应遵循的公平诚信原则，同时也违背了正当程序要求。举例言之，当下线上购物狂潮火热，愈来愈多人选择线上购物，消费者在特定网站平台购物，网站显示的商品价格比同一平台其他用户查询的价格高，此种行为即违背正当程序的要求；专门用来预测罪犯在未来再次犯罪的概率和对社会危险性程度的COMPAS算法人工智能程序，对不同肤色测试者给出的结论各异，由此，可以认为无论此预测结果是否对测试者有利，皆表明该算法程序违反正当程序之要求[2]。

二、算法歧视表现及影响

结合国内相关学者研究，算法歧视本质是大数据悖论，是互联网时代算法程序对数据收集、分析、整合、输出过程中产生的同现实世界表现一致的歧视，形式为性别歧视、年龄歧视、种族歧视、政治歧视、弱势群体歧视、价格歧视[3]等。价格歧视是经济学中的术语，指商品或服务的提供者在向不同的消费者提供相同级别、相同性能和质量的产品或服务时，所对应的价格或者制定的收费标准存在差异。

（一）大数据杀熟

算法歧视已渗入到社会生活方方面面，购物、租房、出行等领域都有其身影。主要表现为隐性歧视和显性歧视，显性歧视极易被察觉。例如，公司招聘员工时设置身高、性别、年龄等敏感选项，由于劳动法等法律明确禁止歧视，故此类歧视较少存在。狭义上的算法歧视指隐性歧视，现阶段大有不断扩张之势。于现实世界，基于不同生活经历、认知能力、教育背景，对同一事物形成的印象存在差异，仅依据上述特征形成的看法存有片面性。此类似“刻板印象理论”，即人们对某个事物或物体形成一种概括固定的看法，并把这种看法推而广之，认为该事物或者整体都具有该特征，从而忽视个体差异。换言之，任何人在任何地点针对同一事物都有可能产生片面性的看法，这点是不可避免的[4]。隐性歧视通常体现为大数据杀熟。即商家运用算法程序，对平台内消费者浏览、购物记录进行汇总分析，产生囊括消费者个人偏好、购物习惯、消费水平的画像，再经由差异化定价测试，最终得到消费者最大支付意愿信息，进而针对不同人设计不同价[5]。

1.亚马逊差异化定价

2000年，一位亚马逊用户反映，自己在亚马逊购物平台浏览一款产品之后，将其删除，再次浏览该产品却发现曾经浏览过的DVD商品销售价格由原来的26.24美元下降为现在的22.74美元。对此不少用户反映自己也曾遭遇过亚马逊平台这种区别定价行为。一经报道，一时间亚马逊平台成为众矢之的，此事发生后不久，亚马逊CEO贝索斯针对此事公开道歉，称这只是平台进行的一项差别定价实验，并非专门针对某一用户，也绝不存在窃取用户数据信息行为，这仅仅是测试[6]。亚马逊的这一行为无疑是利用搜集来的用户数据，使价格歧视成为了可能。

2.线上企业店大欺客

2018年，中国青年报社社会调查中心联合问卷网对2008名受访者进行的一项调查显示，有51.3%的受访者明确表示自己遇到过互联网企业利用“大数据杀熟”的情况，59.2%的受访者指出信息不对称在大数据时代愈演愈烈，处于弱势一环的消费者最易受到不平等对待，59.1%的受访者希望价格主管部门尽快出台相关规定以此规范互联网企业歧视性定价行为[7]。

线下购物环节明码标价，故难成差异化定价之格局，然互联时代到来，使商家差异化定价变为可能。2018年，人民日报发表评论称“杀熟”是“店大欺客”的表现，不利平台发展也损害消费者利益。古人做生意讲以诚相待，诚信经营，对新用户和老客户提供的价格应相同，即使存在差异也应明示，且皆应尽可能提供优质服务。买卖双方往往经多次交易才建立互相了解、彼此信赖关系，本应更加悉心维护[8]。但大数据“杀熟”的到来，颠覆了普通人的常识，此模式下越熟悉的客户越要付出更高的代价。商家借助算法实施差异化定价显然是利用顾客的信任度来追求短期的超额利润。

（二）算法歧视影响

人民日报称算法歧视本质为隐藏型差别化定价，即“大数据杀熟”归根结底是一种“店大欺客”行为。企业商家通常经济实力雄厚，具有一定业内影响力，依仗自身在行业中所占主导地位，自认为拥有客户的信任度，实施隐藏的差别化定价，如此导致客户获得有瑕疵的服务。与线下差别化定价行为比较，线上“杀熟”行为更具隐秘性、维权之路更艰难。随着互联网发展，引发线上消费井喷之势，隐藏型差别化定价套路给消费者带来的消极影响逐渐加深。有学者言，差别化定价，实为老客替新客的差价买单。长此以往，差别化定价不仅损害老顾客，更断送了企业长久发展之资源。这种杀敌八百，自损一千行为实则愚昧至极。

1.损害公平交易权和隐私权

算法歧视对消费者的公平交易权和隐私权造成不利影响。差异化定价导致消费者在购买商品时不能得到与他人相同价格的待遇，是对消费者公平交易权的损害；算法平台将收集到的用户数据在不同平台间互换，借此给用户推送特定广告，损害用户隐私权。与诚实、守信、公平等原则背离的算法歧视通过自身发展进化，逐渐发展为一种与现代社会相隔离的“黑箱社会”。凯茜·奥尼尔在《数学毁灭武器：大数据增加不平等和威胁民主》中强调，我们逐渐依赖的算法已被证明具有不透明、可扩展且不公平的特性，如不加规制，可能会给我们造成更大的毁坏，算法歧视会加深民众对黑人的歧视、强化种族歧视和加剧人与人之间的不平等。公共领域算法判断某人是否具有危险性,可能恰巧与恐怖分子同名,便被算法系统标记为疑似恐怖分子而受到警方询问查验,此事例在美国已经发生多起[9]。

2.损害经营者合法利益

Page Rank算法是运行在Google的网页排序算法。Page Rank将每个目标网页进行附权值，网页越靠前表明该网页权重越大，网页越靠后则权重越小。另言之：谁被引用的次数多，谁就越重要。Google Shopping服务业务进入欧洲市场初期，Google公司为增强该业务竞争力，将Google Shopping所含商品排除在Page Rank算法等网页排序算法审查范围之外，并将上述商品信息置顶于搜索页面。欧盟竞争和反垄断事务调查人员经过调查表明，Google滥用了它在搜索引擎方面的市场主导优势——在欧洲，Google的市场占有率超过90%。自从Google Shopping在搜索结果中的显示位置被突出之后，其他比价服务网站（例如英国的Foundem）流量应声下降。Google公司这种以算法为工具，限制其他经营者的正常经营行为，是不正当的[10]。经营者运用算法技术限制其他经营者正常经营的行为，损害了正常经营者的合法利益，破坏了市场秩序。

三、域外规制现状

（一）美国：司法审查算法与赋予算法“可解释性”

1973年，联邦最高法院审理了一件算法歧视案。原告诉称麦克唐纳道格拉斯公司在雇佣算法中刻意设置种族、肤色、宗教、性别或国籍等因素限制应聘者就业权。法院经过审理查明，麦克唐纳道格拉斯公司雇佣算法程序确实存在限制应聘者平等就业权行为，故判决公司行为构成歧视[11]。2010年“冈萨雷斯诉谷歌”案中，法院通过对“95年《指令》的适用范围、95年《指令》的适用地域、搜索引擎的经营管理者在95年《指令》下的责任范围、95年《指令》确认的数据主体的权利范围”综合审查后认为谷歌公司以获取利润为目的，借助早已过时数据来提高自身搜索引擎能力的行为侵害了原告隐私权，给原告造成了歧视性影响，其行为违法。故此判决谷歌公司删除搜索结果列表中的链接[12]。赋予算法“可解释性”，加州伯克利大学研究人员针对算法歧视性问题提出，在设计A算法程序时加入B算法作为对前者的监测记录算法。

（二）德国：数据采集行为双重规制

1977年德国联邦立法机关颁布《德国联邦数据保护法》（BDSG），该法规定，对公共领域和私人机构数据采集行为进行统一规制，公共领域和私人机构按要求必须对个人数据尽到谨慎保护义务，法定机构和人员负责对保护工作跟踪监督，以减少数据滥用行为，实现个人数据保护工作全面覆盖为目的。

（三）欧盟：禁存“算法偏见”

《通用数据保护条例》（General Data Protection Regulation，简称GDPR）在前言中对profiling系统中的算法偏见进行定义，并在其后规定一系列用于减少甚至消除算法偏见的方法。为保证在处理数据过程中始终保持公平和透明，特定情况下数据掌握者应尽量避免人为因素干预，应借助计算或统计程序，采用组织化与技术化相结合的方法，一定程度上将个人数据中的不确定性和风险影响性减少到最低水平；数据主体的利益和权利是否遭受潜在风险、数据主体的个人基因或健康等敏感数据同样需要严格保护。此外，GDPR为数据拥有者设置一项义务：对数据保护风险进行识别和最大程度减少，即“数据保护影响评估”（Data Protection Impact Assessments，DPIA）。

四、法律规制建议

为更好地贯彻落实《中华人民共和国网络安全法》规定的个人信息收集、使用的“合法、正当、必要”基本原则，2020年10月1日实施的《信息安全技术个人信息安全规范》，对APP安全认证问题作出规定。该规范旨在解决公众反映强烈的APP“任意索权、关联授权、任意收集信息”等问题。同时，对现阶段各类APP在运行期间存在的不合理现象，例如，未对用户尽合理告知义务、APP账户注销困难、任意索要用户照片、个性化信息推送难关闭、第三方未经授权随意接入等问题，制定了一系列规制举措，指导APP设计、运行标准，进一步完善个人信息保护体系。

（一）拓宽《反垄断法》主体范围

部分学者认为，国内算法歧视行为的立法技术尚未成熟，为避免立法失误，现阶段不适合贸然立法。一项法律从孕育至诞生，离不开与现实社会的结合，算法歧视虽产生消极影响，然现阶段遵循底线思维，结合当前社会实际，修正完善现有法律，使其对算法歧视更具针对性，对其实行可“保守规制”更符合实际。通过对大量实例分析可知，算法歧视实施主体有时并不具有市场支配地位。根据《反垄断法》第六条之规定，构成不正当竞争之主体必须具备以下特征：具有市场支配地位。依据该条规定，不具市场支配地位的经营者主体所实施的行为不构成不正当竞争。然而，算法歧视本质上即为经营者依托算法程序建立优势地位，滥用算法技术和消费者数据，实施侵害消费者合法利益、损害其他经营者利益及扰乱正常社会秩序的行为。借助该种不正当竞争行为，经营者获取了超额利润。因此，应当适当拓宽《反垄断法》中“支配市场地位的经营者”范围，认定“经营者滥用算法技术实施差异化定价，导致消费者和其他经营者合法权益受损失的行为”同样构成不正当竞争。

（二）对算法源数据实行安全监管

首先，对算法源数据作恰当分类。将算法源数据分隐私数据和普通数据。细言之，针对隐私数据（姓名、住址、联系方式等）应尽特别谨慎之义务限制使用：禁止商家将消费者隐私数据储存流转；就普通数据则只需尽一般注意义务即可。如此规定可在一定程度减少平台“大数据杀熟”行为，又可以最大程度提高源数据的利用率。其次，应完善源数据分析技术，该技术应由政府掌握并行使，针对平台“大数据杀熟”，源数据分析技术对消费者的消费行为作出整合后，及时将可能产生杀熟之预测反馈给消费者，目的是最大程度避免消费者受到算法歧视的损害[13]。

（三）建立平台算法审核机制

由政府人员、算法技术员、高校老师和普通人员组建“算法审查委员会”，定期或不定期对平台算法运行情况进行审查监督，减少企业利用算法实施算法歧视行为。“算法审查委员会”人员配比最大程度保证其公平合理性：政府人员的参与可保证其权威性，算法技术人员的参与可解决技术问题，高校老师的参与有利于向学生普及算法相关知识，普通人员的参与可在一定程度落实公民参与权。“算法审查委员会”要求企业定期对平台算法开展复查，并将复查报告对外界公布（涉及机密的算法应做技术处理），以复查报告作为企业是否存在算法歧视的重要审核依据之一，针对复查结果中可能存在不当使用算法的企业，“算法审查委员会”有权将其公示在国家企业信用信息系统；对于确定存在运用算法扰乱市场秩序的企业，市场监管部门可依据《反垄断法》《消费者权益保护法》或其他既有法律法规作出处罚[14]。

（四）算法解释权

赋予数据主体算法解释权。即数据主体认为平台算法输出之结论偏离自己预期且该结论与自己合法权益关系密切时，有权要求平台对该算法工作原理（相关数据分析处理过程）解释。杜宴林教授认为，设置算法解释权一方面赋予数据主体在算法程序得出的结论与自我预期差异过大时有知悉真相之权利；另一方面，当平台算法存在设计不合理、源数据表现偏差，数据主体有要求救济的依据。于此需要说明的是，算法解释权并非意味将平台算法所有运算代码公开，这既违反《反不正当竞争法》等相关法律规定同样也违背公平性，多数算法运算代码涉及商业机密，数据主体完全知悉算法的运算原理及过程缺乏现实操作可能性。另言之，算法解释权最终目的乃通过有针对性的开放以可被理解的方式提升平台算法的透明度，在保证合法公正前提下不干扰企业正常运行[15]。赋予数据主体算法解释权能够明确平台管理者算法解释义务，增强算法透明性，维护数据主体知情权，增强算法可责性。

五、结语

算法歧视涉及到个性化定价，杀熟是通俗表述，针对算法歧视问题需要根据我国现阶段国情来解决。“大数据杀熟”本身是一个中性词，并没有好坏之分。运用大数据杀熟实施不正当竞争和损害消费者利益的行为，有规制之必要性和急迫性。算法歧视是否形成竞争损害可从消费者福利和社会总福利两方面分析。消费者福利标准以保护消费者利益为原则，认为差异化定价行为比统一定价更加损害消费者利益,即消费者无任何义务为高低价“买单”；整体福利标准以提高社会总体福利为原则，允许经营者运用差异化定价方式最大程度吸引消费者,借此补偿经营者因低价销售环节之损失。故此应以消费者福利标准作为违法审查标准基础，防止算法歧视行为野蛮生长。《反垄断法》《消费者权益保护法》《民法典》等不同部门法应相互协调，尤其要发挥《反垄断法》在杀熟行为中的特别作用。针对消费者群体，市场监管机构要及时通过监管规则向市场释放信号，通过进一步提升算法透明度来解决算法歧视引起的问题。算法歧视规制体系的完善不仅有助于人工智能的良性发展，人工智能辅助下的科技发展对我国建设现代化的科技强国也大有裨益。