“人吃人”：算法社会的文化逻辑及其伦理风险

□郭 毅

【导 读】算法社会是一个普遍使用算法、机器人与人工智能进行决策的社会，也是一个围绕算法逻辑而组织和运转的社会。算法社会的技术神话承诺提高社会运转效率、增强社会成员幸福度和安全感，却无法回避隐私数据泛滥、知识权力高度不对称、黑箱运作、算法妨害等伦理风险。算法文化与民主文化格格不入，它放大了人类社会既有的不平等、不透明、区隔、贪婪、欺骗与操纵。

杭州一家互联网公司的徐先生，每到年底就要自掏腰包购买机票，反复往返于最便宜的航线。而这一切舟车劳顿和疲于奔命都与公务或旅游无关，所为只是要在航空公司的数据系统进行年终汇算之前，凑足航空里程并保级金卡会籍以在下一年度享受体面的机上待遇。如今有成千上万的人同徐先生一样，每年总有一些时候只是为了飞行而飞行，这些人被叫作“飞客”。

如果按照对旅行意义的经典理解，“飞客”们的那些“为了飞行而飞行”当然可以被视作毫无意义。但很显然，各大航空公司的会员分级制度改变了人们对于旅行和飞行意义的经典认知。与此相似，连锁超市近年来推出的免费送货上门业务，也在一定程度上刷新了购物的意义。当精于算计的妈妈们内心满怀着对于购物成本降低的窃喜，享受着送货上门带来的便利时，却常常为了凑足免费送货的消费额度而把一些并不需要的东西放进购物车里。

无论是航空公司的会员分级，还是连锁超市的免费送货上门服务，制度背后都隐藏着各自的一套算法逻辑。这些算法看上去仅仅是一些数字的简单相加，但结果粗暴而残酷。而算法逻辑的终极奥秘在于，当你试图与算法周旋并斤斤“算计”时，你却最终成为被算计的那一个。为“保级”而飞行的里程和为“凑单”而消费的商品，无不如此。

算法（algorithm）是用以解决问题或达成特定目标的程序，它是“配方、规则、流程、方法”的代名词。在古代中国和日本，“术”即算法。在中世纪欧洲，“算法”一词可溯及9世纪中亚数学家提出的“algebra”，后经阿拉伯语和拉丁语辗转翻译而来。［1］很显然，算法不是计算机和互联网时代的产物，但互联网技术无疑使历史悠久的算法逻辑更加广泛地渗透在社会的方方面面。无论是职场就业还是招生入学，新闻报道或是医疗保健，不管是政府社会治理还是企业市场行销，算法看似无处不在。最近甚至有学者断言，算法以及与之密切关联的机器学习（machine learning）和人工智能（artificial intelligence）已经成为当下社会的“新的支柱”。［2］4

然而算法、大数据、人工智能、机器学习遭受着来自西方学界的普遍耳光。有关算法在社会治理方面能够降低成本提升效率的迷思以及人工智能优于人类决策的科学性、准确性和公正无私的神话，最终都被证明只是一厢情愿和趋于“忽悠”性质的“技术乌托邦”（techno-utopia）。［2］195-196而与互联网企业和政府部门对新概念的痴迷和连番炒作不同，越来越多的学者注意到算法社会中的一系列伦理问题及其对于民主文化（democratic culture）的深层次破坏。

一、算法社会的本质

在英文学术界，最早提出“算法社会”（algorithmic society）概念的是美国著名传媒法学者、耶鲁大学讲席教授杰克·巴尔金（Jack Balkin）。他认为，算法社会是一个普遍使用算法、机器人与人工智能进行决策的社会，也是一个围绕算法逻辑而组织和运转的社会。［3］如今，社交媒体上的算法可以决定人们接触到何种信息，银行和金融体系的算法能够自动判定对不同人群的放贷额度，警务系统的算法则可以快速找出潜在的犯罪嫌疑人或预判未来可能发生的暴力恐怖活动，娱乐行业的算法可以预测电影票房，医疗机构的算法则能够评估疾病风险。算法被用于辅助或替代人类进行判断、评估和决策，有时也直接实施和执行这些决策。这种现象已具有普遍化，它渗透在人类社会方方面面，以至于人类对算法提供的决策形成高度依赖。

算法社会固然在一定程度上怀有对提高社会运转效率、增强社会成员幸福度和安全感的美好初衷，但它终究无法掩饰人类的天真和懒惰。人们天真地以为机器人、人工智能和算法程序在评估、判断和决策方面比人类更迅捷、更高效，以为它们甚至可以预见人类所不能预见的、所无法完成的事情，做人类难以做出的取舍和抉择，并且永远不会觉得疲劳，也不会受到情感因素的干扰。于是，人类通过技术开发和编程将人类意图投射在算法程序之上。同时，本来应由人类肩负的责任，也被转移到算法之中。这种意图和责任在技术上的双重投射表明，人类既想通过算法程序降低决策成本，又不想担起其应当承担的责任。

巴尔金认为，理解算法社会的关键并不在算法本身。首先，是人类编写和开发了算法程序，并将之接入各种数据库，进而使用或操纵算法程序。其次，在算法决策过程中收集和使用的数据是由人类提供的，也是关于个人的，而正是人类决定了何时、为何以及如何使用算法。最后，算法程序作为一种技术表现形式是一群人与另一群人之间社会关系的中介物，它总是被嵌入社会关系之中，也折射出或者强化了人类社会中既有的复杂权力关系。因此，理解和思考算法社会的关键是要研究算法是如何再生产人类社会中的权力关系，如何再现乃至放大人类社会中的权力不平等现象。对算法社会的批评不应仅仅停留在对算法程序和算法技术的关切上，而应放在算法程序背后默默收集并分析利用各种数据，操纵算法以达成其特定目标的个人和组织上。［3］

二、数据泛滥和知识权力的不对称

大数据是算法社会的动能，也是算法社会运行的产物。算法社会中的决策建立在对大量可以轻易获取或购得的个人数据的加工与分析基础之上，而算法决策结果又作为加工后的新数据在算法社会中以看不见的形式自由流通。算法社会意味着政府和企业拥有无所不知的能力，他们总是能够知晓人们何时何地正在做什么、将要做什么。为了保证算法社会的高质量运转，以及维持那种“无所不知”的迷人能力，政府和企业需要不断降低大数据计算、通信、存储的成本，持续拓展获取数据的渠道。IBM 公司的一项调查数据显示，世界上有超过90%的数据产生于2015年之后，而此后每年新产生的数据成倍增长。［4］35

借助信息技术对个人数据进行广泛收集、分析、利用早已成为算法社会中被人们默许的法则。当注册成为网络社交平台的新用户时，当办理住院手续时，当在购物网站购买商品时，当用手机扫码点餐时，当进行健康申报以获得行程卡或健康码时，人们常常麻木地提供着个人数据和隐私信息。有些时候，个人隐私数据甚至在不经意间透露。为搜索周边的外卖商家而开启的手机定位就悄然记录了人们的行程轨迹和饮食偏好。

大数据是算法社会最宝贵的资本。企业借助用户的大数据获利，政府利用居民的大数据制定政策实施管理。在算法社会，谁具备收集、分析和使用数据的资源和能力，谁就拥有了操控他人的权力。［3］但问题是，在充斥着数据收集和严密监视行为的算法社会，只有少数人拥有这种资源和能力。更重要的是，这些隐藏在算法程序背后的人，对我们了如指掌，而我们对他们却知之甚少。这构成了算法社会知识和权力分配的高度不对称性。正如意大利学者在《大数据与可计算的社会》一书中感叹：“这是一种希区柯克式的惊悚——他们知道你而你不知道他们！”［4］59

美国学者帕斯奎尔（Frank Pasquale）在《黑箱社会》中展现了对算法社会知识权力不平等现象的深刻担忧。他写道：“公司和政府部门越来越多地广泛记录我们的生活，而我们却不清楚这些信息流向何方，也不知道它们用作何处，更搞不懂这些信息会对个人产生怎样的后果。”他批评道：“当我们的一举一动都在别人的掌控和监视之中，而我们却对他们一无所知时，民主和自由市场的口号就变成了空谈。”［5］4

作为算法社会不平等知识和权力关系中占优势的一方，那些隐藏在算法程序背后的人在获取公民隐私数据方面威逼利诱。一些企业不断鼓励用户主动提供个人隐私数据，仿佛唯有如此才能令用户享受到更优质贴心的服务。而另一些企业则懒得扮演微笑的面孔。社交媒体上的新用户被强制要求提供个人信息，以换取接入平台阅览信息和发言的机会；手机用户在下载新的小程序后也必须勾选同意服务条款才能使用。然而面对算法社会中权力关系占有优势的一方，普通人别无选择。正如帕斯奎尔所说：“在遇到有关服务条款的协议时，人们会机械地点击‘我同意’，因为他们很清楚自己无法更改这些条款，并且认为这些条款不值得细读。”［5］201

巴尔金把这些占有知识和权力优势的人称作算法社会的“信息受托人”（information fiduciaries）。［3］在法律领域，信息受托人指那些在提供高质量服务时必须以收集客户隐私信息为前提的人。其收集的信息越多，提供的服务效率和质量越高。受托人与委托方之间存在知识、能力、权力的不对称，他们能够全面掌握或者轻易监视委托方的个人隐私，而委托方则对受托人的个人生活和工作流程缺乏充分了解。受托人和委托方之间良性的契约关系，应当建立在互相信任的基础上。委托方必须毫无戒备地将自己的隐私信息交付给受托人，而受托人则必须避免使用这些信息直接或间接地损害委托方的利益。在日常生活中，律师和医生就是典型的信息受托人。客户向医生和律师坦承隐私信息，却又不清楚医生和律师在提供服务时如何使用这些信息。尽管存在知识和权力的不对称，但在良性的契约关系中，客户愿意相信其主治医师和代理律师，而医生和律师也会恪守为客户保密的义务并处处为客户利益着想，使用这些敏感信息为客户提供更好的医疗和法律援助。

巴尔金认为，那些大量收集终端用户个人信息的互联网服务企业（如搜索引擎、社交媒体平台）是算法社会的信息受托人。用户向企业和组织坦承隐私信息，却无法监督这些企业和组织在获取和使用信息过程中的具体运作方式，存在知识和权力的不平等。但与医生和律师不同，互联网服务企业通过将客户的个人信息货币化实现盈利，以补贴公司支出，进而可持续地为终端用户提供免费的互联网服务。而将客户信息货币化却并不在医生和律师的业务范围内。医生和律师收集到的委托方信息仅被用于服务委托方（如帮助其打赢官司、重获健康），而互联网服务企业收集到的用户信息则是被用于数据盈利。视频网站和社交媒体鼓励用户记录并公开自己的日常生活和所思所想，而这些被发表在网络平台上的内容在英文中被叫作“feed”（饲料）。用户数据毫无疑问地沦为视频网站和社交媒体赖以生存和盈利的数字食量。此外，医生和律师在服务委托方时，总能够提示对方潜在的风险，而互联网服务企业则没有提示终端用户风险的义务。［3］上述区别揭露了算法社会信息受托人的真实面目，暴露了其唯利是图的本质。更成问题的是，现行法律却未能像对待医生和律师那样约束算法社会中的信息委托人，以至于后者肆无忌惮地收集和利用着人们的个人数据。

三、黑箱运作和算法妨害

帕斯奎尔的《黑箱社会》揭示了算法决策的黑箱运作。他认为与数据收集和使用过程中的程序不透明和权力不平等相比，更成问题的是算法决策过程中的不透明性。他在书中大量描述了黑箱运作的算法决策对普通民众日常生活带来的困扰。例如，有人因为在金融系统内较低的信用评分而导致贷款时要比别人付出更高比率的还款利息，还有人仅仅因为加入了网络社交平台上的某个小组而遭到公司审查甚至失业。可是面对算法决策造成的这些残酷后果，人们往往无从得知这些决策究竟是如何被算法计算出来的。

算法决策黑箱运作的重要原因是数据的失控和滥用。当人们正在享受某家医疗类网站提供的线上就医服务时，网站也在监控着人们的健康数据，这一过程为数据滥用敞开了大门。在算法社会，为了节省算法决策过程中的数据获取成本而出现了数据共享。一家企业获取的用户数据经常被另一家企业购买并无限制地使用，而政府和企业之间也围绕用户数据产生了微妙的交易或联姻。帕斯奎尔揭露，美国曼哈顿下城的安全协调中心从2009年起就通过高盛集团、花旗集团、美联储和纽约证券交易所获得大量用户财产记录、健康数据、信用报告、生活缴费记录等个人数据。它“以信息共享的名义让政府能够从企业收集用户信息，从而绕过宪法对信息采集行为的限制”［5］65。而波音公司、星巴克、亚马逊、阿拉斯加航空公司等美国企业也都希望与华盛顿联合分析中心合作以获得政府内部掌握的公民数据。联邦快递甚至通过与美国政府合作而获得了允许进入政府安全数据库的特权。［5］69-71数据的失控与滥用使得算法使用者羞于承认或解释算法数据的来源，因此不愿公开算法决策的详细过程。现行法律也对此束手无策。企业援引保护商业秘密的条款抗辩，使算法变成一种“无须披露的知识产权”［5］193。

黑箱运作的算法决策过程同样伴随着权力关系的不平等。算法本身不具有权力，但它通过“构成他人行动的场域”而参与权力的运作，具体方式包括“判定状态”（status determination）、“风险评估”（risk assessment）和“人口管理”（populationmanagement）。［2］1-16

从不同渠道获得的个人数据被录入算法程序，后者遵循算法编程者和操纵者预先设定的计算公式和特定目标整合、运算、分析数据，其运算结果通常是判定事物现有状态或预测评估未来风险的一些结论性观点。在这个算法决策过程中，数据代码围绕算法设定的指标项建构起原始数据所有者的数字画像，每个人都被贴上不同的身份标签，有着相似身份标签的人又被依照算法使用者的目的进行高低评分，进而被划分为“三六九等”。在算法世界，每个人都有数字身份，“个人特征被可量化的描述取代”［6］，主体性的“人”简化为被评分量化和评估的“物”。于是哪个地区是犯罪高发区，谁是奢华别墅的目标消费者，何时何地会发生恐怖袭击，什么时候该推行退休延迟制度，这些人类要花费大量成本才能做出的决策和判断，算法程序可以在瞬间完成。

但这一切都是以对原始数据所有者进行标签化的区隔（categorisation）为代价的。社会区隔早已存在于原始人类社会，但算法以其更加细致的分类标准人为地加剧了区隔。算法社会中，人类已不仅仅被划分为男人和女人，在注册脸书（Facebook）账户时，性别选项竟多达56个。还有更多区隔根据使用算法的企业的经济利益和经营需要而刻意划分，但这些区隔常造成不必要的社会冲突。社交网站把影迷歌迷划进不同的“粉丝团”，分属不同“粉丝团”的成员在线上线下隔空对骂屡见不鲜，而如果没有这样的人为区隔，或许不同阵营的对骂者会是同一个班级里关系要好的同学。

在算法社会中，千千万万的算法程序构成了一张个体难以逃脱的宿命之网，用户的数字画像也在这张网上被任意滥用和共享。用户在商场里租借移动充电宝时，是否享受免押金待遇是由微信消费积分决定的。这个由一家与充电宝提供商毫不相干的公司先前描摹的用户数字画像竟然决定了用户的未来权益。在西方一些国家，信用卡公司甚至会将用户的婚姻咨询记录视为逾期还款的征兆并提高持卡人的还款利率。一个“标签”决定一生，用帕斯奎尔的话说，这简直“相当于未经正当程序审判便施加各种刑罚一样”［5］80。这是算法社会带来的无妄之灾。

算法决策也不断再现和强化了人类社会中的不平等现象。算法未必比人类更客观公正。正如帕斯奎尔所说，“算法程序的编写是由人完成的，而人又会将其价值观嵌入程序，编写程序过程中使用的数据也会不可避免地带有人的偏见”，这致使“弱势群体的处境更加艰难”。［5］55-56司机手机上安装的自动上报路况信息的算法小程序可以帮助地方政府了解到哪些路面需要维修，但其结果往往造成那些因贫穷和科技知识落后而无法使用手机上报路况的居民聚集区的道路迟迟得不到修缮。［7］当社会下层人士偶然的一次逾期还款就造成其征信记录分数降低时，富豪和特权阶层们却可以轻易购买或篡改自己的信用分数。

只要在算法设计中做些手脚，算法操纵者还可以轻而易举操纵人们的行为，达到“人口管理”的目的。他们可以通过算法程序决定人们做什么、想什么和买什么。他们也可以通过提供服务和“贴标签”的双重戏法诱使或迫使人们为了享受服务或避免惩罚而遵照算法操纵者的意愿和期待调适自己的行为，前文提到的“飞客”与“凑单”就是典型案例。于是人类正从做自己的主人变成被算法操纵者控制的客体。［4］164

巴尔金将算法社会中的上述诸般怪现象称为“算法妨害”（algorithmic nuisance），认为其本质和工业社会的环境污染如出一辙。在工业社会，重工企业将自身发展的成本和代价外化，造成了环境污染。在算法社会，算法操纵者通过算法达成特定目标的同时将算法决策的社会成本和代价外化，造成了区隔、歧视、操纵等算法妨害，为普通民众带来了无妄之灾。

四、结语：算法社会是“人吃人”

1973年美国电影《绿色食品》虚构了一个关于2022年人类社会“人吃人”的惊悚故事。电影中的2022年人口膨胀、物资短缺。一家科技食品公司发明了一款名为“绿色食品”（Soylent Green）的产品。公司宣称这是一种使用浮游生物做成的高营养代餐，但事实上是用死尸做成的。人们争相购买的“绿色食品”背后隐藏着一个“人吃人”的惊天秘密。

巴尔金将大数据视为驱动当下社会高效运转的“绿色食品”，而算法社会的本质就是“人吃人”。在暗箱操作的算法决策过程中，算法操纵者成为算法社会当之无愧的无冕之王。他们深谙“治人者食于人”的道理，威逼利诱人们源源不断地奉献个人信息和数据，以此构建着自己的算法帝国，维系着治人者的威权并从中获益。

挪威学者布彻（Taina Bucher）在《算法权力与政治》一书中写道：“算法不仅影响我们的社会和文化，它本身就是一种文化。”［8］但只有当人们能够均等参与和决定如何使用权力的时候，这种权力形式才是民主的；只有每个人都拥有公平和均等的机会做出与自身相关的决策时才构成一种民主文化（democratic culture）。［7］而算法文化显然与此格格不入，它放大了人类社会既有的不平等、不透明、区隔、贪婪、欺骗与操纵。帕斯奎尔的呼吁发人深省：人们是时候对这种算法文化进行重新思考了，“这种思考更多的应是质疑，而不是顺从、谄媚和对科技媒体的吹捧”［5］125。

注释

［1］Jean-Luc Chabert.A History of Algorithm：From the Pebble to the Microchip［M］.Berllin：Springer，1999，pp.1-4.

［2］Marc Schuilenburg and Rik Peeters.The Algorithmic Society：Technology，Power，and Knowledge［M］.London：Routledge，2021.

［3］Jack M.Balkin，“The Three Laws of Robotics in the Age of Big Data”［J］.Ohio State Law Journal，2017，78（5）：1217-1241.

［4］Domenico Talia，Dig Data and the Computable Society：Algorithms and People in the Digital World［M］.London：World Scientific，2019.

［5］Frank Pasquale，The Black Box Society［M］.Cambridge：Harvard University Press，2015.

［6］Ignas Kalpokas，Algorithmic Governance：Politics and Law in the Post-Human Era［M］.Switherland：Palgrave Macmillan，2019，p.110.

［7］Jack M.Balkin，“Free Speech in the Algorithmic Society”［J］.University of California Davis Law Review，2018，51：1149-1210.

［8］Taina Bucher，If…Then：Algorithmic Power and Politics［M］.Oxford：Oxford University Press，2018，p.150.