作为物质与权力结构的人工智能

2021-08-09黄湘

第一财经 2021年8期

关键词：克劳福德人工智能

黄湘

《人工智能地图集：权力、政治以及人工智能的行星成本》

作者：[美] 凯特·克劳福德（Kate Crawford）

出版社：Yale University Press

出版时间：2021年4月

定价：28美元

本书揭示了人工智能在真实世界中的成本、运作逻辑和后果，破除了人工智能“技术中立”的神话。

凯特·克劳福德是纽约大学AI Now研究所的联合创始人

2016年，美国学者克劳福德（KateCrawford）和乔勒（Vladan Joler）启动了一个名为“解剖人工智能系统”的研究项目，以亚马逊公司发布的智能语音系统Echo为研究对象，旨在追踪该产品的生命周期，刻画出其工作所需要的各种条件和因素。最简单的问题包括：Echo有哪些组件？它怎样提取数据？数据管道有哪些层次？他们意识到，在这些简单的问题背后潜藏着很多复杂的问题，诸如：这些组件来自哪里？芯片是在哪里生产的？构成芯片的物质原料在哪里被发掘和冶炼？物流和供应链的路径在哪里？数据提取造成了怎样的法律和伦理问题？如何追踪这些设备的寿命终结？如何审视马来西亚、加纳和巴基斯坦等地的电子垃圾堆放点？

这个研究项目耗时两年，在2018年结项，现已成为纽约市现代艺术博物馆和伦敦维多利亚和阿尔伯特博物馆永久收藏的一部分。在研究过程中，克劳福德意识到，有必要将对Echo这个设备的分析扩展到整个人工智能产业，从而揭示这一产业的真实成本，及其对地球的真正影响。这是她的著作《人工智能地图集：权力、政治以及人工智能的行星成本》（The Atlas of A I： Power， Politics，a nd t he P la net a r y C osts of A r ti f icia lIntelligence）的主题。

克劳福德指出，关于人工智能的著作几乎无一例外地只是谈论非常狭窄的技术成就，这使得大众对人工智能形成了漫画式的印象，认为它仅仅是高度抽象的代码、程序和算法，是一个可以观察周遭环境并在各种可能的行动选项中作出最佳决定的“智能代理”（intelligentagents），在很大程度上是客观和中立的。但事实上，人工智能是一种提取技术—从地球中提取矿物，从流水线上的工人群体中提取劳动力，从数十亿用户的每个动作和表达中提取数据，从而对地球的环境和资源产生了强烈而持久的冲击，并且加剧了人类社會业已存在的各种结构性不平等。

之所以将本书命名为“人工智能地图集”，是因为地图集不是寻常的书籍，它可以提供不同的视角和尺度，可以在一个尺度上统览整个大陆的规模，也可以在另一个尺度上查看一座山脉或一个城市。与此类似，克劳福德在书中提供了不同的视角和尺度，帮助读者在更广泛的背景下理解人工智能。

本书第一章的主题是“地球”，讲述了人工智能产业对于矿物资源和能源的巨大消耗。人工智能的硬件生产需要以多种矿物资源为基础。2010年美国制定的《多德-弗兰克法案》要求人工智能的硬件生产商避免使用“冲突矿物”，亦即在爆发武装冲突的地区由当地军阀开采，并且以此提供军费的矿物资源，这在一些非洲国家—比如刚果民主共和国及其周边地区—司空见惯，不仅采矿的利润用于战争和杀戮，而且矿区的工作条件相当于奴隶制。但是，英特尔和苹果等技术巨头只审核冶炼厂而不是矿场，这实际上无法阻止沾满鲜血的“冲突矿物”进入其供应链。

另一方面，虽然人工智能产业的大多数矿物并不是直接来自战争地区，这并不意味着它们不存在巨大的灾害。稀土矿物的开采常常会导致地貌破坏，河流酸化，以及曾经对当地生态环境至关重要的植物和动物物种的灭绝。

矿物是人工智能的骨干，电力则是其生命线。在公众印象中，和烟囱林立的传统产业相比，人工智能产业的碳排放要少很多。可事实并非如此，作为当今人工智能核心的“云计算”是一种资源密集型的采掘技术，其计算能力需要消耗大量能源。当前，全球计算基础设施的碳足迹已经与航空业的高峰期相当，而且在以更快的速度增加。据专家估计，到2040年，人工智能产业将占全球温室气体排放量的14%;到2030年，仅仅数据中心的电力需求就会增加15倍。美国马萨诸塞大学阿默斯特分校2019年发表的一篇论文指出，即使乐观估计，仅仅运行一个自然语言处理模型就产生了超过66万磅的二氧化碳排放量，相当于5辆汽油驱动的汽车在其总寿命中的排放量，或者125次往返于纽约和北京的航班的排放量。

第二章的主题是“劳动”，克劳福德宣称，她关注的不是机器人能否取代人类，而是人类如何越来越像机器人一样被对待。人工智能产业一个不太为人所知的事实是，它需要大量低薪工人来帮助建立、维护和测试系统。这些人从事重复性的数字任务，例如对数千小时的训练数据施加标注，删除重复的条目，或是对暴力视频和仇恨言论进行内容审核等等，他们的劳动对维持人工智能系统至关重要，但是报酬很低，通常远远低于当地的最低工资标准。这是因为这些工人身处一种特定的劳动关系—“众包”（crowdsourcing），亦即公司把过去由正式员工执行的工作外包给非特定的大众网络。“众包”在空间和时间上重新定位和分散了劳动，工人成为分布式的隐性劳动力，与自己的工作成果疏远，并与从事相同工作的其他工人脱节，就更容易受到雇主的剥削。

精密控制每个员工的工作流程，是工业资本主义“福特制”（For di sm）的基本特征。人工智能系统则将“福特制”发扬到了极致，工人的工位上配备的传感器会不断地将他们的体温、身体状况、与同事的物理距离、用于浏览网站而不是执行指定任务的时间等信息汇报给经理。人工智能极大地加剧了人类身体的机械化。

第三章的主题是“数据”。“数据是石油”的观念从21世纪初期开始流行，这意味着个体对于私密数据的所有权和控制权被剥离了，人工智能产业可以在未经同意和许可的情况下提取数据，不仅互联网上的所有内容都可以在不需要协议的情况下为其所用，而且可以随意通过摄像头等设备收集现实世界中的各种数据。这些数据表面上似乎是匿名的，但实际上可以从中得到大量高度个人化的、意想不到的信息，严重侵犯了隐私。

更有甚者，在将数据视为类似于石油的“原材料”的时候，人工智能产业倾向于剥离数据具体而特定的历史语境、叙事脉络和人性特征，其后果非常可怕。例如，有一组机器学习的研究人员声称自己开发了一个“自动犯罪分类系统”，只需要“武器、嫌疑人数量、社区和地点”四项信息就能預测某一起暴力犯罪是否与团伙有关。他们使用加州洛杉矶警察局的犯罪数据库作为训练人工智能系统预测犯罪的“原材料”，但是这个数据库错误百出，加州的审计师发现，在其审查的数百条犯罪记录中，23%的记录缺少支持，该数据库甚至还包含了42个婴儿。

然而，当有人质疑“怎么能确定训练数据一开始就没有偏见”和“如果有人被误标为帮派成员会怎样”之时，这个研究小组的成员回应说：“这是我不知道如何适当回答的伦理问题，我只是一个搞技术的。”这种将技术问题和伦理问题分开的做法，体现了当前人工智能产业的一个基本缺陷，即拒绝承认对造成的危害负有责任，理由是超出了研究范围。

第四章的主题是“分类”。分类政治是人工智能的一个核心实践，歧视性人工智能系统的例子不胜枚举，例如，苹果公司的信用算法存在性别偏见，预测罪犯是否会再次犯案的风险评估软件COMPAS存在种族歧视，Facebook的广告定位刻意阻止某些特定种族、年龄或性别的群体看到广告，或其他敏感因素有意地阻止人们看到与住房、信贷和就业有关的广告。

一个典型例子是亚马逊公司2014年设计的人工智能招聘程序。亚马逊公司的工程师使用了一个数据库，内容包括10年来的公司员工简历，以此训练一个人工智能统计模型，让它自动从应聘者的简历中筛选出最出色的人选。然而，这个模型出现了一个严重问题，它自动降低了任何包含“女性”一词的简历的估值，导致没有任何女性被推荐。这是因为亚马逊公司10年来雇用的绝大多数工程师都是男性，这些简历训练出来的人工智能系统沿袭并放大了已经存在的性别偏见。

克劳福德强调，历史形成的不平等会影响资源和机会的获取，而这反过来又形成了数据，然后，这些数据被提取出来，用于技术系统的分类和模式识别，结果在技术中立的幌子下强化了不平等。每一个用于训练机器学习系统的数据库，其实都是把复杂而多变的世界固定为某种分类，这个分类过程隐含了内在的政治、文化和社会选择。现实世界中的各种权力结构藉此被构建在人工智能的架构之中。

第五章的主题是“情绪”。通过分析人脸图像来检测情绪，是当前人工智能产业的前沿热点，人工智能招聘公司HireVue、微软的Face API、亚马逊的Rekognition等都宣称具备这一功能。相信人工智能可以检测情绪，是基于如下假设，即人类存在普遍的、跨文化的几种情感分类，这些情绪会在人脸上流露出来，并且可以被机器检测到。然而，这种假设本身就是成问题的，很多人类学家和心理学家都指出，人类的情感复杂微妙，不可能简单分类，而且脸孔流露的表情是和文化有关的。研究表明，一些软件把黑人脸孔解释为比白人脸孔具有更多的负面情绪，认为黑人更容易产生愤怒和轻蔑，这是因为这些软件的训练数据本身就包含了种族偏见。

对于人工智能检测情绪的盲目信任，在日常生活中会导致求职者因为微表情与其他员工不一致而被不公正地评判，顾客因为某些神情而被人工智能系统标记为有可能偷窃;而对于希望过滤敌我双方，区分谎言和真相的警察和情报机构来说，后果更是不堪设想。

第六章的主题是“国家”。2013年，斯诺登向媒体泄露了美国国家安全局关于“棱镜”项目的秘密文件，震惊全球。“棱镜”是美国国家安全局在2007年启动的绝密监控计划，在与全球多家通讯和互联网技术巨头签订协议的基础上，参与该计划的部门可以在未获得法院批准的情况下秘密监控在美国境外使用这些巨头服务的任何客户，或是任何与国外人士通信的美国公民。斯诺登的爆料揭示了美国政府以国家安全的名义，在互联网技术巨头的配合下对民众隐私的严重侵犯。

事实上，国家与人工智能之间的关系远远超出了国家安全的范畴。在许多国家，曾经只有情报机构才能使用的技术已经渗透到了日常的行政部门和执法机构。人工智能产业正在重塑国家的传统角色，国家通过提取数据、目标定位和监控的组合，对社会施加大规模控制和指挥，严重加剧了在国家代理人和他们理应服务的民众之间的权力失衡。

最后一章的主题是“权力”。克劳福德总结说，人工智能并不是一种客观、普遍或中立的计算技术，相反，它来自地球的矿物和能源，来自人类身体的劳动，来自人类社会每天制造的海量数据;它被嵌入到社会、政治、文化和经济之中，作为一个结合了基础设施、资本和劳动力的权力结构发挥作用，无一例外地重现和扩大了现有的结构性不平等。

人工智能每天都在影响几十亿人的生活，但是计算机科学和工程被视为不涉及人类主体的学科，不需要经过伦理审查，不需要考虑其社会学影响。过去数十年，技术领域关于变革的理论总是以工程为中心，如果出现问题，就通过技术来回应。这种技术中心论的框架造成了越来越多的问题。人工智能产业的发展，已经在一个非常短的时间跨度内导致权力深深地集中在极少数人手中，同时令那些被边缘化的群体受到巨大伤害。

直到最近，政策制定者才开始扮演角色，尝试通过监管来解决人工智能造成的社会问题。在克劳福德看来，这远远不够，应该形成更深入的民主对话，将对个人数据保护、劳工权利、气候正义和种族平等的呼吁纳入讨论，通过集体行动形成针对人工智能产业的民主问责制。