“易碎”的智能与“撕裂”的世界——西方主要社交媒体“仇恨言论”的界定、规制与算法困境

□卞 清 陈 迪

【导 读】当前，全球性的网络仇恨事件频发，同时科技公司的内容过滤与言论监管策略成为争议焦点。本文通过梳理西方主要社交媒体对于仇恨言论的界定、规制与算法困境，认为当前互联网公司正在代替国家/政府，成为规制仇恨言论的主要行动者，并且可能进一步卷入全球政治的动态变迁中，加剧与国际政治体的摩擦，而算法识别的未来则关涉了关键的全球政治想象。

一、言说“仇恨/憎恨”：从古老概念到全球性问题

（一）仇恨/憎恨言论的前生今世

“仇恨言论”（Hate Speech）也被译为憎恨言论，这一概念自古就存在于西方社会。早在希腊古典时期，仇恨言论就被看作一种非理性的暴力行为，对公共性有害，会引发社会对立与矛盾，危害民主，有损公民美德。《圣经·旧约》中也谈到，“仇恨引起争端”，由此“智者要慎于言”。从20世纪中叶开始，由于“二战”所引发的种族仇恨、性别与移民歧视等问题日益突出，西方社会对于仇恨言论的关注越来越多，国家（state）逐渐成为界定和规制（regulation）仇恨言论的主要行动者。如朱迪斯·巴特勒（Judith Butler）所说：“国家（The state）作为积极的行动者生产、划定了可以被接受的公共言论（publicly acceptable speech）范围，区分了什么是可说的（speakable）和不可说的（unspeakable）。”［1］

但是，由于与言论自由理念相对，长期以来国家是否有权力来限制仇恨言论以及在什么范围内是合理的限制一直被不断争论。国家对仇恨言论的界定尺度被认为反映了言论自由的边界。［2］仇恨言论是一个与政治、哲学、伦理、社会文化缠绕交织、不断界定中的概念，它依据社会情境、历史以及文化价值观的变动而变化，在不同社会环境下容忍度也不同，至今也没有统一定义。从全球比较来看，相对来说，欧洲国家态度趋于保守，美国则宽容开放。除此之外，一些国际社会组织也在仇恨言论的界定与规制中扮演呼吁与倡导的中间人角色。

欧洲的保守态度与第二次世界大战所带来的社会阴影与伤痕密切相关。这场战争使得仇恨言论问题越来越显著，很多国家遭遇了激烈的跨文化、跨民族的冲突挑战，如纳粹德国引发的种族仇恨以及对战后移民的歧视与仇视等，因此很多欧洲国家采取的策略是将仇恨言论纳入正式的立法范围。［3］比如，1986年英国制定的《公共秩序法》。而德国为了祛除法西斯主义的遗产，更为保守，将仇恨言论作为一种犯罪事实明确纳入德国《基本法》《刑法典》《民法典》之中。相对来说，美国对仇恨言论则长期保持宽容和开放的态度。这是因为基于《第一修正案》，言论自由作为一种最根本的意识形态与美国的民主政治制度、立国之根本价值观紧密相嵌。所以长期以来，在美国的主流价值观中，仇恨包括政治极端言论都不被国家或者法律干涉，因为这种对言论的宽容和自由被看作从根本上体现了美国体制的优越性，是一种美国式的“美德”。如李·卡罗尔·布林格（Lee C.Bollinger）所说：“美国作为极度崇尚自由的国度，应当允许人们自由发表或接触甚至是极端的言论……这种宽容与自由的美德是美国社会最重要的美德。”［4］直到9·11事件发生以后，有关仇恨与极端言论的问题才真正在美国引发关注和讨论，但仍然非常有限，国家并不会轻易主动参与其中。2019年，美国白宫就表示，美国将与各国政府共同打击网络恐怖主义，但不能支持新西兰和法国发起的“克赖斯特彻奇呼吁”，因为对言论自由持有“更多绝对主义的立场”。［5］主张“宽容”态度的美国既不认同网络仇恨言论的规制治理，也没有与网络仇恨言论相应的法律。［6］美国政府对于自身不可能是言论规制者（regulation）也绝不会是审查者（censorship）的角色定位小心翼翼。

此外，一些国际组织以及区域性的政治体也会根据区域内的共性问题制定一些国际条例，比如，《欧洲人权公约》《消除一切形式种族歧视国际公约》《公民权利和政治权利国际公约》等，但它们更多以“倡导”“倡议”“公约”“呼吁”的形式出现。欧盟是在仇恨言论规制领域最为积极的政治组织之一。而它主要以发起“反仇恨言论运动”（no hate speech movement）［7］为形式，倡导和呼吁各方和公众共同行动与合作。

（二）网络仇恨：日益凸显的全球现实

进入新世纪后，随着互联网技术的发展以及社交媒体时代的到来，再加上仇恨言论界定、规制仍然模糊困难，网络仇恨的问题越来越显著，并迅速成为当前全球爆发的最突出的现实问题之一。

首先，互联网上的仇恨言论包裹在海量、匿名、跨越国界的互联网内容海洋中，同时呈现多语言、多形态的样貌，还结合了表情符号、图像、音视频等，内容越来越隐晦、抽象、符号化，给计算机快速识别造成了极大困难。其次，互联网的跨国性更有利于个人和组织游离与回避本国政府监管，因此短短数年间全球出现了大量仇恨网站。根据西蒙·维森塔尔中心（The Simon Wiesenthal Center）的统计，早在2000年，全世界就有2300多家“有问题”的传播仇恨信息的网站，其中包括500多家欧洲人创办的极端分子网站，都寄住在美国的服务器上，以逃避欧洲的反仇恨法律。［8］随后在短短的10余年间，推广仇恨与恐怖主义行为的网站、论坛和社交媒体账户就突破了30000个。［9］最后，由于全球政治近年来的不稳定、民粹主义抬头、各类社会运动以及新冠肺炎疫情的暴发，全球网络仇恨迎来新的井喷。根据Facebook的统计，自2020年年初以来，网络仇恨进一步呈现出极度上升的趋势，特别是与新冠肺炎的紧张局势有关的仇恨、反亚洲言论、性别与种族歧视、煽动内乱、暴力、黑人运动、恐怖主义以及极端行动，甚至2020年总统大选、特朗普卸任引发的国会山事件，等等。Facebook 2020年第四季度的统计显示，目前在Facebook上平均每一万次内容浏览，就会有7～8次能看到仇恨言论。［10］

互联网不再适用于单一国家规制，那么究竟应由谁来决定全球性、跨国界的社交媒体平台中哪些内容是“仇恨言论”？这些内容是否应该被监管和规制？谁来监管？原有的国家法条与规制方案是否还适用？本文的看法是，在这种不确定中，互联网科技公司代替国家，成为主要行动者。网络仇恨的规制由国家作为主导行动者转向了由互联网科技公司进行处理。这使得问题的讨论范畴从政府以及立法的领域转变成了行业规则与公司责任，争议更多开始围绕高科技公司的企业道德、垄断与权力、算法伦理、人工智能研发能力及其有限性等问题展开。同时，由于全球主要社交媒体平台大多在美国，因此美国宪法以及言论比较宽松的社会文化与法律体系环境导致目前对网络仇恨言论的界定与规制处于灰色地带之中。基于美国政治价值观下的几大互联网巨头们自拟的公司条例（company policy）和平台法（platform law）成了主要执行的全球网络言论评判规则，但这些规则的最后都有一条相同的话语，那就是“解释权归企业所有”。因此，本文通过梳理与评析当前西方主要社交媒体巨头们对于“仇恨言论”的界定、规制与算法困境，期望更好地解释与反思当下全球网络仇恨的基本面貌与现实困境。

二、作为行动者的科技公司：全球主要社交媒体的实践策略

（一）Facebook：界定不断修正与补充

作为全球最大的社交媒体平台，Facebook很早就开始在公司条例中努力明确仇恨言论的界定。但实际是这个概念被迫不断补充和修正，其范围根据新的争议事件和社会舆论反应而扩大。比如，2019年Facebook的公司条例中注明：“我们将仇恨言论定义为基于受保护特征——种族、民族、国籍、宗教信仰、性取向、种姓、性别、性别认同以及严重疾病或残疾——对人的直接攻击。我们还为移民身份提供了一些（some）保护。”

这个定义包含了9种特征，比大多数国家和政治组织的定义要更为宽泛，但仍然被外界指责为是不全面的、有偏见的、忽略弱势群体的。特别是它没有将有关移民的仇恨言论纳入其中，引发了来自欧洲国家的不满。移民歧视一直是欧洲国家比较关注的社会问题，比如，在英国法律中，发表对移民者的仇恨言论是属于法律犯罪的内容；在欧盟委员会的定义中，仇恨言论也被明确定义为“传播、煽动包含侵略性民族主义和民族优越感的种族仇恨以及仇外心理，是对少数民族、移民等的歧视和敌意”［11］。因此，在各方压力下，Facebook自2020年起修改了仇恨言论的定义，表明将对移民身份提供“明确的”（certain）保护，又在2021年1月大范围修改条例，加入了对“难民、移居者和寻求庇护者”的保护：

我们将仇恨言论定义为基于受保护特征——种族、民族、国籍、残疾、宗教信仰、种姓、性取向、性别、性别认同以及严重疾病——对人的直接攻击……当年龄指涉向另一个受保护特征时，我们考虑将年龄也作为一个受保护特征。我们也保护难民、移居者、移民和寻求庇护者免受最严重的攻击，尽管我们允许对移民政策进行评论和批评。类似地，当一些特征，如职业，指涉向另一个受保护特征时，我们也提供相应的保护。［12］

但是，补充和扩展定义仍然不能囊括现实中出现的各类争议性事件，为了避免身陷麻烦之中，Facebook只能不断更新条例应对外部变化。2019年3月Facebook宣布监管和删除“白人至上主义言论”（supremacist content）；2019年5月Facebook宣布对几位违反禁止仇恨言论规定的知名人士实施禁令，包括亚历克斯·琼斯（Alex Jones）、路易斯·法拉肯（Louis Farrakhan）、劳拉·卢默（Laura Loomer）等；2020年，Facebook进一步增加指导原则，禁止将黑人面孔与动物进行种族比较、种族或宗教刻板印象、否认历史事件、物化女性等。在被动应对的同时，Facebook面对的却是越来越快速扩张的网络仇恨。2020年Facebook和Instagram检测删除的仇恨言论同比增加数倍，仅在2020年第二季度，Facebook和Instagram上的仇恨言论就分别被删除2250万条和330万条。仇恨言论已经成为Facebook当前需要解决的最主要问题之一。

此外，Facebook还面临着言论管控权力过大的批评。根据《华盛顿邮报》的报道，在2016年美国大选期间，Facebook的CEO马克·艾略特·扎克伯格（Mark Elliot Zuckerberg）对特朗普的态度发生了前后不一致的变化，随着特朗普越来越有望入主白宫，Facebook开始顺从特朗普。［13］但2019年12月19日，在特朗普被美国国会发起弹劾后的第二天，Facebook悄然对其仇恨言论政策进行大量更新，比如，不再允许用户发布“把人比作动物或物品有关的比喻”［14］。而到了2020年总统大选临近时，Facebook却对大量煽动言论采取了不干预措施。直到2020年11月，Facebook因国会山骚乱事件宣布永久关闭特朗普社交账号又引发争议。诸如此类的事件使得技术巨头（Big Tech）公司被指责为新型的垄断寡头。如《华尔街日报》认为，随着Facebook影响力与日俱增，其关于仇恨言论、虚假信息、政治广告等政策争议性越来越大，政治嗅觉成为CEO扎克伯格要掌握的一项必备能力，他已然成为一位活跃的政治操盘手。［15］甚至一些国家元首与政治家们也开始站出来批评，认为科技公司展现出超越国家的权力，指出当前言论的性质界定、边界划定与价值观体系直接被这些科技公司握在手中。

同时，即使像Facebook这样的行业巨头，其在网络仇恨与极端言论的识别方面仍然面临技术困境与巨额成本压力。面对服务器上快速聚集的海量内容，它一方面必须投入大量精力和财力进行人工智能系统研发，希望借助智能识别快速处理；另一方面则只能承认网络语言符号的复杂性、算法的有限性以及人工智能的不完美，仍然需要借助大量的人工识别。目前，有统计称Facebook至少在全球雇用了1.5万名内容审阅人来完成这项工作。［16］

（二）Twitter

与Facebook不同，Twitter一直回避定义“仇恨言论”，而创造了一个“仇恨行为”（Hateful Conduct）的概念作为用户协议中的条例内容。其对“仇恨行为”的界定为：“用户不允许做出针对、直接攻击或暴力威胁他人的种族、民族、国籍、种姓、性取向、性别、性别认同、宗教信仰、年龄、残疾或严重疾病的行为。”［17］

Twitter于2015年3月宣布屏蔽报复性色情内容，4月宣布屏蔽煽动恐怖主义，或以种族、民族、国籍、宗教、性取向、性别、性别认同、年龄或残疾为由攻击他人的言论。但借助仇恨行为的概念，Twitter辩解称他们封杀的不是“言论”，而是“行为”。因此冒犯性的内容仍然允许被发布，而如果仇恨言论指向某个具体的用户才构成“仇恨行为”。［18］同时，Twitter又创造了一个新概念为“非人类言语”（Dehumanizing Policy）：即将他人视为不如人的言论。当试图剥夺他人的人性品质（兽性非人化）或人类本质（机械性非人化）时，就会发生非人言语。例如，将一些群体与动物和病毒进行比较，或者将群体简化为非人类的工具。［19］

Twitter回避定义仇恨言论的做法受到了一些批评。比如，有学者认为它的指导原则与定义模糊、过于宽泛，用户也长期抱怨规则的不一致和无效，不能保护相关群体免受骚扰。而CEO杰克·多西（Jack Dorsey）辩解称：“Twitter只是一个通信工具，不擅长判断个人之间的内容纠纷。”Twitter的用户言论规制以用户主动举报和大众标签为主，其系统筛查主要依赖人工，并且引入基于图像的有害内容AI自动识别系统。这个系统会提示用户内容有可能有害，但由用户来选择是否继续观看内容，同时用户也可以自己标注内容是否有害。有批评指出，Twitter接到举报后常常就是封号了事。这种中立态度显然加速了Twitter用户尤其是受语言暴力最为严重的名人和意见领袖的流失，直接导致Twitter内容生态的萎缩。［20］2015年时任Twitter首席执行官的迪克·科斯特罗（Dick Costolo）在一场内部论坛中表示，该公司失去众多用户的原因是其社交平台上存在太多“网络喷子”（troll）。［21］

（三）YouTube、Reddit、TikTok

对网络仇恨的态度和政策直接与互联网企业的商业形象对等。即使像Facebook和Twitter投入很多精力在言论规制，仍然面对大量的指责、批评和外部压力。而研发与管理反应较慢或是无主动作为的互联网公司则更被看作是“不负责的”“有罪的”实体。

比如，YouTube就曾因为在言论监管层面的不主动而受到猛烈批评，被认为它已经“从一个单纯的视频分享网站、新闻资讯娱乐网站变成了传播极端观点、错误信息的平台”［22］［23］。在舆论压力之下，You-Tube仅在2018年就进行了超过30次的条例更新［24］，随后在短期内将每日清理仇恨言论的数量增加了46倍，关停了大量涉及仇恨言论的频道［25］，直至2019年它的仇恨言论政策已经列出了11个受保护人群特征，包括“退伍军人身份”。但是由于视音频内容识别与过滤的难度更大，因此YouTube至今仍然因无法及时识别与过滤仇恨内容而面对大量批评。还有研究人员表示，大量的仇恨言论清理行动不足以证明YouTube在该问题上的努力程度，“因为YouTube的仇恨言论问题不一定与数量有关”［26］。一份研究报告认为，YouTube在很多方面激励了极端主义内容的传播，它“货币化所有人的影响力，不论他们的信仰体系多么有害”［27］。此外，它仍然无力以智能算法为主要识别工具，而是更多依赖由用户来报告危险或滥用的内容，同时所有的这些报告再经过人工的定性审查。

社交新闻社区Reddit曾在2015年采取了一项新的内容政策，并禁止了几个明显带有种族主义色彩的板块。但长期以来，Reddit一直因对种族主义内容清除不力而饱受批评，被称为互联网上“最暴力的种族主义”内容所在地，让人见识到“网络中最黑暗的角落有多可怕”。［28］甚至Reddit前CEO鲍康如（Ellen Pao）公开谴责该平台“整天培育和货币化白人至上主义和仇恨”［29］。2020年，数百名Reddit版主联名向Reddit董事会和CEO史蒂夫·赫夫曼（Steve Huffman）发出公开信，要求修改平台的仇恨言论政策。［30］当时正值“黑人的命也是命”（Black Lives Matter）抗议活动愈演愈烈，Reddit联合创始人亚历克西斯·奥哈尼安（Alexis Ohanian）也因抗议宣布离职，并希望将职位移交给黑人。随后，在舆论重压下，Reddit于2020年6月末更新了内容政策，明确禁止宣扬仇恨，并封禁了2000多个讨论板块。赫夫曼同时承认，在过去很长一段时间里，这条规则被故意设计为隐性的，由此“造成了各种各样的混乱和问题”［31］。这一举措意味着Reddit在平台言论政策上的重大转变。

再如TikTok（抖音国际版），也因为缺乏明确的仇恨言论指导规范和内容规制办法而受到来自全球各界的批评。一方面，纯娱乐、纯视频分享、纯平台的互联网企业“人设”在美国社会不被接受；另一方面，随着仇恨言论对儿童的潜在危害受到关注［32］，以青少年为主要用户的TikTok越发引起学界和业界的关注、批判。有研究指出，各类恐怖组织、极端集团都在利用TikTok传播仇恨言论，未成年人易受到影响。［33］由于应对仇恨言论不力，没有提供足够的机制保护未成年人，Tik-Tok被想象为生产与寄生邪恶的本源。比如，频频被指出平台存在“纳粹问题”［34］和“白人至上主义问题”［35］，是“一个新的仇恨言论雷区”［36］。在批评声中，TikTok加快了规制仇恨言论的脚步，应用算法来标记和删除有害内容，但同时也在全球雇用了超过1万名人员从事信任与安全工作，其中很大一部分人正负责审核平台的上传内容。［37］

（四）走在“十字路口”的科技公司

至此，我们可以总结一下科技公司所面临的现实情况。

第一，由于无法用单一国家定义来界定，因此企业必须对网络仇恨言论进行重新定义与改写，以实现在技术上可以被操作与执行的“精确定义”，提高算法精度，划定识别范围，减少纠纷与争议。但它带来的结果是企业之间的情况不一，无法统一，监管网络仇恨言论的行业共识难以形成。

第二，应对网络仇恨言论的能力已经与企业形象、政治与商业风险直接挂钩。言论规制失败或者不作为会造成企业形象的崩塌。但是企业自身的成本与收益计算、算法的研发实力等因素影响了其行动策略。研发实力以及平台技术结构的差异部分决定了企业主要采用人工还是自动识别系统。

第三，科技公司面临国家与政治组织的外部压力，这使得国家、公众与科技公司之间可能会不断出现摩擦。面对网络仇恨，国家从直接监管公民言论变成了国家监管互联网企业，再由互联网企业来监管用户言论的模式，因此国家的行动更多针对科技企业而展开。比如，2018年德国正式实施《网络执行法》，对处理虚假新闻和仇恨言论不力不当的社交网络平台进行规制，最高可处以5000万欧元的罚金；2016年欧盟颁布新准则，规定对24小时内无法处理仇恨言论报告的网站处以罚款。这都是由国家监管企业的模式来推动科技公司承担责任。

第四，主要互联网企业根植于美国，受美国言论自由的价值观影响，是否应该对网络言论进行规制（Regulation）仍在争议中，企业面临权力过大、对公民自由言论进行非法审查（Censorship）的批评与指责。

总之，正如有媒体报道中所说，科技公司们正走在“十字路口”，处于两难的“囚徒困境”。他们面对来自各个国家对于仇恨言论尺度不一的文化与法律差异，努力宣称自己为政治中立者与技术服务商，以应对巨大的政治风险与广告商压力。2020年10月28日，三大社交媒体Facebook、Google和Twitter的首席执行官出席美国参议院听证会，否认自身在对用户言论做内容审查（Censorship），而称之为内容审核（Moderation）［38］，反对撤销《通信规范法》第230条，即互联网科技公司无须对用户在其平台上发布的内容承担责任，从而免于相关法律诉讼的条例。他们都表达出了期望科技公司不再是众矢之的，而应由用户和政府来界定言论合法性问题。比如，扎克伯格希望Facebook在制定内容审查的规则方面尽量少地发挥作用，期待联邦政府为互联网科技公司制定明确的内容评判标准。Google首席律师肯特·沃克（Kent Walker）在2019年6月的一篇博客文章中说，政府应该明确界定什么样的网络言论是合法的，什么样的网络言论又是非法的。Twitter首席执行官杰克·多西则希望赋予用户更多的内容算法控制权限，让他们能够更好地自行控制他们所看到的内容。［39］

三、网络仇恨的智能识别：算法的争议与偏见

除却制定仇恨言论总体策略的困扰，互联网公司还面对着每日大量的识别、过滤、清洗仇恨言论的烦琐工作。因此，以自动化语言识别（Automated Content Recognition）为基础的人工智能技术很早就被引入仇恨言论的规制中，它的研发正在耗费互联网企业的巨额成本，同时还面对着算法的争议，即人们对于计算机识别人类仇恨的质疑以及算法代码中所隐含偏见的争议。

（一）尚不完美的人工智能：“必要”“精确”又“易碎”

智能技术能解决人类语言意义的识别问题吗？用人工是不是更准确？很多批评意见认为，人工智能不是判别仇恨言论的有效方式，因为该系统缺乏人类所拥有的情感和判断技能。而对科技公司来说，面对海量而又极其繁复的用户言论进行识别、过滤以及规制是一个需要计算成本、识别精确度、平衡考虑企业研发能力与经济收益的事情，他们在这个问题上陷入两难。

这也使得人工智能在科技公司的公共言说中被不断描述和想象成为是“必要”“精确”但又同时是“易碎”的，它尚不完美，但一直在快速进步。企业不断强调AI运用到仇恨言论识别的重要性和必要性。比如，Facebook努力宣称自家智能识别技术水平一直在快速进步，它会在用户举报之前主动删除大部分仇恨言论，而主动识别对于减少仇恨言论所带来的伤害有重要意义，因此使用AI识别“十分必要”。Facebook在2020年第四季度报告里称，单季度约97%/95%的Facebook/Instagram上的仇恨言论是通过主动识别删除的——数据显示这一切都得益于AI的进步。

但另一方面，现实的数据并不那么稳定和乐观。2018年Facebook的数据表明，AI系统能够删除99%的恐怖主义宣传内容、96%的裸体内容，但对仇恨言论识别只有52%。［40］同年Twitter发布了一个名为Exploring Online Hate的面板工具，能够通过1000个Twitter账户的样本来寻找仇恨行为的规律、趋势，然后利用算法生成更大的数据集，从而实时掌握网络上仇恨言论，控制相关的热门话题和言论来源。但截至2019年7月，Twitter只有38%的有害内容是由算法自动筛选出的。与识别效率较低相应，还有错误识别。比如，Facebook算法曾经出现乌龙，错把《独立宣言》当作仇恨言论删除。［41］因此，企业一方面投入大量财力、人力进行AI开发，强调人工智能识别可以非常“精确”，但同时又不断强调算法的有限以及面对复杂人类语言系统时的脆弱与“易碎”，将争议事件归于“尚不完美”的人工智能。比如，Facebook的CTO在2019年表示：“我们之前的人工智能识别系统已经非常精确，但是如果你改变其中一小部分，它们就非常脆弱，即使是很小的变化也会破坏它们。”［42］AI的脆弱之处在于它解决了目前出现的一种仇恨言论模式，但可能又无法解决新的仇恨言论形态。比如，一篇新的仇恨言论可能不像以前的例子，因为它引用了一种新的故事结构。这取决于科技公司分析多种语言、捕捉特定国家趋势的能力，以及如何定义仇恨言论的能力。因此Facebook承认人工智能识别的进步赶不上网络仇恨言论语法与内容结构更新的速度。比如，从纯文本识别，到图像与音频识别，再到目前出现的多元复杂语言结构（比如，文本+图像构成仇恨内容）。Facebook甚至公开宣布发起“仇恨模型算法挑战”（Hateful Meme Challenge），谁能够写出让AI自动识别多元仇恨言论的算法代码，将获得10万美元的奖金。

除了自主研发昂贵的AI系统，大多数科技公司仍然以人工识别为主，雇用大量的人力作为内容审阅人，同时人工审核常常需要订制化。比如，Facebook为应对德国政府对仇恨言论的审查要求，聘用了1200名员工及合作商针对性审查德国用户发布的仇恨言论。此外，全球多语言的环境以及计算机语言符号的文本编码等差异还对机器学习与识别造成了很多困难。比如，Unicode编码是全球行业标准，但缅甸超过90%的电话都使用仅用于显示缅甸语的Zawgyi编码，这意味着使用Zawgyi手机的人无法正确阅读以Unicode编写的网站、帖子或Facebook帮助中心说明。［43］因此在缅甸相关项目上，Facebook不得不组建内容审核小组。截至2018年6月，Facebook聘请了60多名缅甸语言专家在审核内容，并在持续增加人手。同时，随着科技公司在全球雇用人工审核人数的不断增加，与之相应的劳动力剥削、劳工纠纷也开始出现。在2020年新冠肺炎疫情期间，由于网络仇恨的井喷，Facebook要求人工审核员提前返回工作岗位。200名内容审核员签署了一份公开请求，要求Facebook公司承诺采取措施以更好地保护他们在疫情期间的人身安全。在那封信中，审核员表达了他们工作的价值和重要性：“人工智能无法胜任这项工作。很多重要言论被Facebook的AI过滤器冲走了，而像自残这样的危险内容却没有被过滤掉。”［44］

（二）看不见的算法“黑箱”：原罪、偏见与反制

在计算机学界，算法也被比喻为“黑箱”。它指的是一个数据从输入到算法审判输出的过程就像是穿过一个不透明的、未知的黑色箱子。我们无法像旁观、理解、回溯、纠正和监督法律程序那样来观察和监管整个算法处理过程。人们无从得知算法的目标、意图以及规则，也无法得知算法设计的背景与内容。这种信息不对称也使得算法逻辑被批评为是一种可怕的、看不见的权力。

在日益凸显的全球网络仇恨喷发的现实场景中，互联网和算法因此常常被想象为一种“原罪”，是它容忍、寄生甚至生产、推动了人类社会的撕裂与仇恨。比如，认为是互联网赋予个人说出恐怖言论的能力，因为当人们不用处理自己言论的后果时更容易表达仇恨。也有观点认为，算法提供了仇恨被不断增强和再生产的条件。算法通过机器学习不断产生信息茧房效应，使意见的极化特征日益突出，互联网正在扮演“仇恨放大器”的角色。［45］2016年，Facebook研究员兼社会学家莫妮卡·李（Monica Lee）发现，在Facebook上加入极端主义组织的用户，近2/3（64%）是由Facebook的算法推荐的，这意味着该网站的推荐系统在社交媒体用户中“加剧了极端主义问题”。［46］2018年，美国著名科技媒体《连线》杂志发表深度报道，通过采访51名Facebook现任和前任员工，整理了Facebook最近两年陷入危机背后的故事。公司CEO扎克伯格和他的员工发现，随着Facebook的发展，这家社交平台并未让人们聚合起来，反而推动社会分裂，这让他们的技术乐观主义被逐渐粉碎。［47］

算法由人而创造，没有中立的算法，算法中天然存在偏见。因此更多科学家指出算法的偏见实际就是体现了人类的偏见。算法黑箱通过看不见的规则识别、过滤、删除符合仇恨定义特征的文本，却“解释权归公司所有”，这使得大众、算法逻辑、国家、科技公司之间始终在发生摩擦和争议。很多研究和批评指出，算法本身就意味着歧视和偏见。现实中大量存在的种族、性别、少数群体的政治偏见几乎被一一证明同样存在于算法识别中。2019年Facebook公司的研究人员发现，Instagram用户的活动轨迹如被算法识别为黑人，其账户被审查系统自动禁用的可能性比被识别为白人用户的可能性高50%。［48］康奈尔大学一项研究通过分析Twitter数据集合发现，被算法判断为非洲裔美国人撰写的推文更有可能被标记为仇恨言论。［49］而有研究人员测试Google的AI工具Perspective时也发现，非裔美国人的推文被标记为具有攻击性的可能性更大，意味着本应该保护少数/边缘群体的算法功能反而潜在地扩大了对它们的危害。［50］值得思考的是，是什么造成了不同公司的识别系统中出现了较为相似的算法偏见？是行业性的人为偏见，还是人类社会本身既已存在的偏见被卷入在算法逻辑中成为黑箱的一部分了呢？事实上，由于算法基于对海量文本的机器学习而不断更新，算法工程师也无法预知一些意想不到的结果。比如，在Facebook上搜索“我的女性朋友的照片”时，会产生诸如“穿着比基尼”或“在海滩上”的建议。相反，搜索“我的男性朋友的照片”时没有搜索建议。［51］再如有报道指出，土耳其语中男性“他”和女性“她”没有区分，统一用“o”表示。而谷歌翻译工具在翻译“o bir doctor”和“o bir hemŞire”时，会把前者翻译成“他是一位医生”（He is a doctor），把后者翻译成“她是一位护士”（She is a nurse）。机器在学习数亿数据和某些“社会规律”之后，算法“偏向”于把医生男性化，护士女性化。［52］所以，算法黑箱输出的究竟是什么呢？是既已存在的某个人类社会的隐藏脚本，还是被净化和加工后的“美丽新世界”呢？

此外，在仇恨识别这场“猫捉老鼠”的游戏里，人工智能自身技术的提高还面临着人类语言符号的不断反制。芬兰阿尔托大学的机器学习研究团队通过攻击如打错别字的方式，成功躲过了七种不同的检测仇恨言论的分类算法，每种算法都存在弱点，导致检测机器难以识别这种反制措施。［51］面对关键词屏蔽，部分用户会使用其他文字、符号或“梗”对极端信息进行“加密”，使得信息难以被自动监控。［53］因此，反制算法识别的网络语言文法也越来越多。

四、结论与反思

通过前文的梳理，我们可以看到，借由互联网，“仇恨”突破了既往公开表达的主体和时空限制，从一个古老的概念迅速扩散为全球性的现实问题。我们越来越深刻地感受到，人类正生活在一个愈加撕裂的世界里。而在网络仇恨越发泛滥的现实中，互联网科技公司代替国家/政府，成为规制仇恨言论的主要行动者，并与国家、广告商、公众等不断产生摩擦。从仇恨言论的界定，到仇恨传播行为的规制，再到加强对仇恨传播后果的预判，越发预示着科技公司可能进一步卷入全球政治的动态变迁中，这将加剧它们与国际政治体的摩擦。

而科技公司正处于“十字路口”，它们并不情愿却依然成为“众矢之的”。它们只能试图在规避风险、计算成本与收益、重申企业价值观与责任感、识别与审判言论性质、引导用户自律等行动中取得平衡。而它们大多孤立，企业之间情况不一，如何规制仇恨言论尚无行业共识，大的科技巨头承担主要的压力和示范角色。仇恨言论也从一个人文与政治哲学领域主要讨论的抽象概念走向了一个操作层面由技术公司主导的每日需要面对的实际技术问题。

这个“具体操作”的一个方面就是科技公司不得不对仇恨言论做出精确定义，以便识别与管制。而它面临着全球历史、文化、意识形态的差异化现实，面对各个国家和政治体的治理要求和压力，注定将不断处于摩擦与拉扯之中。网络仇恨言论问题凸显着全球化过程中的文化冲突，而互联网企业却不得不扮演协调人角色，因此难免陷于泥潭。正如在印度有批评人士指出的那样：“所有的互联网平台都缺乏进入我们市场的文化能力，对其内部动态的不稳定性缺乏清晰的认识。”［36］

操作化的第二个层面则体现在人工智能技术以及算法逻辑常常被想象为是控制人类仇恨情感的关键技术。人工智能的识别算法因“高效率”而为互联网企业宣布为应对网络仇恨的第一必需品，同时也隐含着科技公司节省成本、规避风险、表现技术中立的手段。但是，目前的现实情况是，算法仍然“很不完美”，虽精致但“易碎”，其不仅仍然存在着大量计算误差的可能，还常因算法本身的“偏见”被批评为充满“原罪”的“黑箱”，成为容忍、寄生甚至生产、推动了人类社会仇恨，使得世界愈加“撕裂”和对立的技术力量。在未来，基于成本与效率的考量，算法的研发提升依然会是科技公司规制仇恨言论的首要手段。如果科技公司在规制仇恨言论的过程中不断靠近政治场域，那么算法识别的未来就关涉了关键的全球政治想象。科技公司正在成为某种非正式确认的政治体，在巨大的内容海洋中，掌握全球仇恨流动的方向。它们将如何开启网络世界中的新民主/新专制？

最后，回到一个最根本的问题，人类仇恨的引擎究竟在哪里？对此，在当前互联网时代，有待细化探究的是，互联网技术、算法规则与仇恨加剧之间的关系究竟是怎样的？科技公司与政治体还会产生怎样的角色变化？网络仇恨问题的持续发酵也许将是观察人类社会与技术互动的一个重要切入口。另外，仇恨的破坏性并不止于言说与传播，仇恨同时被持续制造、记忆和传承。因而面对网络仇恨的井喷，同样需要延展地思考，互联网技术在多大程度上使得仇恨得以跨越时空？这对于人类社会的记忆与历史书写的深远影响会是什么？当科技与人文在网络仇恨问题上再次交会，人文的意义不会只是对科技的查漏补缺。回答以上这些问题既是对当前人类社会的运作投以疑虑和关怀，也是在努力叩问人文的当代意义与未来。

注释

［1］BUTLER JUDITH.Sovereign Performatives in the Contemporary Scene of Utterance［J］.Critical Inquiry，1997，23（2）：350-377.

［2］COHEN-ALMAGOR RAPHAEL.JSMill’s Boundaries of Freedom of Expression：A Critique［J］.Philosophy，2017，92（4）：565-596.

［3］BROWN ALEXANDER.Hate Speech Law：A Philosophical Examination［M］.Abingdon：Routledge，2015：182.

［4］BOLLINGER LEE C.The Tolerant Society［M］.New York：Oxford University Press，1986：238.

［5］FOUQUET HELENE，VISCUSI GREGORY.Twitter，Facebook Join Global Pledge to Fight Hate Speech Online［EB/OL］.https：//www.bloombergquint.com/technology/2019/05/15/macron-ardernto-meet-twitter-facebook-google-onhate-speech，2019-05-15.

［6］赵玉现，胡春莉.网络仇恨言论判别与治理探究［J］.信息安全研究，2019，5（11）：1021-1026.

［7］Council of Europe.No Hate Speech Youth Campaign［EB/OL］.https：//www.coe.int/en/web/no-hate-campaign，2021-03-17.

［8］PERINE KEITH.The Trouble with Regulating Hatred Online［EB/OL］.http：//www.cnn.com/2000/TECH/computing/07/25/regulating.hatred.idg/index.htm l，2000-07-25.

［9］Simon Wiesenthal Center.District Attorney Vance and Rabbi Abraham Cooper Announce the Simon Wiesenthal Center’s Report on Digital Terrorism and Hate［EB/OL］.https：//www.wiesenthal.com/about/news/district-attorney-vance-and.html，2014-05-01.

［10］FACEBOOK.Community Standards Enforcement Report［EB/OL］.https：//transparency.facebook.com/community-standards-enforcement#hatespeech，2021-02-11.

［11］Council of Europe.Hate Speech［EB/OL］.https：//www.coe.int/en/web/freedom-expression/hate-speech，2021-03-17.

［12］FACEBOOK.Community Standards［EB/OL］.https：//www.facebook.com/communitystandards/recentupdates/hate_speech/，2021-03-17.

［13］DWOSKIN ELIZABETH，TIMBERG CRAIG，ROMM TONY.Zuckerberg Once Wanted to Sanction Trump.Then Facebook Wrote Rules That Accommodated Him［EB/OL］.https：//www.washingtonpost.com/technology/2020/06/28/facebook-zuckerberg-trump-hate/，2020-06-29.

［14］WODINSKY SHOSHANA.Facebook Quietly Made a Ton of Updates Hours After Trump Got Impeached［EB/OL］.https：//gizmodo.com/facebook-quietly-madea-ton-of-updates-hours-after-trum-1840902512，2020-01-09.

［15］SEETHARAMAN DEEPA，GLAZER EMILY.How Mark Zuckerberg Learned Politics［EB/OL］.https：//www.wsj.com/articles/how-mark-zuckerberg-learnedpolitics-11602853200，2020-10-16.

［16］NEWTON CASEY.The Trauma Floor：The Secret Lives of Facebook Moderators in America［EB/OL］.https：//www.theverge.com/2019/2/25/18229714/cognizant-facebook-content-moderator-interviews-trauma-working-conditions-arizona，2019-02-25.

［17］TWITTER.The Twitter Rules［EB/OL］.https：//help.twitter.com/en/rules-and-policies/twitter-rules，2021-03-17.

［18］JEONG SARAH.The History of Twitter’s Rules［EB/OL］.https：//www.vice.com/en/article/z43xw3/the-historyof-twitters-rules，2016-01-14.

［19］GADDE VIJAYA，HARVEY DEL.Creating New Policies Together［EB/OL］.https：//blog.twitter.com/en_us/topics/company/2018/Creating-new-policies-together.html，2018-09-25.

［20］脑极体.面对Twitter，AI表示“真心带不动”［EB/OL］.http：//www.woshipm.com/it/2571370.html，2019-07-11.

［21］TIKU NITASHA，NEWTON CASEY.Twitter CEO：“We suck at dealing with abuse”［EB/OL］.https：//www.theverge.com/2015/2/4/7982099/twitter-ceo-sentmemo-taking-personal-responsibility-forthe，2015-2-4.

［22］USCINSKI JOSEPH E.，DEWITT DARIN，ATKINSON MATTHEW D.A Web of Conspiracy？ Internet and Conspiracy Theory［A］.DYRENDAL ASBJØRN，ROBERTSON DAVID G.，ASPREM EGIL.Handbook of Conspiracy Theory and Contemporary Religion［C］.Leiden and Boston：Brill，2018：106-130.

［23］OTTONI RAPHAEL，CUNHA EVANDRO，MAGNO GABRIEL，et al.Analyzing Right-wing YouTube Channels：Hate，Violence and Discrimination［A］.AKKERMANS HANS，FONTAINE KATHY，VERMEULEN IVAR.Proceedings of the10th ACM Conference on Web Science［C］.New York：Association for Computing Machinery，2018：323-332.

［24］The YouTube Team.Our Ongoing Work to Tackle Hate［EB/OL］.https：//blog.youtube/news-and-events/our-ongoingwork-to-tackle-hate/，2019-06-05.

［25］WEIGHT JOHANNA.Updates on Our Efforts to Make YouTube A More Inclusive Platform［EB/OL］.https：//blog.youtube/news-and-events/make-youtubemore-inclusive-platform/，2020-12-03.

［26］MARTINEAU PARIS.YouTube Removes More Videos but Still Misses a Lot of Hate［EB/OL］.https：//www.wired.com/story/youtube-removes-videos-misseshate/，2019-09-04.

［27］LEWISREBECCA.Alternative Influence：Broadcasting the Reactionary Right on YouTube［EB/OL］.https：//datasociety.net/library/alternative-influence/，2018-09-18.

［28］HANKES KEEGAN.Black Hole［EB/OL］.https：//www.splcenter.org/fighting-hate/intelligence-report/2015/black-hole，2015-03-10.

［29］COLLINSKATIE.Reddit Slammed by Former CEO Ellen Pao for“Amplifying”Racism and Hate［EB/OL］.https：//www.cnet.com/news/reddit-slammed-by-former-ceo-ellen-pao-for-amplifyingracism-and-hate-nfl-nba/，2020-06-02.

［30］DubTeeDub.Open Letter to Steve Huffman and the Board of Directors of Reddit，Inc-If You Believe in Standing up to Hate and Supporting Black Lives，You Need to Act［EB/OL］.https：//www.reddit.com/r/AgainstHateSubreddits/comments/gyyqem/open_letter_to_steve_huffman_and_the_board_of/，2020-06-08.

［31］ROOSE KEVIN.Reddit’s C.E.O.on Why He Banned‘The_Donald’Subreddit［EB/OL］.https：//www.nytimes.com/2020/06/30/us/politics/reddit-bans-stevehuffman.html，2020-06-30.

［32］SIMPSON ROBERT MARK.‘Won’t Somebody Please Think of the Children Hate Speech，Harm，and Childhood［J］.Law and Philosophy，2019，38（1）：79-108.

［33］WEIMANN GABRIEL，MASRI NATALIE.Research Note：Spreading Hate on TikTok［J］.Studies in Conflict&Terrorism，2020，1-14.

［34］COX JOSEPH.TikTok Has a Nazi Problem［EB/OL］.https：//www.vice.com/en/article/yw74gy/tiktok-neo-naziswhite-supremacy，2018-12-19.

［35］FUNG BRIAN.Even TikTok Has a White Supremacy Problem［EB/OL］.https：//edition.cnn.com/2020/08/14/tech/tiktok-white-supremacists/index.html，2020-08-14.

［36］CHRISTOPHER NILESH.TikTok Is Fuelling India’s Deadly Hate Speech Epidemic［EB/OL］.https：//www.wired.co.uk/article/tiktok-india-hate-speechcaste，2019-08-12.

［37］SHEAD SAM.TikTok Plans to Do More to Tackle Hateful Content after Reports Say It Has a“Nazi problem”［EB/OL］.https：//www.cnbc.com/2020/10/21/tiktoksays-it-plans-to-do-more-to-tacklehateful-content.htm l，2020-10-21.

［38］郑峻.十字路口的互联网巨头：政治批斗、230条款和新自由主义［EB/OL］.https：//finance.sina.com.cn/tech/2020-10-30/doc-iiznezxr8860198.shtm l，2020-10-30.

［39］新浪科技.美国社交媒体巨头的“囚徒困境”［EB/OL］.https：//mp.weixin.qq.com/s/W85e97eO5BnJAJFAkMSWuw，2020-11-23.

［40］ZUCKERBERG MARK ELLIOT.A Blueprint for Content Governance and Enforcement［EB/OL］.https：//www.facebook.com/notes/mark-zuckerberg/a-blueprintfor-content-governance-and-enforcement/10156443129621634/，2018-11-15.

［41］ROSENBERG ELI.Facebook Censored a Post for“Hate Speech”.It Was the Declaration of Independence［EB/OL］.https：//www.washingtonpost.com/news/theintersect/wp/2018/07/05/facebook - censored-a-post-for-hate-speech-itwas-the-declaration-of-independence/，2018-07-06.

［42］TARANTOLA ANDREW.Facebook Deploys AI in Its Fight against Hate Speech and Misinformation［EB/OL］.https：//www.engadget.com/facebook-aihate-speech-covid-19-160037191.htm l，2020-05-12.

［43］SU SARA.Update on Myanmar［EB/OL］.https：//about.fb.com/news/2018/08/update-on-myanmar/，2018-08-15.

［44］SCHIFFER ZOE.Facebook Content Moderators Demand Better Coronavirus Protections［EB/OL］.https：//www.theverge.com/2020/11/18/21573526/facebookcontent-moderators-open-letter-coronavirus-protections-demands-accenture，2020-11-18.

［45］常江.互联网如何成了仇恨的放大器［J］.青年记者，2019，630（10）：94.

［46］HORWITZ JEFF，SEETHARAMAN DEEPA.Facebook Executives Shut Down Efforts to Make the Site Less Divisive［EB/OL］.https：//www.wsj.com/articles/facebook-knows-it-encourages-divisiontop -executives-nixed -solutions-11590507499，2020-05-26.

［47］THOMPSON NICHOLAS，VOGELSTEIN FRED.Inside the Two Years That Shook Facebook—and the World［EB/OL］.https：//www.wired.com/story/inside-facebook-mark-zuckerberg-2-years-ofhell/，2018-02-12.

［48］SOLON OLIVIA.Facebook Ignored Racial Bias Research，Employees Say［EB/OL］.https：//www.nbcnews.com/tech/tech-news/facebook-managementignored-internal-research-showing-racial-bias-current-former-n1234746，2020-07-24.

［49］LEFKOWITZ MELANIE.Study Finds Racial Bias in Tweets Flagged as Hate Speech［EB/OL］.https：//news.cornell.edu/stories/2019/08/study-finds-racialbias-tweets-flagged-hate-speech，2019-08-05.

［50］SAP MAARTEN，CARD DALLAS，GABRIEL SAADIA，et al.The Risk of Racial Bias in Hate Speech Detection［A］.KORHONEN ANNA，TRAUM DAVID，MÀRQUEZ LLUÍS.Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics［C］.Florence：Association for Computational Linguistics，2019.1668-1678.

［51］MATSAKIS LOUISE.To Break a Hate-Speech Detection Algorithm，Try“Love”［EB/OL］.https：//www.wired.com/story/break-hate-speech-algorithm-trylove/，2018-09-26.

［52］沈知涵.为了减少人工智能对人的偏见，谷歌操碎了心［EB/OL］.http：//www.geekpark.net/news/268326，2020-11-02/2021-03-17.

［53］Johnson N.F.，Leahy R.，Restrepo N.J.，et al.Hidden Resilience and Adaptive Dynamics of the Global Online Hate Ecology［J］.Nature，2019，573（7773）：261-265.