记者和算法谁更值得信任：“机器人新闻”可信度的影响因素探析*

■ 郑 越 杨 帆

一、研究背景

目前,国内外新闻领域的人工智能技术应用正在蓬勃发展中,与此同时,人们开始思索新科技影响下的新闻发展前景以及新闻记者角色的改变。有学者发现,新闻机器人可以通过对比分析现有和历史数据,提供多个报道重点供记者选择,从而提升调查性报道的水准②。也有学者认为,未来的机器人新闻写作除了自动获取数据之外还能引导新闻线索的发现并驱动新闻深度广度的延伸③。由于机器人新闻的发展取决于社会整体的数据化水平④,当前的机器人新闻研究还处于起步阶段。大多数研究是从媒体的角度看待这一新兴现象,较少学者从受众的角度出发,探究机器人新闻的写作质量和可信度。机器人新闻对新闻实践的影响是什么？新闻受众如何从新闻质量、新闻来源声誉和个人喜好方面感知自动化新闻报道？这些问题值得进一步探讨。因此,本文采用数据-语言转化系统⑤,使用2(启动信息:有,无)X 2(作者:机器人,记者)X 2(媒体:网络,传统)X 3(新闻话题:体育、财经、突发新闻)混合设计方差分析受众对于机器人新闻的可信度感知。研究结果将有助于更好地理解用户对自动化新闻内容的反应,并有助于深入了解机器人新闻的传播和21世纪媒体改革的新方向。

二、文献综述

(一)机器人新闻的定义

新闻生产中的新科技应用近几年大量涌现,使用计算机或软件收集数据后产出新闻更是属于新生事物。有学者将机器人新闻定义为“在没有或者有限的人类干预下,由预先设定的程序将数据转化为新闻文本的自动算法过程⑥。与之类似的提法还有“计算新闻”(computational journalism)或“自动化新闻”(automated journalism)、“自动化内容”(automated content)、“算法新闻”(algorithmic news)或“精确新闻”“数据新闻”等⑦。其中,机器人新闻可以看作是自动化新闻的一种,是一种稿件自动生成软件。我们将其定义为使用书写算法自动生成自然语言文本的过程,在这个过程中除了算法的初始编程之外不需要人工输入。⑧机器人新闻是计算新闻学的最新发展,它的生产方式是利用结构化数据、挖掘用户数据和利用记者数据模型生成稿件,可以看作是媒介变革的第一阶段。Hamilton 和 Turner(2009)主张计算新闻学建立在两种熟悉的方法上:计算机辅助报告和社会科学工具和模型的使用。⑨在此阶段,这些工具主要是用来帮助新闻工作者分析大量数据以提高报告质量的,而不是代替人类新闻记者撰写报道。为此,计算机辅助报道给新闻实践带来的大部分变化是关于新闻收集、生产和传播的,而不是撰写新闻稿件。

写作算法的兴起则代表了媒介变革的第二阶段,因为它开始重塑新闻事业的基本部分——写新闻稿件。在这一阶段,自然语言生成算法的发展使得新闻媒体的转换速度越来越快,可以生成完整的体育、经济和突发新闻报道,很少或没有人类记者的帮助。并且还可以对受众新闻阅读行为精准测量和预测,再将新闻以信息的形式推送给受众。

(二)新闻可信度研究:媒介、内容与信息源

新闻质量可以从多方面衡量,例如新闻的语言结构及新闻来源等。以往的研究发现,新闻可信度是决定新闻质量的重要因素。这可以从不同维度测量,通常从信息源(source)、信息内容(content)和传播媒介(medium)三方面展开。⑩信息源可信度的研究主要是有关信息源的专业性和可信任性。信息内容可信度是受众对信息质量、准确度和价值的可信任程度的感知。媒介可信度是受众对信息传播媒介可信任程度的感知。1951年,自霍夫兰及同事开始研究新闻可信度后,许多学者开始关注这个领域。例如Flanagin和Metzger通过问卷调查和实验研究发现,尽管维基百科的使用越来越普遍,但人们对它的信任度并不太高,尤其是在与在线大英百科全书的对比实验中,不论成人还是儿童都认为同样的内容出现在大英百科全书网站上更为可信,维基百科的可信度则最低。在20世纪60年代,美国罗珀(Roper)机构便就电视和报纸这两种传统媒体开展了一项民意调查,结果表明,在公众眼中电视是一种比报纸、杂志和收音机更为可信的新闻渠道。纽哈根和纳斯认为这是因为电视新闻属于“内源”且体现了“眼见为实”这一理念,因而更易获得公众信赖。

(三)机器人新闻可信度研究

机器人新闻的可信度是一个与内容质量相关的概念,近年来一些国外学者开始涉及这个领域。Clerwall(2014)曾把一篇机器人新闻和人类记者编写的新闻进行比较,研究新闻受众如何看待这两者的可信度。他认为两种类型的新闻报道在可信度上没有显著差异。在同一项研究中,他还发现,那些传播学专业的大学生(46名)并不能正确地辨认出是记者还是机器人写的文章。在另一项拥有较大样本(232名)的研究中,荷兰学者Van der Kaa & Krahmer研究了记者和新闻受众对于机器人新闻的可信度有何不同。在这项研究中,参与者被要求评估一篇有关体育赛事、足球比赛或金融新闻等组成的机器人新闻。研究结果表明,新闻记者和新闻受众在新闻报道的可信度和新闻质量评估方面都没有显著差别,这符合Clerwall的研究即无论新闻文章被标记为记者或机器人,受众对其可信度的评估差异没有显著不同。

三、研究问题的提出

根据以上文献综述,本研究提出以下三个研究问题：研究问题一:当受众被告知新闻报道是由记者编写或是由机器人生成的时候,他们对新闻报道质量的看法是否不同？研究问题二:对于人类记者和机器人编写的新闻,受众的喜好有何不同？本研究不仅研究机器人新闻的可信度,而且探讨新闻受众对机器人生成的新闻文章的喜爱程度。相比那些由人类记者编写的文章,机器人新闻是否是“沉闷的、生动的、有趣的还是令人愉快的”。研究问题三:相比而言,受众更加信任人类记者还是机器人编写新闻报道？研究人员认为,信任和可信度这两个术语并不是相互排斥的概念。在新闻学研究中,对新闻报道的信任包括新闻主题的选择、事实描写的准确性以及对新闻专业性的评价。

四、研究方法

本研究采用了2(启动信息:有,无)X 2(作者:机器人,记者)X 2(媒体:网络,传统)X 3(新闻话题:体育、财经、突发新闻)之间的主题设计,以调查受众对机器人新闻的反应。实验开始之前,受众被随机分成了两组,一组接收启动信息,另一组则没有。启动信息如下:“Automated Insights公司制作的新闻报道都是由计算机自动生成。通过计算机程序,越来越多的机器人或计算机新闻记者已经开始利用数据并遵循写作规律进行新闻报道。虽然近来越来越多的新闻媒体已经开始采用计算机自动生成的新闻,计算机生成新闻的质量和品质仍然引发了不少质疑。”

参加者然后随机阅读一则新闻并回答有关问题,结束后需要留下性别、年龄和受教育程度信息。三则相似长度的新闻(经济、体育和突发)均翻译自《纽约时报》,每则新闻标注为记者和机器人写作,并来自不同类型的媒体(腾讯新闻或《南方日报》)。因此,每则新闻有四个版本,十二种实验条件。即自变量:1.媒体。选择《南方日报》和腾讯新闻因为它们分别为当地大学生使用的主要传统和网络媒体。2.报道者。分别为人类记者和机器人。因变量:1.新闻报道质量。根据Sundar 和Nass(2001)可感知的新闻质量可用四个指标来衡量。针对文章可使用诸如“清晰、连贯、简洁”等字眼来描述的程度,参与者被要求用里氏量表进行评分(1=很差,7=很好)。2.对新闻报道的喜爱程度。与可感知的新闻质量相似,Sundar and Nass(2001)也使用了五个指标来测量受众对新闻报道的喜爱程度。关于使用形容词“沉闷、生动、让人愉悦的、有趣的”等词汇来描述的程度,参加者被要求用里氏量表进行评分(1=很差,7=很好)。3.对新闻报道的信任度。Kohring 和 Matthes(2007)曾使用了16个指标来测量新闻报道的可信度。关于诸如“新闻报道得到了必要的关注”或“新闻报道的重点是新闻事实”“报道的信息是真实的”“报道者的观点是全面的”等陈述,参加者被要求用里氏量表进行评分(1=强烈不同意,7=强烈同意)。本研究在qualtrics上共收集了196份问卷,调查时间为2017年9月至2017年10月。参加者为中国华南某高校的大学生(N=196),有40位填写了个人信息。其中141位(72.4%)女性,54位(27.6%)男性,192 位(98%)是本科学生,4位(2%)是研究生。

五、结果与讨论

本研究在分析数据之前,首先进行了一系列方差分析,以检验参与者的性别、年龄或教育背景是否对调查结果产生影响。结果表明,所有这些变量与其他变量之间没有显著的关系,随后的统计分析不再考虑这些变量。

卡方检验测量了启动效应,结果表明与未接收启动信息的受众(N=14)相比,接收过启动信息的受众中没有人(N=0)将机器人记者误认为人类记者,(N=55),χ2(2,N=196)=15.73,p<0.001。另一次卡方检验被用来测试对媒体类型的影响,结果表明受众可以准确辨识自己阅读的新闻是来自腾讯新闻(N=71)还是来自《南方日报》(N=78),χ2(2,N=196)=112.73,p<0.001。数据分析如下:

(一)研究问题1:可感知新闻报道质量

2(启动信息)X 2(记者)X 2(媒体)X 3(新闻主题)多元方差分析被用来分析受众如何看待人类记者或机器人新闻编写的新闻。分析显示,启动信息并没有显著的影响。Wilks’Λ=0.97,F(9,164)=0.53,p=0.85,部分 η2=0.03。记者 Wilks’ Λ=0.95,F(9,164)=0.90,p=0.53,部分η2=0.05。媒体 Wilks’ Λ=0.93,F(9,164)=1.42,p=0.18,部分η2=0.07。新闻主题 Wilks’Λ=0.88,F(9,164)=1.25,p=0.22,部分η2=0.06。

对于媒体X 记者X新闻主题互动的单因素分析显示,尽管媒体、记者、以及新闻主题对信息质量和可信度的影响不显著,媒体、记者和新闻主题这三者间的互动却很显著。Wilks’Λ=13.80,F(2,172)=5.23,p<0.01,部分η2=0.06；可感知的信息质量,Wilks’Λ=9.73,F(2,172)=5.09,p<0.01,部分η2=0.08；可感知的信息重要性,Wilks’Λ=14.28,F(2,172)=5.19,p<0.01,部分η2=0.07；对媒体的信任,Wilks’Λ=8.96,F(2,172)=5.69,p<0.01,部分η2=0.06。

根据图1,对于网络媒体来说,记者对受众对突发新闻和体育新闻可信度的评价没有多大影响(突发新闻:人类记者M=4.53.SE=0.27,机器人记者M=4.20.SE=0.37;体育新闻:人类记者M=3.80.SE=0.32,机器人记者M=3.66.SE=0.27)。然而,报道者对经济新闻有着重大的影响,如机器人报道的经济新闻(M=4.12,SE=28)被认为比人类记者(M=2.88.SE=0.44)报道的更可信。对于传统媒体而言,记者对受众对体育新闻可信度的评价没有多大影响(人类记者M=4.08.SE=0.33,机器人记者M=4.22.SE=0.30)。然而,记者显著影响了受众对经济新闻和突发新闻的可信度感知。人类记者报道的经济新闻(M=4.83.SE=0.33)被认为比机器人报道的经济新闻更可信(M=4.11.SE=0.30)；相反,人类记者报道的突发新闻(M=3.75.SE=0.33)被认为不如机器人报道的突发新闻可信(M=4.43.SE=0.37)。

图1 可感知新闻报道可信度比较

图2 可感知新闻报道质量

如图2所示,对于网络媒体,记者对体育新闻的感知质量没有太大的影响(人类记者M=3.51.SE=0.27机器人记者M=3.60.SE=0.23)。然而,记者显著地影响了受众对经济新闻和突发新闻的感知质量。例如，受众认为人类记者报道的突发新闻(M=4.21.SE=0.23)比机器人新闻(M=3.72.SE=0.31)的质量好。相反,人类记者报道的经济新闻(M=3.57.SE=0.37)被认为比机器人报道的经济新闻的质量低(M=3.95.SE=0.24)，但对于传统媒体,人类记者报道的突发新闻(M=3.13.SE=0.28)与机器人编写的突发新闻(M=4.09.SE=0.31)相比,被认为质量不高。这与经济新闻(人类记者M=4.32.SE=0.28,机器人记者M=3.77.SE=0.26)和体育新闻(人类记者M=4.01,SE=0.28,机器人记者 M=3.52.SE=0.25)的模式不同。

(二)研究问题2:新闻报道的可感知信息重要性

如图3所示,对于网络媒体,记者与机器人写作对体育新闻(人类记者M=2.48.SE=0.33,机器人记者M=2.73.SE=0.28)和突发新闻(人类记者M=3.08.SE=0.28,机器人记者M=2.79.SE=0.38)的感知重要性影响差别不大。然而,记者写作在更大程度上影响了受众对经济新闻的感知,例如人类记者报道的经济新闻(M=3.57.SE=0.37)被认为不如机器人报道的那么重要(M=3.95.SE=0.24)。然而,对于传统媒体来说,记者对突发新闻的影响远大于对经济新闻的影响(人类记者M=2.90.SE=0.34,机器人记者 M=2.67.SE=0.31)和体育新闻(人类记者M=2.48.SE=0.34,机器人记者M=2.68.SE=0.30)。例如机器人报道的突发新闻(M=4.19.SE=0.37)被认为比人类记者报道的更重要(M=3.08.SE=0.28)。

图3 可感知信息重要性

(三)研究问题3:受众对机器人和人类记者新闻信任度比较

如图4所示,记者对网络媒体上的体育报道的信任度没有多大影响(人类记者M=3.74.SE=0.25,机器人记者 M=3.82.SE=0.21)。然而,记者对网络媒体上的经济新闻和突发新闻的信任程度有显著影响。例如,受众对人类记者报道的突发新闻(M=4.06.SE=0.21)比机器人报道的突发新闻(M=3.72.SE=0.28)的信任度要高。而受众对机器人编写的经济新闻(M=3.90.SE=0.22)比人类记者报道(M=3.03.SE=0.34)的经济新闻信任度要高。

传统媒体上的情况则正好相反。记者对体育新闻的信任度没有显著影响(人类记者M=3.58.SE=0.26,机器人记者 M=3.73.SE=0.23)。但受众对人类记者编写(M=4.24.SE=0.26)的经济新闻比机器人编写的经济新闻(M=3.61.SE=0.23)更加信任。然而,受众对机器人编写的(M=4.19.SE=0.28)突发新闻比人类记者编写(M=3.56.SE=0.26)的更加信任。

图4 对新闻报道的信任度比较

如图5所示,对于网络媒体,记者对体育新闻的分享意愿没有太大的影响(人类记者M=2.58.SE=0.38,机器人 M=2.47.SE=0.32)。然而,记者对经济新闻和突发新闻的分享意愿有显著的影响。例如受众对于人类记者报道(M=2.99.SE=0.32)的突发新闻比机器人报道(M=2.45.SE=0.43)的分享意图更强烈,但受众对于机器人编写(M=2.58.SE=0.33)的经济报道比人类记者报道的(M=1.80.SE=0.52)分享意愿更强。对于传统媒体,记者对体育新闻(人类记者M=2.43.SE=0.39,机器人(M=2.25.SE=0.35)和经济新闻(人类记者M=3.03.SE=0.39,机器人M=2.70.SE=0.35)的分享意图没有显著影响。受众对机器人编写(M=4.03.SE=0.43)的突发新闻比人类记者报道(M=2.30.SE=0.39)的更有分享的意愿。

图5 新闻分享意愿比较

综上所述,受众普遍认为网络媒体上机器人生成的新闻比人类记者编写的质量高。但在传统媒体中,人类记者编写的新闻报道比机器人生成的质量要高。

总体来说,媒体机构对新闻质量没有显著的影响。有关不同新闻报道的喜好结果显示,受众认为网络媒体上的机器人生成新闻更加有趣,而传统媒体上的人类记者新闻更受欢迎。有关新闻可信度的结果则表明,网络或传统媒体上的新闻可信度并没有显著差别。第二阶段的问卷调查结果与第一阶段的调查结果接近,不同职业和所在地区并未对调查结果产生较大的影响。

尽管本文对机器人新闻受众研究提供了实证案例,但依然有以下局限。首先,实验是在网上进行的,这会引起外界环境因素对调查结果未指明的影响的担忧。其次,本研究选择的是熟练掌握现代信息和传播技术的人群,那些未能熟练掌握该技术的人群或许对机器人新闻有着不同的看法。最后,本文选择的新闻类型(体育、财经、突发)主要是机器参与度比较高的新闻样式。对于深度报道和调查性报道等机器写作参与程度不高的新闻样式目前还不能采用本文的分析方式来测量。机器写作是否只适合程式化的写作？未来的机器写作是否能在某些领域完成个性化创作？这些问题目前还没有答案,有待进一步探索。因此,未来的研究除了尽量覆盖更广阔的人群之外还可以考虑扩大新闻类型。

(感谢美国宾夕法尼亚州立大学传播学院钟布教授的指导。)

注释:

① Pavlik,J.V.,NewMediaandNews:ImplicationsfortheFutureofJournalism. New Media & Society,1(1),1999.pp.54-59.

② 钟布:《后IT时代的传媒产业创新》,《深圳大学学报(人文社会科学版)》,2017年第5期。

③ 彭兰 :《智媒化:未来媒体浪潮——新媒体发展趋势报告》,《国际新闻界》,2016年第11期。

④ 邓建国:《机器人新闻:原理、风险和影响》,《新闻记者》,2016年第9期。

⑤ Theune,M.,Klabbers,E.,De Pijper,J.R.,Krahmer,E.,& Odijk,J.,FromDatatoSpeech:aGeneralApproach.Natural Language Engineering,7(1),2001.pp.47-86.

⑥ Carlson,M.,TheRoboticReporter:AutomatedJournalismandtheRedefinitionofLabor.Compositional Forms,and Journalistic Authority,Digital Journalism,3(3),2015.pp.416-431.

⑦ Anderson,C.W.,TowardsaSociologyofComputationalandAlgorithmicJournalism,New Media & Society,15(7),2012.pp.1005-1021.

⑧ Dörr,K.N,MappingtheFieldofAlgorithmicJournalism,Digital Journalism,4(6),2015.pp.700-722.

⑨ 许向东、郭萌萌:《智媒时代的新闻生产:自动化新闻的实践与思考》,《国际新闻界》,2017年第5期。

⑩ Chung,Chung Joo,Hyunjung Kim,and Jang Hyun Kim,AnAnatomyoftheCredibilityofOnlineNewspapers,Online Information Review 34(5),2010.pp.669-685.