APP下载

学术论文的可读性与影响力研究*
——基于人文社会科学学科差异的视角

2023-11-10伍丹炜刘宇

数字图书馆论坛 2023年9期
关键词:情报学可读性管理学

伍丹炜 刘宇

(1. 云南大学历史与档案学院,昆明 650091;2. 云南大学新闻学院,昆明 650504)

学术论文作为传播研究成果的知识载体,肩负着促进知识发展、引导社会思潮等重要使命。在学术研究与社会不断互动重构的背景下,研究成果的传播范围已逐渐从相关领域的专业人士拓展至社会上对严肃文本有浓厚兴趣的业余人群。这无疑提高了对研究人员写作水平的要求,即在撰写论文的过程中提高文本的可读性,让读者更容易理解作者知识框架的构建过程、内容以及研究成果的社会价值[1]。然而,可读性作为评价论文质量的一个指标尚未受到学界的普遍支持与认可,但它对知识传播的实质性影响不容忽视。本研究将借助荆溪昱等[2]的可读性公式分别计算论文摘要及全文的可读性,并利用被引频次作为测量论文传播效果的指标进行回归检验,以探索学术文本可读性对论文知识传播效果的影响,为提高学术交流的有效性提供新的视角及建议。

1 文本可读性相关研究

通常而言,研究内容能满足读者的阅读需求是论文获得认可与引用的前提。高影响力的论文不仅要有契合时代发展的研究话题,其文字表述还要通畅、所传达的内容信息要能使读者产生共鸣。为衡量阅读材料的难易程度,学界已经产出大量有关可读性测评工具的研究。

1.1 可读性工具的研发

可读性又称为易读性,是指文本材料所包含的影响读者有效使用的所有要素及其之间相互作用的总和[3],用于反映信息易于被发现、被接受和被理解的程度[4]。20世纪20年代,美国教育界为衡量教材难度、找到适合当时中学生学习的教材,开始关注教材的可读性研究[5]。在现实需求的推动下,针对英语文本的可读性公式逐渐走入大众视野。Vogel等[6]引入桑代克词表,将学生的阅读成绩作为因变量,通过逐步回归的方法研制出明确文本难度的可读性公式,该公式包含4个预测变量,即词表中的不同词语数、词表中的介词数、词表之外的词数及75个样本句中的简单句数。随后,多元线性回归成为研制可读性公式的重要统计方法,大量科学、客观的可读性公式在Vogel等的研究基础上不断涌现,如Flesch Reading Ease、SMOG Grading、Flesch-Kincaid Formula等,它们被广泛应用于教材课本、国家政策等阅读材料的可读性测量。随着研究的深入,这些公式的研究范式逐渐趋于统一,主要通过测量词汇、句法、篇章等文本特征衡量文本可读性[7]。20世纪90年代后,计算机的应用为文本可读性公式的深入研究提供了技术支持。Crossley等[8]通过自然语言处理工具提取与文本理解和阅读速度相关的语言特征,开发出了预测文本可读性的新模型,并通过对比预测结果发现新模型比经典可读性公式解释更准确。此外随着大规模语料库的建设与深入研究,一系列自动化的在线分析工具如Coh-Metrix[9]等逐渐产生,降低了人工计算带来的误差概率与成本。

英语可读性工具的研制带动了其他语言的相关研究。尽管汉语、日语这类语言的结构与英语差异较大,但是一些学者仍根据这些语言自有的特点展开了研究。例如,Yang[10]以繁体文本为样本,用难词比、完整句子数及平均笔画数3个预测变量研制出了第一个汉语文本的可读性公式。荆溪昱等[2]以台湾地区中小学12个年级的中文教材为研究样本,选用课文长度、平均句长、常用字占比、诗歌文体及文言文体来拟合每个学期的教材难度,其提出的公式被认为是当前汉语可读性公式中最权威的可读性公式[11]。由于汉语可读性的相关研究公式起步较晚,且汉语与英语的语言特点截然不同,当前汉语文本可读性研究仍以研制可读性公式为主[6],例如:郭望皓[12]通过问卷调查的方法,筛选出平均句长、汉字难度以及词汇难度3个对外汉语文本难度的影响因素,并通过CRITIC加权赋值法计算了各因素的权重系数,拟合出对外汉语文本的可读性公式;李萍[13]则对荆溪昱等的公式进行创新,将专业术语作为衡量指标引入汉语可读性计算公式。直至2020年,针对汉语的可读性公式有将近30个[14]。

1.2 可读性工具的应用

当前有关文本可读性的研究除可读性工具开发等理论研究外,还有一部分研究集中在可读性工具的应用上。初始阶段,可读性工具的应用主要集中在教育学领域对教材难易程度的预测方面,由于阅读在社会生活中的重要作用,可读性工具的应用逐渐扩展至商业、医疗等诸多领域[15]。逯东等[16]以2007—2016年A股上市公司为研究对象,发现年报可读性越低的上市公司面临的融资约束越强。柯青等[17]构建具有高/低可读性的两组健康信息网页作为实验刺激材料,通过眼动实验检验了在线健康信息可读性对信息加工绩效的影响效应,发现可读性可以不同程度作用于总注视时间、注视点个数以及首次进入时间3个认知负荷因素,从而间接地影响信息加工绩效。

随着可读性工具在各领域的广泛应用,一些学者也开始关注文本可读性与论文影响力之间的关系。早期,学者主要通过外显的定性评价特征来评估论文的影响力。Hartley等[18]研究了心理学领域文本可读性及其影响力之间的关系,通过比较经典论文与对照论文(同刊同期论文)的可读性发现,文本可读性正向影响着论文的重要性排序,但与其被引频次之间没有显著关系。Sawyer等[19]以4种市场营销期刊上的论文为研究对象,通过对比获奖/未获奖论文的文本可读性来判断文本可读性与论文影响力的关系,发现获奖论文比未获奖论文更具可读性。随着引文分析技术的普及,被引频次作为衡量论文影响力的指标被广泛应用。Van Wesel等[20]使用FRES可读性公式分别对社会学、普通内科和应用心理学论文的摘要、全文进行可读性测量,发现在社会学中全文可读性显著负向影响被引频次、在普通内科学中摘要可读性显著负向影响被引频次、在应用心理学中全文可读性显著负向影响被引频次。Lei等[21]使用了FRE和SMOG两个指标测量了情报学领域2003—2012年期刊论文的摘要、全文可读性与标准化被引频次之间的关系,发现可读性与被引频次之间的相关关系不显著。陈练文等[22]则利用SMOG、FKG、ARI及FOG 4个可读性公式分别测试了计算机和图书情报学科的摘要及全文的可读性,发现高被引期刊的可读性得分高于低被引期刊,这一点在摘要上表现得更为明显。Jin等[23]采用39个词汇和句法复杂性指标来衡量2012年和2018年发表在Science上的550篇论文摘要的可读性,并采用另类注意力评分来衡量读者的在线注意力,结果表明摘要的可读性与网络关注显著相关,且这种关系受学科和发表时间的显著影响。

目前文本可读性研究在国内仍是一个新兴领域,其中对文本可读性公式的探索主要集中在计算机语言学学科[24];而在可读性工具的应用方面,鲜有学者关注到文本可读性与学术论文影响力之间的关系。基于此,本文运用现有的可读性工具,展开对汉语文本可读性与论文影响力关系的研究,以填补国内可读性相关研究的空缺。

2 研究设计

2.1 数据来源

以中国知网(CNKI)期刊全文数据库为数据源,分别选择图书情报学、新闻传播学以及管理学3个学科的代表性期刊(《中国图书馆学报》《情报学报》《新闻与传播研究》《国际新闻界》《管理世界》《南开管理评论》)所收录的论文作为样本。李樵[25]的研究显示,新闻传播学与管理学是与图书情报学知识交流最为紧密的两个相关学科。使用这3个学科的典型论文作为研究样本不仅可以降低以某一学科论文为样本带来的“以偏概全”风险,能够更为全面地展示国内社会科学界文本可读性的特点,也可以比较不同学科之间文本可读性与论文影响力之间关系的差异。于2023年3月4日在CNKI数据库抓取2016—2020年6种期刊发表的论文作为研究样本,并采集了样本论文的作者信息、期刊信息、摘要文本、全文文本及被引频次等信息。剔除会议报道等非研究性的记录,并分别计算样本摘要及正文的可读性,最终得到3 214个研究样本。

2.2 研究方法

2.2.1 因变量

使用被引频次作为测量论文影响力的变量。随着数据库在学术领域的广泛应用,读者对研究成果的关注度可以通过被引频次更加真实客观地反映出来,这在一定程度上解决了定性评价数据收集成本高、评价结果片面等问题。

现有研究发现被引频次并非呈正态分布[26-27],而作为典型的计数变量,被引频次在本研究中还存在过离散现象(均值为58.71,方差为102.153),因此负二项回归模型更适用于此次分析。使用SPSS 24软件的广义线性模型拟合负二项回归。

2.2.2 自变量

理想状态下,被引频次被视为一种测量研究内容有用性的工具变量,可用于描述科学知识的扩散轨迹[28]。实际的引文动机却很复杂,受到许多社会因素的影响。Wang等[29]在设计预测高被引论文工具时提出,高引用的特征可以归纳为质量机制和可见性机制,其中可见性机制是指通过影响论文可见性影响论文被引频次的因素集合,例如在知名期刊上发表或由知名人士撰写的论文更容易被读者关注,从而增加了这类论文被引用的机会。基于此,设置了“期刊是否为权威期刊”以及“第一作者的工作单位级别”,分别控制了期刊声望及作者声望两个社会因素对被引频次的干扰。此外,由于被引频次是一个累积的变量,新发表的论文与发表年龄较长的论文相比存在被引劣势,还设置了论文年龄(截至2023年的论文发表时间)来控制这一影响。

尽管越来越多的研究发现论文外部的社会因素是被引频次的重要影响因素,但是学界实际更关心论文本身的知识内容是否可以预测论文未来的学术影响力[30-31]。当前已有学者通过提取论文内容特征的方式来评价论文的内容质量。例如,Stremersch等[32]使用论文在期刊目次中的顺序、是否获得期刊年度优秀论文奖以及论文长度(页数)作为论文质量的测量指标,发现在市场营销领域这3个测量指标与论文的被引频次显著相关。然而上述研究仅从论文的某些具体特征出发判断论文的内容质量,忽略了论文主要由文字构成的事实。论文的摘要及全文作为作者传达知识的核心载体,其文本内容往往是读者判断论文引用价值的重要因素。如前所述,由于荆溪昱等的可读性公式在学界的认可度较高,使用该可读性公式分别计算了样本论文摘要及全文的可读性,以期探索论文摘要及全文的可读性对其被引频次的影响。可读性公式如式(1)所示。

式中:R为可读性数值;X1为文本总字数;X2为平均句长;X3为常用字比;X4为诗歌文体;X5为文言文体[10]。由于研究样本是学术论文,不存在诗歌文体和文言文体,X4、X5取值均为0。此外公式中的常用字是指台湾地区小学的495个常用繁体字,而研究样本均为大陆文本,将相关内容替换为国家《通用规范汉字表》中的一级汉字表。最终计算得到的R值越大表示越不易理解,即可读性越低。

研究样本来自于图书情报学、新闻传播学及管理学3个学科,因此将学科分类这一变量设置为研究模型的调节变量。虽然3个学科均从属于社会科学,但不同学科在知识传播途径、学者引用偏好、学科规模等方面存在诸多差异,因此不同学科被引频次在数据级上可能存在差异,难以直接用于比较[33-34];此外,不同学科之间的写作方式和话语风格也存在一定差别,这也可能会影响文本内容的可读性。因此,有必要考察不同学科之间文本可读性与被引频次之间的差异。

3 数据分析与发现

3.1 学术文本可读性的变化

2016—2020年论文摘要及全文的R值变化如图1所示。总体而言,全文R值比摘要高(即全文比摘要更难阅读);同时,两者均表现出越来越难读的迹象,尤其是全文阅读难度在2018—2020年明显提升。

图1 2016—2020年样本论文摘要及全文R值变化趋势

不同学科论文摘要R值的变化趋势如图2所示。虽然图1显示2016—2020年论文摘要R值的变化趋势并不明显,但3个学科论文摘要R值的变化趋势与均值变化趋势并不一致。新闻传播学论文摘要的R值主要呈现下降趋势,表明其摘要随着时间的推移变得越来越容易阅读;管理学论文摘要的R值呈现明显上升趋势;图书情报学论文摘要的R值变化趋势比较平缓,但是波动较大,而且最高摘要R值均出现在图书情报学。整体上看,图书情报学论文的摘要一直最难读,新闻传播学论文的摘要一直最易读。

不同学科论文全文R值的变化趋势如图3所示。3个学科论文全文的R值均有所提升:图书情报学的提升速度最快,管理学次之,新闻传播学较为平缓。整体上看,管理学论文全文R值最高,图书情报学论文全文R值最低,也就是说管理学论文的全文最难读、图书情报学论文的全文最易读。

3.2 文本可读性与被引频次

根据文献综述分析,被引频次的影响因素复杂,且测量方式存在差异。为了更科学地展示研究变量的测量方式,根据变量的类型对其进行了描述性统计。

表1所示为分类变量的描述性统计信息。在控制变量中,非权威期刊的论文占比略多,这符合权威期刊版面紧俏、发文量有限的现实;第一作者的工作单位以高校为主,其中985高校的第一作者数量最多,占比约为52%,表明由于样本期刊均是各学科内的一流期刊,论文发表中存在“头部机构固化”现象[35]。在调节变量中,管理学论文数量最多,约占40%,而图书情报学论文数量最少,约占28%,表明管理学的发文量更大。

表1 分类变量信息

表2所示为连续变量的描述性统计信息。因变量被引频次的极差较大,呈明显的离散分布现象。控制变量中,论文年龄呈轻微的正偏态分布,意味着每年发文量略微下降。预测变量中,摘要R值与全文R值都呈现出正偏态分布,说明其取值主要为较小的数值。

表2 连续变量信息

表3所示为论文被引频次影响因素的负二项回归模型。模型一纳入了论文年龄、权威期刊以及单位级别3个变量,对可能影响被引频次的核心性社会因素进行控制;模型二增加了摘要R值以及全文R值两个预测变量,用于考察文本可读性对被引频次的影响;模型三纳入了调节变量学科;模型四检验了学科对摘要R值、全文R值与被引频次关系的调节作用。Omnibus检验显示4个模型均显著有效,同时随着模型不断纳入新的变量,模型的皮尔逊卡方值也在不断减小,说明模型整体的解释力在不断上升并收敛。

表3 被引频次影响因素的负二项回归模型

模型一显示论文年龄、权威期刊以及单位级别均显著影响论文的被引频次。具体而言,发表时长越长的论文被引频次越高(β=0.168,P<0.001),论文年龄每增加一年论文的被引频次增加一个单位的优势比的概率会增加18.4%。相对于发表在权威期刊上论文,非权威期刊论文的被引频次增加一个单位的优势比的概率低49.2%。相对于在985高校任职的第一作者,在其他单位任职的第一作者的论文被引频次增加一个单位的优势比的概率低21.4%。

模型二显示在控制论文年龄、权威期刊及单位级别3个变量的情况下,两个预测变量均显著影响论文的被引频次。具体而言,摘要R值越高论文的被引频次越低,摘要R值每增长一个单位,论文被引频次增长一个单位的优势比的概率就会减少1.9%,即摘要越容易阅读,论文被引用的可能性越高。而全文R值越高论文的被引频次越高,全文R值每增长一个单位,论文被引频次增长一个单位的优势比的概率会增加2.7%,即越难读的论文被引频次反而越高。

模型三显示在控制了论文年龄、权威期刊及单位级别和摘要R值、全文R值的情况下,学科对被引频次的影响也十分显著。具体表现为,相对于管理学论文而言,图书情报学和新闻传播学论文的被引频次增加一个单位的优势比的概率分别低70.0%、66.5%。

模型四在模型三的基础上考察了学科对摘要R值、全文R值和被引频次之间关系的调节作用。结果表明,学科对摘要R值、全文R值与被引频次的关系都有一定的调节作用。具体而言,在摘要R值对被引频次的影响过程中,图书情报学与管理学之间存在显著的学科差异(β=0.036,P=0.030),即图书情报学的摘要R值增加一个单位引发被引频次也增加的概率比管理学高3.7%。在全文R值对被引频次的影响过程中,新闻传播学与管理学之间存在显著的学科差异(β=0.008,P=0.043),即新闻传播学的全文R值增加一个单位引发被引频次也增加的概率比管理学高0.8%。

值得注意的是,在纳入调节变量学科前,摘要R值对被引频次有显著影响(如模型二所示);当模型纳入学科变量后,摘要R值对被引频次的影响不再显著(β=-0.007,P=0.297),这说明摘要R值对被引频次的影响被学科差异对被引频次的影响覆盖。在4个模型中,3个控制变量均显著影响着论文的被引频次,这一特征与已有研究结果相符,说明权威效应和时间效应对被引频次具有稳定的影响效果[36-37]。

4 文本可读性对被引频次的影响

如前所述,虽然国外已有学者关注并研究论文可读性与被引频次的关系,但以汉语学术文本为对象的可读性研究还很缺乏;已有研究关于可读性与被引频次之间关系的实证结果并不一致,导致两者关系的研究结论仍存在争议。本研究的价值就在于以汉语文本为样本,揭示了学术文本可读性与被引频次之间的关系;同时,将学科作为调节变量,以探索不同学科之间文本可读性的变化规律以及文本可读性对被引频次的影响。

4.1 摘要可读性对被引频次的影响

根据前文分析可知,2016—2020年样本论文摘要的可读性呈轻微的下降趋势。加入学科变量后对这一趋势展开了进一步分析,发现不同学科的摘要可读性变化趋势也存在较大差异,主要表现为:图书情报学及管理学的摘要逐渐变难读,而新闻传播学摘要却逐渐易读;相对于其他两个学科而言,管理学摘要可读性每年的变化幅度更为明显。这一发现与Gazni[38]的研究结果相似,即有些学科的摘要可读性明显不如其他学科,而且摘要可读性在被调查的时间段里一般不会出现太大的变化。摘要是一篇论文的内容浓缩,是读者阅读全文的重要前提。不同学科话语模式的差异引发了摘要可读性的学科差异,在短期内同一学科话语模式相对稳定,则摘要可读性具有稳定性。管理学是一个学科范式比较混杂的学科,存在“管理科学与工程”和“工商管理”两大基本的话语模式。《管理世界》在2019年开始增设“管理科学与工程”专栏,这可能是管理学的摘要可读性与全文可读性在2019年、2020年发生突变的重要原因。

由模型二可知,在控制论文年龄、权威期刊及单位级别的条件下,摘要越容易阅读的论文被引频次越高。但在加入学科变量后,摘要R值的主效应不再显著,图书情报学与管理学的摘要可读性及被引频次之间的关系存在显著的学科差异。图4展示了学科对摘要R值与被引频次关系调节作用的简单斜率检验结果[39]。由图4可知,随着摘要R值的提升,论文的被引频次逐渐降低,即图书情报学和管理学中,摘要越容易阅读的论文被引用的可能性越高。相对于管理学来说,图书情报学的斜率更大,即在图书情报学中摘要越易读,提升被引频次的效果越明显,因此相对管理学来说,图书情报学中的调节作用表现为增强作用。

图4 学科对摘要R值与被引频次关系的调节作用

4.2 全文可读性对被引频次的影响

如前所述,与摘要相比,样本论文的全文R值的增长趋势较为明显。加入学科变量对这一趋势进一步分析发现,3个学科全文R值均表现为逐年增长趋势。这与国内社会科学研究日益规范化、定量研究方法日益普及有很大关系。

由模型二及模型四可知,与摘要R值不同,加入学科变量后全文R值对被引频次的主效应一直显著,表明全文可读性对被引频次的影响效应比较稳定,越难读的论文被引频次越高。新闻传播学与管理学论文的全文可读性及被引频次之间的关系存在显著的学科差异。图5展示了学科对全文R值与被引频次关系调节作用的简单斜率检验结果。如图5所示,随着全文R值的提升,论文的被引频次逐渐升高,即新闻传播学和管理学论文都表现为全文越难阅读,被引频次越高的特点;而相对于管理学来说,新闻传播学的斜率更小,即在新闻传播学中全文低可读性对提升被引频次的效果没有管理学显著,因此相对管理学来说,新闻传播学中的调节作用表现为抑制作用。

5 结语

可读性是论文质量的一个重要特征,本研究通过量化文本内容可读性的方式探索学术论文的文本可读性对论文影响力的影响,对作者进行论文写作以及科研评价具有重要参考价值。研究使用荆溪昱等的可读性公式分别计算了样本论文摘要及全文的可读性,并运用负二项回归模型检验了论文摘要及全文可读性与被引频次之间的关系。研究发现,在控制论文年龄、权威期刊及单位级别的情况下,摘要易读而全文难读的论文被引频次较高。可读性与被引频次之间的关系受到学科的调节,即相对于管理学来说,若图书情报学论文摘要难读,则论文被引频次更容易减少,新闻传播学论文全文可读性对被引频次的影响不如管理学显著。

作为传播论文知识的两个核心部分,摘要和全文扮演了两种不同的角色。摘要作为读者阅读论文的前提,其易读性积极地影响着论文被引,这意味着作者应该尽可能用简洁、直接的语言描述研究的核心内容,以达到快速吸引读者注意的目的;而全文为读者提供更详尽的知识信息,影响着读者对知识结构严谨度、研究成果有用性等的感知和评价,作者在撰写全文时应将研究步骤和方法尽可能详细地展示在读者眼前,以满足读者的阅读需求,获得更多的认可与支持。本研究在以下两个方面还存在一定缺陷。首先,对文本可读性的量化依赖于可读性计算公式,然而计算公式利用的可读性指标主要取决于文字内容的特征,实际上文本可读性还受到记录载体[40]、个人教育水平[41]等因素的影响。可读性计算公式提供的可读性指标从客观层面揭示文本自身存在的难易度差异,而忽略个体因素带来的影响。其次,仅选择了社会科学中的图书情报学、新闻传播学以及管理学论文作为研究样本,对于自然科学文本可读性的发展及其对论文传播的影响需进一步的对比研究。

猜你喜欢

情报学可读性管理学
开放与融合:公安情报学进入情报学方式研究*
“天人合一”的管理学启示
可读性
张瑞敏金句背后的管理学知识
构建中国特色的情报学
浅谈管理学
对增强吸引力可读性引导力的几点思考
浅谈对提高党报可读性的几点看法
联邦快递的管理学
在增强地方时政新闻可读性上用足心思