多特征融合下视频网站弹幕信息有用性检测研究

张瑞 何禄鑫 黄炜

基金项目：湖北省高等学校哲学社会科学研究重大项目“新时代高校突发事件网络舆情分析与引导机制研究”（项目编号：19ZD025）;湖北省教育厅科学技术研究计划重点项目“大规模数据环境下基于时序模式挖掘的网络恐怖事件感知方法研究”（项目编号：D20191401）。

作者简介：张瑞（1992-），女，讲师，博士，研究方向：知识计量与信息管理。何禄鑫（2001-），男，本科生，研究方向：用户行为。黄炜（1979-），男，教授，博士，研究方向：网络舆情与大数据。

摘 要：[目的/意义]随着视频平台弹幕功能被大众所熟知，弹幕信息呈现爆炸式增长，信息有用性检测逐渐凸显重要的学术和商业价值。[方法/过程]本文提出了多特征融合下视频网站弹幕信息有用性检测模型。该模型首先从弹幕信息效用、弹幕表达形式和弹幕用户特征3个角度提取与弹幕信息有用性相关的特征指标，然后利用随機森林对重要特征进行选择，建立机器学习模型逻辑回归、SVM、决策树、朴素贝叶斯、GBDT等对弹幕信息进行分类，得到各等级信息有用性的检测结果。[结果/结论]从结果中显示，集成模型（GBDT、LightGBM和XGBoost）相比于单模型算法展现了更好的优越性。最后，根据研究结果提出相应的理论和实践意义。本研究扩展了在线信息特征相关研究，也为评估和改善视频平台环境提供了决策依据。

关键词：特征融合;随机森林;机器学习;有用性检测;弹幕信息

DOI：10.3969/j.issn.1008-0821.2022.04.009

〔中图分类号〕G203 〔文献标识码〕A 〔文章编号〕1008-0821（2022）04-0099-11

Abstract：[Purpose/Significance]As the function of the video platform danmaku is well-known to the public，the information of danmaku has exploded，and information usefulness detection gradually highlights the important academic and commercial value.[Method/Process]In this paper，a multi feature fusion based video website danmaku information usefulness detection model was proposed.Firstly，the feature indexes related to the usefulness of danmaku information were extracted by the model from the three perspectives of danmaku information utility，danmaku expression and danmaku user characteristics.Then the important features were selected using random forest，and a machine learning model was established to classify danmaku information，such as logical regression，SVM，decision tree，naive bayes and GBDT，getting the test results of each level of information usefulness.[Results/Conclusion]The results show that the integrated models（GBDT，LightGBM and XGBoost）have better advantages than the single-model algorithm.Finally，according to the research results，the corresponding theoretical and practical significance is put forward.This research expands the research on the characteristics of online information，and also provides a decision-making basis for evaluating and improving the video platform environment.

Key words：feature fusion;random forest;machine learning;usefulness detection;danmaku information

近年来，弹幕已经发展成为大众熟知并接纳的一种信息传播方式。弹幕文化最早起源于2006年日本Niconico视频网站，2008年传入我国被ACG爱好者所接受，其后，BiliBili网站（以下简称B站）迅速建立并发展成为我国最大的弹幕视频网站，2014年底，腾讯、爱奇艺等国内主流视频网站纷纷使用了弹幕功能[1-2]。在2020年11月，B站联合中国社会科学院社会学研究所发布《2020年度弹幕报告》，报告基于大数据统计指出B站用户总共发送超16亿次弹幕，95后用户非常活跃[3]。随着弹幕的受众和影响力不断扩大，大量弹幕信息呈爆炸式增长，过去弹幕只是一种漂浮于在线播放视频之上的流动文本，现在弹幕已发展成为诸多场景必不可少的互动功能之一[4]。用户可以即时进行文本编辑与发送，将自己的弹幕呈现在播放页面上。相比于传统评论，视频弹幕具有即时性、共情性、互动性等特点。作为一种新型的信息交流方式，弹幕不仅包含用户对视频内容的评论信息，同时还包括用户复杂多样的态度、意向、情感等信息。喻昕等指出，弹幕信息具有互动性、可视性、娱乐性和有用性4种特性，其中有用性反映出弹幕信息的可利用价值[5]。

随着用户参与度提高，弹幕数量日渐庞大且不断增长，密集的文字铺满屏幕，可能会对用户观看体验造成一定的影响[6]。用户倾向于对自己的观看体验产生积极影响的弹幕信息，认为该信息是有价值的、有意义的。此外，弹幕信息中传递的用户观点和想法越来越多地被视频创作者和平台关注，且在产品功能上十分重视弹幕的筛选和审核机制[7-8]。然而，信息有用性在不同程度上取决于个人的主观认知，针对信息有用性的量化研究成为一项具有挑战性的工作[9-10]。因此，面对海量弹幕信息，有效甄别和检测弹幕信息有用性体现出重要的价值。现有对信息有用性的研究集中于网络评论有用性[11-12]，弹幕是继网络评论后的一种新颖的信息表达方式，弹幕信息有用性的衡量标准也产生了一定变化。基于上述情况，本文以视频网站弹幕信息为研究对象，提取弹幕信息特征，构建有用性检测模型，并采用弹幕数据进行实验来验证检测效果，以期達到能独立判断和自动识别视频网站弹幕的信息价值，有效挖掘用户观点，提升视频网站服务质量。

1 相关工作

1.1 弹幕文本研究

在互联网时代，弹幕文化日益浓厚，表现出显著的风格特征，呈现出互动性、碎片性、流动性和及时性[13-14]。弹幕文本具有形式短且语义缺失的特点，张俊杰分析收集视频弹幕数据发现，80%以上的弹幕在30字符以下[15]。从传播学角度，网络媒体有丰富的符号化表达方式，弹幕的语言模式成为研究关注的重点。例如，沈文静将弹幕分为文字类和非文字类符号[16];付阳春按照弹幕语言成因分为操作类、情感类、来源类和其他4类[17];王路珊认为弹幕语言有其独特语境，在语音、文字、词汇、句法和语义方面不同于其他网络语言[18]。

弹幕伴随视频网站的发展得以运用，可以极大地改善人与人之间的互动[19]。在营销学领域，学者们重点关注视频网站弹幕的用户体验。孟陆等以信息源特性维度（专业性、技能性等7项）来分类弹幕文本，检验直播网红的信息源特性对受众行为的影响[20]。不少研究指出，弹幕蕴含着用户的行为和态度信息，从弹幕文本中判别用户的关注点和情感倾向，有助于行为科学中的潜在应用[21-23]。张亚雪等认为，弹幕使用动机在于满足受众自我呈现和多种需求[24]。Wang S等构建基于改进的Bi-LSTM模型的弹幕评论情感分析模型[25]。在网络教育中，杨九民等通过元分析证明弹幕对学习者的学习具有积极影响，对学习结果影响显著[26]。此外，对弹幕进行识别和标注等技术也在不断发展。Wu B等利用弹幕的文本内容自动提取时间同步的视频标签[27]。He M等结合弹幕动态性预测视频流行度，利用羊群效应设计检测“领头羊”弹幕[28]。Xu L等结合弹幕之间的关联性提取视频摘要[29]。

1.2 信息有用性检测研究

信息有用性是用户感知信息的有用程度对信息价值的衡量，目前相关研究大多围绕在线评论的特征探究有用性影响因素，包括评论信息特征、评论者特征以及产品类型[30]。刘伟等通过IAM的双路径分析理论模型，证明信息丰富性、信息可读性和点评负面性对在线评论有用性有显著正向影响[31]。而对于商家回复场景下的信息有用性，程艳霞等则从有效解决问题、满足情感需求、培育驾驭能力3个维度开发量表[32]。大多数对于信息有用性检测的研究首先须得到有效特征，并运用回归方法和分类算法进行检测，研究场景较分散[11，33-34]。总的来说，无论在学术还是在商业领域，弹幕信息有用性检测相关研究体现了重要的价值，但仍处于初步探索阶段。

近年来，机器学习模型对网络信息的分析和处理方面得到广泛应用，具有优良表现。如利用机器学习模型对新能源汽车普通消费者评论进行情感演化分析[35]，运用LightGBM算法预测P2P项目信用[36]等。逻辑回归、SVM、决策树等机器学习模型能从高维度、高噪声数据中学习经验知识，为进一步提高信息有用性检测的精确度提供了可能。本文试图结合弹幕文本特点，解析视频网站弹幕用户的行为方式，从影响信息有用性的关键要素出发构建特征指标，应用机器学习算法构建预测模型，实证检验模型有效性，通过对比不同的机器学习算法，寻找最优模型，达到弹幕信息有用性检测要求。

2 多特征融合下视频网站弹幕信息有用性检测模型

2.1 总体框架

本文提出的视频网站弹幕信息有用性检测过程主要包含两个阶段：特征生成和信息有用性检测。在特征生成阶段，首先利用Python爬虫收集视频弹幕数据集，对数据进行清洗，根据有效特征计算模板进行计算，数值转换后得到各维度的特征项;在信息有用性检测阶段，使用随机森林对提取特征项进行排序筛选以提高检测效果，并将所选择的特征值形成目标数据集，输入到分类器进行模型训练，对视频网站弹幕信息有用性进行检测，根据弹幕信息有用性特征对检测效果进行评估。如图1所示。

2.2 有效特征选取及量化

在视频网站弹幕信息有用性检测模型中，特征选取与量化是重要的预处理策略。特征选取是为了解决预测问题，选择一部分必要的、具有代表性的特征，减少过度拟合，提高模型学习和预测能力。在不同的信息有用性指标体系构建中，主要考虑3个方面：一是信息特征，如信息质量和信息可信度通常作为主要衡量指标[37-38];二是文本特征，包括文本长度和单词数目等[39];三是用户自身特征也与信息有用性关系密切[38]。鉴于此，本文将检测弹幕信息有用性作为目标，从弹幕信息效用、弹幕表达形式和弹幕用户特征3个角度概括相关特征作为具有决定性的影响变量。

2.2.1 弹幕信息有用性

信息有用性是用户对信息的接受、理解与分析的重要特征，信息有用性高的信息更易理解，具有更高的影响力与传播价值[40]。弹幕在视频上经过较短时间传递信息，视频观看者会对有用信息表达出喜爱与认可。在信息有用性衡量方式中，杨东红等采用投票数作为评论有用性的衡量依据[11]。在信息传递过程中，点赞数是信息发送者与信息接受者之间的互动机制[41]。本文通过弹幕的点赞数来反映弹幕信息有用性的高低。

2.2.2 弹幕信息效用

有用性作为信息的一种属性，并没有明确信息效用的实质内容[42]。信息效用与用户自身任务相关，与信息效用相关的度量指标包括及时性、适用性、相关性等[43-44]。由此，结合弹幕环境，信息效用可以通过可读性、文本情感值、信息时效性和主题相似度4个特征，反映信息给用户个人带来的效果与感受。

1）可读性。弹幕信息以文本形式在视频上方短时间内划过，可读性强，可以简明扼要表现出内部含义，增加信息易理解程度，方便用户浏览和阅读。本文主要运用秦琴等提出的可读性计算公式，对弹幕信息进行可读性计算[45]，其中，句子长度和专业术语会直接影响可读性值。公式中，本文利用中国规范术语词表[46]对句子中的专业术语进行提取。

2）文本情感值。情感功效是弹幕信息中不可忽略的重要因素。弹幕信息承载了用户丰富的情感表达需求，如使用弹幕进行调侃、吐槽、狂欢等。弹幕中的情感信息能与用户产生情感共鸣或情感导向，促使用户产生鲜明的态度和看法。目前，中文情感分析技术发展较为成熟，情感权值词典方法是一种常用的基于细粒度情感计算方法，根据句子中积极、消极词汇进行匹配评估。本文通过沈阳团队[47]的ROST情感分析工具得出弹幕信息的情感值。

3）信息时效性。在时间维度上，通常网页评论有用性与评论快慢相关[30]。而在视频环境中，弹幕信息与视频当中对应内容具有一定相关性，弹幕及时性体现在能否快速与视频中不同的片段进行呼应。弹幕频率随时间波动，通过王蕊等的数据研究表明，弹幕在戏剧冲突点最为密集[48]。本文将弹幕频率波动高低分为5个等级，对应弹幕具有不同信息时效性。

4）主题相似度。视频中弹幕信息纷繁复杂，但每一期视频具有一定的主题性，用户言论主要以视频内容为中心。如纪录片《在武汉》的弹幕文本，主要围绕抗击疫情的主题展开[49]。主题相似度低反映了該弹幕信息与视频内容关联较低，如广告、贬低他人的话语等垃圾弹幕信息[50]。根据分词后的词频高低，取频率前十的词汇作为视频主题词汇集合，利用TF-IDF算法计算文本相似度，比较弹幕信息与主题词汇集合之间的TF-IDF相似度，最终确定每条弹幕信息的主题相似度值。

2.2.3 弹幕表达形式

视频中的弹幕是一种新颖的信息评论方式，其文本特点为短而精湛。信息表达形式影响信息内容的传达效果，各项研究表明，信息表达形式的差异性显著影响人们对信息有用性的感知[11，38]。总结弹幕信息所呈现出来的语言特征，包含文本字数、文本颜色、句子完整度和句子互动性4个方面。

1）文本字数。一般信息长度与信息量密切相关，信息较长则内容较丰富。不少研究证实对于文本信息而言，文本字数是影响信息有用性最普遍的因素[11，30]。Kuan K等研究表明，长文本的评论信息更能吸引人们的注意[51]。本文认为弹幕信息的文本字数是影响弹幕信息有用性的重要特征。

2）文本颜色。文本颜色是表达形式的重要组成部分。在观看视频时，用户具有对颜色、字体大小等多样化设置的选择[14]。人眼对颜色、字号大小等视觉线索感知有别，彩色弹幕以及字号更大或更小的弹幕体现出更高的表现力，特殊弹幕往往会更吸引视频的观看者。因此，本文将文本颜色作为重要特征项之一。

3）句子完整度。信息的完整作为衡量信息质量的重要方面，对信息有用性有显著影响[52]。根据弹幕文本短的特点，主要从语义和句法分析的角度考虑。完整的句子一般来说就是主谓宾结构[53]。对弹幕信息进行句法依存关系分析，所有的句子都具有一个核心关系HED;句子包含主谓宾结构特征的具有核心关系HED、主谓关系SBV和动宾关系VOB。据此可将句子完整度划分为3个等级。

4）句子互动性。以文本为介质的传播与互动当中，句子互动性强可以使文本更具亲和力，更易产生共鸣。当文本当中携带有第二人称代词（比如“你”）时，文本的互动性也会得到一定的提高[54]。句子中包含第一人称和第二人称的文本具有较强的主观性。将文本当中同时带有第一人称和第二人称（如：我爱你中国）的互动性等级设为最高，完全没有人称方式（如：大美中国）的互动性等级设为最低，将句子互动性划分为3个等级。

2.2.4 弹幕用户特征

个体差异性使弹幕用户在信息表达方面有所偏差，信息发布者特征对于信息有用性同样重要。例如，在大众点评网的实证研究中，点评者经验对于点评有用性呈正相关[31];在开放式创新社区中，用户主动贡献程度正向影响信息有用性[52]。本文基于弹幕环境从用户会员等级和用户发送活跃程度分析用户特征。

1）用户会员等级。各视频网站均设置了会员制，使不同的用户使用弹幕具有不同的权限，比如高级会员、UP主能够有更多的效果或文字[1]。另外，会员等级反映了对视频平台的时间或金钱投入，会员等级高的用户具有更强的依赖性。不同的会员等级的用户，其弹幕信息使用经验和倾向可能有所差异，对弹幕信息有用性有一定影响。

2）用户发送活跃程度。弹幕信息是用户自我呈现的一种方式，用户参与度受用户性格的影响，同时，用户经验越丰富，表达能力越强，越具有话语权。本文将不同用户在同一期视频中发送弹幕的次数作为衡量用户发送活跃程度的依据。

2.3 信息有用性检测过程

信息有用性检测的结果依赖于特征的有效性和具体学习算法。为了降低模型复杂度，提高检测效率，本文对复杂数据集进行特征处理完成后，采用随机森林算法完成多维特征变量选择处理，根据重要度准则筛选关键特征。在此基础上，利用多个机器学习算法（逻辑回归、SVM、决策树等）开发弹幕信息有用性检测模型。

2.3.1 随机森林特征选择

随机森林算法（RF）是由Breiman L提出的一种集成学习算法[56]，其特点是在决策树的训练中引入了随机属性选择，构成了随机决策树模型。其具有灵活性高、速度快、通用性强等优点，在特征选择、参数优化、分类预测相关场景中得到广泛应用。本文信息有用性检测模型中的特征选择采用随机森林算法。基本步骤如下：

1）构建n棵决策树，形成随机森林。

2）计算每棵决策树的袋外数据（Out-of-bag error，OOB）误差，计为err1;对第i个特征，运用Bootstrap采样方法随机抽取样本作为训练样本，并再次计算该决策树的OOB值，记为err2;计算第i个特征的重要性程度值w=Σ（err2-err1）/n。

3）对m个特征的重要性程度值进行排序，去除掉重要度最低的t个特征。

4）重复2）、3）步骤，最后得到最优决策树。

2.3.2 模型训练和评估

本文将机器学习方法应用到弹幕信息有用性检测中，基于关键特征集训练模型，用训练好的模型进行预测。从单模型和集成模型中选择合适的机器学习算法，包括：逻辑回归、SVM、决策树、朴素贝叶斯、GBDT、LightGBM、XGBoost。对不同机器学习算法的原理和特点进行分析和总结，比较其性能效果，如表2所示。

完成上述机器学习方法检测后，根据检测结果计算精确率（Precision）、召回率（Recall）、F1值（F1-score）、预测准确率（Accuary）及ROC曲线的评估指标，对比不同算法的效果，分析本文所提模型的有效性，公式如下所示。

其中，TP（True Positive）为将i类样本正确预测为i类的样本量;FP（False Positive）为将其他类别样本错误预测为i类的样本量;FN（False Negative）为将i类样本错误预测为其他类别的样本量;TN（True Negative）为将其他类别样本正确预测为其他类别的样本量;ROC曲线横坐标为FPR（Flase Positive Rate），纵坐标为TPR（True Positive Rate）。

3 实验与结果分析

3.1 实验数据

本文選择的视频网站弹幕信息有用性检测实证对象为腾讯视频平台（https：//v.qq.com/），它是较早使用弹幕功能的视频在线播放平台之一，具有注册用户即时发送弹幕、弹幕点赞、弹幕字体颜色等功能，在拥有海量影视资源的基础上，通过弹幕等功能吸引了大量用户，热门视频弹幕数量高，参与用户数量大。2020年拍摄的《航拍中国》在腾讯视频平台得到9.5分的超高评分，是深受用户喜爱的一部纪录片;用户群体的地区、性别、年龄等具有一定的均衡性。本文使用Python爬取腾讯视频网站中《航拍中国第三季》共十集纪录片的全部弹幕数据作为研究文本，该纪录片弹幕文本更新时间截至2021年4月15日，包含弹幕相关数据记录共49 369条，将数据存入Excel表格中，包括弹幕ID、弹幕文本、用户名、用户头像URL、会员等级、颜色样式、发布时间、弹幕点赞数等基本信息，部分数据截图如图2所示。

3.2 描述性统计分析

利用获取的弹幕数据，依据上述有效特征选取及量化方法进行数值转换。根据实验模型中的1个因变量即信息有用性，10个自变量包括弹幕可读性、文本情感值、信息时效性、主题相似度、文本字数、文本颜色、句子完整度、句子互动性、用户会员等级、用户活跃程度。对11项特征进行描述性统计分析，得到11项指标的平均值、标准差、最大值、最小值4项指标，如表3所示。其中，信息有用性平均值为1.87，说明大量用户发送的弹幕获得了较少点赞数，整体信息有用性偏低。

弹幕信息效用相关指标（可读性、文本情感值、信息时效性和主题相似度），信息时效性较高且表现稳定，主题相似度偏低，大量用户倾向于即时发表感受或想法，不会考虑根据热点主题进行针对性评论。弹幕表现形式相关指标（文本字数、文本颜色、句子完整程度、句子互动性），文本字数均值为9.89，大部分弹幕文本长度为10个字左右;文本颜色特征均值为0.24，彩色弹幕数目较少，白色弹幕为用户使用弹幕颜色主流;另外，句子完整程度居中，句子互动性偏低。弹幕用户特征（用户会员等级、用户发送活跃程度），大量用户会员等级普遍较低，均值为1.02，且差异性不明显;而用户发送活跃程度平均值为37.93，标准差为76.55，离散程度较高，不同用户发送活跃程度差异性较大。

对于模型中最后需要预测的变量信息有用性，张婧等将点赞数的阈值设为7，将评论有用性识别分为两类[57]。本文将弹幕有用性检测作为一个多分类任务，考虑更细级别的分类，结合实际弹幕数据，将点赞次数划分为低、中、高和极高4个级别，“+”个数来表示信息有用程度，等级越高表示信息有用性越高，如表4所示。

3.3 有用性检测实验

3.3.1 不同特征对信息有用性检测的贡献度

随机森林模型可以判断特征指标对目标变量的重要程度，同时对高维度小样本数据有着良好的适应性。为避免特征中混杂冗余信息，进一步优化检测效果，本文采用随机森林模型寻找弹幕信息有用性的相关因素。以弹幕信息有用性等级划分作为量化指标，利用随机森林模型分析各项特征对信息有用性的贡献，按照贡献程度选取部分有效特征作为有用性检测的关键特征集。本文依据随机森林算法特征选择步骤，训练一个包含10 000棵决策树的随机森林，观测不同弹幕特征如何影响信息有用性，对不同特征重要程度进行排序和可视化，结果如图3所示。

从图3中看出，对于检测弹幕信息有用性，可读性、用户发送活跃程度和文本情感值是最重要的3个特征项。在分类中，这3项特征来自于弹幕信息效用和弹幕用户特征。对于弹幕表现形式而言，文本字数占据重要贡献度，其他特征项（句子完整度、文本颜色和句子互动性）对弹幕信息有用性检测的贡献值较低。由此可以推断，弹幕表现形式相对而言发挥的作用很小，网络环境中用户更注重信息内容，对于信息表达的规范性和完整度不太关注。因此，在进行弹幕信息有用性识别时，应重视用户通过弹幕传达出的信息信号和情感信号。

本文优先组合重要特征用于信息有用性检测，选取特征项的前70%，即重要程度较高的前7个特征项分别是可读性、用户发送活跃程度、文本情感值、文本字数、主题相似度、用户会员等级、信息时效性作为信息有用性的关键特征集合。

3.3.2 信息有用性检测模型实施与结果分析

1）信息有用性检测评估结果

将特征选择的结果作为输入变量运用于信息有用性检测实验中，采用Python中Sklearn包进行训练集与测试集的随机分割，得到34 588条样本构成的训练集与14 811条样本构成的测试集，设置7种机器学习模型的最优参数，对上述数据集进行模型训练与测试。首先采用Binarize函数对预测结果进行二值化，然后依据不同效果评估公式进行计算，根据得到每一种模型的精确率（Precision）、回收率（Recall）、F值（F1）、预测准确率（Accuracy），不同算法模型评估结果及对比情况如表5所示。

从实验结果来看，7项机器学习模型精确率（Precision）均不低于0.725，说明传统的机器学习运用在弹幕信息有用性检测上是可行的。同时，从Precision、Recall、F1和Accuracy各项评估结果中可以发现，集成学习类别的机器学习算法（GBDT、LightGBM、XGBoost）效果普遍优于单模型机器学习算法（逻辑回归、SVM、决策树和朴素贝叶斯）。在本实验环境下，决策树的Recall、F1和Accuracy值均低于其他算法，XGBoost在各项指标性能中均处于领先位置。

2）不同级别信息有用性检测结果差异

为了进一步验证检测效果，本文按测试集中信息有用性等级（低、中、高和极高）进行分类，比较不同信息有用性等级各机器学习算法的预测正确的样本数比例，如图4所示（注：多种坐标轴尺度不一致）。从整体情况来看，决策树在检测中、高等级信息有用性时表现突出，对低等级信息有用性检测性能不及其他算法。同时可以发现，逻辑回归、SVM在二分类问题比较擅长;对于多分类问题，本实验环境下，决策树或者决策树集成方法（GBDT、LightGBM和XGBoost）解决效果更好。

由于训练预料不均衡的问题，大部分机器学习算法在检测低等级的信息有用性时有较好的正确率，小规模的训练预料（中、高和极高）并不能充分发挥机器学习算法的性能。实验结果显示，在提高信息有用性检测精度上难以进行进一步优化。

3）不同机器学习算法ROC曲线对比

在信息有用性检测实验中计算ROC曲线和AUC值，如图5所示。一般ROC越靠近左上角，即曲线下面的面积（AUC）越大，代表预测方法的效果越好，最大面积为1。从图中可以看出，单模型中，逻辑回归模型和SVM支持向量机评价指标表现最佳，预测准确率分别为90.62%、90.93%。集合模型中，GBDT、LightGBM和XGBoost的ROC曲线也位于曲线对比图中的顶端，AUC值较高，表现出较为良好的性能。从两个图的对比来看，采用集合模型类机器学习方法的整体性能要优于单模型，检测率高。图中显示所有机器学习算法的ROC曲线下面的面积基本大于0.84，表明本文有用性检测展现出可靠性能，模型拟合度较高。

4 结果与启示

4.1 研究结果

从特征的筛选中，弹幕表达形式相关特征的重要程度排序较靠后，有3项指标被直接剔除掉，说明不同特征项对信息有用性的预测能力有较大的差异。弹幕具有丰富的表现形式，改变了用户的视觉体验，如红色弹幕比较具有警示意义。喻昕等在网络直播平台弹幕用户参与行为研究中表示互动性和可视性是影响用户体验的关键信息源[5]，本文结果进一步表明了弹幕信息的句子互动性较强或文本颜色特别能吸引其他用户注意，但并不表示一定能得到其他用户的认可。过去研究表明，文本长度和信息有用性之间具有显著影响，本文研究对象聚焦于弹幕评论，且弹幕的文本长度更加简短，但结果与以往研究具有一致性。

使用7种机器学习算法对通过特征选择后的目标数据集进行训练与测试，通过不同的角度对各算法的评估结果进行对比。不同评估结果均反映了集成模型要优于单模型，具有更高的数据分类精度。而LightGBM作为GBDT模型的改进算法，增加了学习控制参数与学习目标参数，在结果上显著提升了预测准确率，避免出现过拟合情况。从Precision、Recall、F1和Accuracy各项评估结果显示，XGBoost相比LightGBM进一步提升了模型预测的稳定性，更适用于弹幕有用性检测应用场景。

4.2 相关启示

1）建立信息有用性检测指标体系具有可行性。信息有用性检测作为近年来热门研究领域，以往研究多关注于传统商品评论与评价的信息有用性探究，较少关注弹幕环境下的信息有用性。本研究构建多特征融合下视频网站弹幕信息有用性检测模型，对弹幕信息特征进行挖掘与分析，将弹幕通过信息特征、文本特征、用户特征分析得出弹幕信息效用、弹幕表达形式与弹幕用户特征3类特征。拓宽了对于弹幕信息有用性的研究维度，同时兼备科学性与合理性。建立较为完善的信息有用性检测指标体系，能够为信息有用性分析与解释提供路径与方法。

2）集成模型在大规模非均衡数据集上表现出更好的稳健性。本文的实验过程为弹幕文本数据分析和处理提供了完整的解决思路。实验中，对弹幕文本数据进行量化处理，通过随机森林模型获得特征的重要程度，采用7种当下较为热门的机器学习算法，充分对模型的预测效果进行评估与比较，对比在不同算法下同一数据集的预测效果。可以看出，对于相关性不确定的大规模非均衡弹幕文本数据，集成学习模型的检测效果和稳健性均优于其他模型，是一种较为实用的解决方法。

3）在管理实践中有助于推动网络信息服务正向发展。对弹幕信息进行有用性检测，有助于评估视频弹幕质量、优化弹幕功能、增强用户粘性，促进平台有序发展。另外，在本文研究基础上，值得對弹幕文本特征与含义进行更深层次挖掘，建立必要的弹幕内容监管机制，及时删除不文明或敏感弹幕，避免弹幕环境恶化。对弹幕文本内容进行挖掘与审核，能正确引导视频观看用户合理讨论，发送文明弹幕，有助于营造和谐稳定的视频观看环境。

5 結 语

本文的研究目的是对视频网站弹幕信息有用性进行检测，通过构建多特征融合下信息有用性检测模型，从多个角度分析弹幕信息有用性影响因素，并提出特征量化方法。在实验部分，本文利用随机森林模型分析各项特征的重要程度，并使用多种机器学习算法进行训练和检测，取得了不错的评估效果。本文的研究不仅丰富了信息特性的理论体系，同时对视频平台的监管机制和服务策略具有一定实践意义。但本文尚有许多值得改进的地方，例如在考虑信息有用性影响因素时，未能涵盖文本语言上的其他特征，在全面性上有进一步提高的空间;弹幕信息有用性不同等级样本数量的不均衡，使机器学习算法分类精度效果有限;另外，本文的研究样本只选取了单一类视频，在后面研究中可以对比不同类别视频的弹幕有用性检测的差异性，为视频平台提供更精准的服务。

参考文献

[1]郭磊.我国弹幕视频网站的受众研究[D].昆明：云南大学，2015.

[2]江含雪.传播学视域中的弹幕视频研究[D].武汉：华中师范大学，2014.

[3]B站联合社科院社会学研究所.2020年度弹幕报告[EB/OL].https：//www.163.com/dy/article/FSENJJ0U0519QIKK.html，2021-06-22.

[4]葛欣怡.弹幕在不同场景中的传播效果探究[D].北京：北京邮电大学，2019.

[5]喻昕，许正良.网络直播平台中弹幕用户信息参与行为研究——基于沉浸理论的视角[J].情报科学，2017，35（10）：147-151.

[6]马黛.新媒体时代的弹幕文化现象分析[J].西部广播电视，2021，42（5）：79-81.

[7]张颐武.弹幕的意义[N].人民政协报，2021-01-18，（9）.

[8]许熙扬，刘锦宏.基于用户需求的B站社区属性转型策略分析[J].今传媒，2021，29（5）：26-28.

[9]Liu X，Wang G A，Fan W，et al.Finding Useful Solutions in Online Knowledge Communities：A Theory-Driven Design and Multilevel Analysis[J].Information Systems Research，2020，31（3）：731-752.

[10]冯进展，蔡淑琴.融合信息增益和梯度下降算法的在线评论有用程度预测模型[J].计算机科学，2020，47（10）：69-74.

[11]杨东红，吴邦安，孙晓春.基于机器学习的网络评论信息有用性预测模型研究[J].情报科学，2019，37（12）：34-39，77.

[12]Malik M，Hussain A.An Analysis of Review Content and Reviewer Variables that Contribute to Review Helpfulness[J].Information Processing & Management，2018，54（1）：88-104.

[13]杨婷.5G时代弹幕文化的发展及转向[J].青年记者，2020，（35）：16-17.

[14]严美婷.弹幕亚文化的社会成因及现存问题——以Bilibili弹幕网为例[J].传媒论坛，2021，4（6）：129-130.

[15]张俊杰.面向视频弹幕的消费意图挖掘研究[D].重庆：重庆邮电大学，2020.

[16]沈文静.社会与符号的互动：青年新媒体话语与“e”托邦建构[J].山东外语教学，2019，40（3）：22-30.

[17]付阳春.B站弹幕语言研究[D].湘潭：湘潭大学，2015.

[18]王路珊.B站弹幕语言的认知分析[D].绵阳：西南科技大学，2017.

[19]Jing L，Zhu J，Wang X，et al.Identifying the Potential of Danmaku Video from Eye Gaze Data[C]//IEEE International Conference on Advanced Learning Technologies（ICALT）.Austin，TX，2016，288-292.

[20]孟陆，刘凤军，段珅，等.信息源特性视角下网红直播对受众虚拟礼物消费意愿的影响[J].管理评论，2021，33（5）：319-330.

[21]王文韬，陈千，张肖，等.弹幕视角下的网络热搜健康视频关注度与情感分析[J/OL].图书馆论坛：1-11[2021-06-28].http：//kns.cnki.net/kcms/detail/44.1306.G2.20210615.0920.004.html.

[22]洪庆，王思尧，赵钦佩，等.基于弹幕情感分析和聚类算法的视频用户群体分类[J].计算机工程与科学，2018，40（6）：1125-1139.

[23]Bai Q，Wei K，Zhou J，et al.Entity-level Sentiment Prediction in Danmaku Video Interaction[J].The Journal of Supercomputing，2021，（6）：9474-9493.

[24]张亚雪，张菊兰.视频弹幕的特征和使用动机分析[J].新闻世界，2019，（4）：69-72.

[25]Wang S，Chen Y，Ming H，et al.Improved Danmaku Emotion Analysis and Its Application Based on Bi-LSTM Model[J].IEEE Access，2020，（99）：114123-114134.

[26]杨九民，吴长城，皮忠玲，等.促进学习还是干扰学习——弹幕对学习影响的元分析[J].电化教育研究，2019，40（6）：84-90，120.

[27]Wu B，Zhong E，Tan B，et al.Crowdsourced Time-sync Video Tagging Using Temporal and Personalized Topic Modeling[J].ACM，2014：721-730.

[28]He M，Ge Y，Chen E，et al.Exploring the Emerging Type of Comment for Online Videos：DanMu[J].ACM Transactions on the Web，2018，12（1）：1-33.

[29]Xu L，Zhang C.Bridging Video Content and Comments：Synchronized Video Description with Temporal Summarization of Crowdsourced Time-sync Comments[C]//AAAI，2017：1611-1617.

[30]王亚妮，王君，姚唐，等.什么样的评论更有用？基于ELM的“Meta分析”[J].管理评论，2021，33（5）：246-256.

[31]刘伟，徐鹏涛.O2O电商平台在线点评有用性影响因素的识别研究——以餐饮行业O2O模式为例[J].中国管理科学，2016，24（5）：168-176.

[32]程艳霞，王紫穗.感知价值视角下商家回复有用性的结构维度与测量[J].商业经济研究，2020，（11）：93-96.

[33]Du J，Rong J，Michalska S，et al.Feature Selection for Helpfulness Prediction of Online Product Reviews：An Empirical Study[J].PLoS ONE，2019，14（12）：1-26.

[34]Lee S，Lee K C，Choeh J Y.Using Bayesian Network to Predict Online Review Helpfulness[J].Sustainability，2020，12（17）：1-17.

[35]毛晓莉，施本植.新能源汽车普通消费者参与的大数据研究——基于文本挖掘和深度学习[J].海南大学学报：人文社会科学版，2021.

[36]马晓君，沙靖岚，牛雪琪.基于LightGBM算法的P2P项目信用评级模型的设计及应用[J].数量经济技术经济研究，2018，35（5）：144-160.

[37]李中梅，张向先，郭顺利.移动商务环境下O2O用户在线评论有用性影响因素研究[J].情报科学，2017，35（2）：130-137.

[38]殷国鹏.消费者认为怎样的在线评论更有用？——社会性因素的影响效应[J].管理世界，2012，（12）：115-124.

[39]Lee S，Choeh J Y.Predicting the Helpfulness of Online Reviews Using Multilayer Perceptron Neural Networks[J].Expert Systems with Applications，2014，41（6）：3041-3046.

[40]Sussman S W，Siegal W S.Informational Influence in Organizations：An Integrated Approach to Knowledge Adoption[J].Information Systems Research，2003，14（1）：47-65.

[41]冯秀果，郑小荣，俞馨雅.中国地级政府审计微信传播及其影响力研究——基于河北省的调查数据[J].会计之友，2019，（17）：93-100.

[42]陈建龙.论信息效用及其实现过程[J].北京大学学报：哲学社会科学版，1996，（3）：36-40.

[43]成全，王火秀，骈文景.基于证据推理的医疗健康网站信息质量综合评价研究[J].数字图书馆论坛，2020，（4）：53-59.

[44]徐嘉徽，李全喜，张健.共享服务平台信息质量对消费者信息采纳行为的影响分析与提升对策研究[J].情报科学，2019，37（5）：148-154.

[45]秦琴，柯青，丁松云.中文在線健康教育信息可读性计算及应用实证——以食品安全领域为例[J].现代情报，2020，40（5）：111-121.

[46]中国规范术语.中国规范术语词表[EB/OL].http：//shuyu.cnki.net/，2021-06-22.

[47]Shen Y，Li S，Zheng L，et al.Emotion Mining Research on Micro-blog[C]//IEEE Symposium on Web Society.IEEE，2009：71-79.

[48]王蕊，刘瑞一，矫立斌，等.走向大众化的弹幕：媒介功能及其实现方式[J].新闻记者，2019，（5）：44-54.

[49]杨艺明.互动仪式视角下青年的抗疫精神阐释——B站《在武汉》弹幕的情感分析[J].传媒评论，2021，（3）：76-77.

[50]孙瑞安，张云华.结合AdaBERT的TextCNN垃圾弹幕识别和过滤算法[J].智能计算机与应用，2021，11（4）：9-13.

[51]Kuan K，Hui K，Prasarnphanich P，et al.What Makes a Review Voted？An Empirical Investigation of Review Voting in Online Review Systems[J].Journal of the Associatin for Information Systems，2015，16（1）：48-71.

[52]李贺，祝琳琳，闫敏，等.开放式创新社区用户信息有用性识别研究[J].数据分析与知识发现，2018，2（12）：12-22.

[53]邹益民，张智雄.网络科技信息中的知识对象行为识别方法[J].情报理论与实践，2014，37（9）：59-63.

[54]Cruz R E，Leonhardt J M，Pezzuti T.Second Person Pronouns Enhance Consumer Involvement and Brand Attitude[J].Journal of Interactive Marketing，2017，39：104-116.

[55]Shen Y，Li S，Zheng L，et al.Emotion mining Research on Micro-blog[C]//IEEE Symposium on Web Society.IEEE，2009：71-79.

[56]Breiman L.Random Forest[J].Machine Learning，2001，45：5-32.

[57]张婧，周怡欣，胡涵，等.基于知识采纳模型和多层感知机神经网络的评论有用性识别研究[J/OL].中国管理科学：1-11[2021-07-26].http：//iras.lib.whu.edu.cn：8080/rwt/401/https/MSYXTLUQPJUB/10.16381/j.cnki.issn1003-207x.2020.2215.

（责任编辑：郭沫含）