基于移动网数据的区域化学术会议评价指数体系研究与应用

李娜 孟繁瑞 韩璐

摘  要：区域化学术会议活动在当地科研体系建设、人才交流、经济发展和学科拓展中起着重要的作用。举办高质量、高水平的学术会议活动需要合理、科学、规范的会议评价机制作为保障。文章提出了一种基于移动网数据的区域化学术会议评价指数体系，通过对多场学术会议的用户数据研究，建立8个评价会议维度并结合数据分析方法，制定科学化评价标准，客观、准确评价和分析会议，为当地政府及主办部门提供会议评价依据和决策性支持。

关键词：区域化学术会议;会议质量;会议评价;评价指数

中图分类号：TP391;C27        文献标识码：A文章编号：2096-4706（2022）04-0016-05

Research and Application of Evaluation Index System of Regional Academic Conference Based on Mobile Network Data

LI Na， MENG Fanrui， HAN Lu

（Shandong Branch of National Computer Network Emergency Response Technical Team/Coordination Center of China， Jinan  250002， China）

Abstract： Regional academic conference activities play an important role in the construction of local scientific research system， talent exchange， economic development and discipline expansion. Holding high-quality and high-level academic conference activities needs a reasonable， scientific and standardized conference evaluation mechanism as a guarantee. This paper proposes an evaluation index system of regional academic conferences based on mobile network data. Through the research on the user data of multiple academic conferences， eight evaluation conference dimensions are established， and combined with the data analysis method， scientific evaluation standards are formulated to objectively and accurately evaluate and analyze the conferences. It provides the evaluation basis and decision-making support for the local government and the host department.

Keywords： regional academic conference; conference quality; conference evaluation; evaluation index

0  引  言

為促进科学发展、学术交流、课题研究，学术会议成为必不可少的互动交流、学习研讨的平台，它具有权威性、高知识性、高互动性的特点，汇聚吸引各方科研工作者、学者、教师等专业研究人员，一同研讨相关领域内高关注度的前沿发展趋势及专业学术成果，利于学术交流合作，促进领域科研进步[1]。在区域发展规划中，为发挥人才吸引和聚集作用，优化人才发展，地区科研体系建设尤为关键，学术性会议召开必不可少，当前，会议质量参差不齐，会议评价主观性强，统计指标单一且领域狭窄，会议统计数据的真实性、科学性亟待解决，由此，主办部门在确定会议议题和制定会议组织方案上，没有专业的参考依据，难以科学评价区域化学术性会议的效果及影响力，可能会盲目组织会议，浪费有效资源，错过发展时机。客观、准确、公正评价和分析会议，制定科学化标准的会议评价体系尤为重要，为此，本文提出一种基于移动网的多源数据结合数据分析的区域化学术会议评价指数体系。

1  国内外学术会议质量评价方法现状

在国外，会议评价方法在评价工具上，多采用文献计量分析、问卷调查、综合评价等方法[2，3]，将参会者满意度或重复参会意愿、论文文献计量表现、参会人员对会议内容感知度和认可度进行综合评价，过多地注重会议直接产出，缺少过程与结果关联分析，存在较强局限性，缺乏深层次、整体性的有效分析，仅适用于特定学科、特定类型或特定规模的学术会议。

在国内，针对会议评价方法并不多，多数为主观因素综合评价，研究领域单一。利用研究会议组织、会议作者、会议论文、会议出版物、会议网络影响、会议读者影响构建评价指标[4]，采用综合评价法，在多元指标层面对会议学术影响力进行研究;通过选取较为成熟的主客观质量指标[5]，结合会议特点和参会者质量偏好，将过程和结果指标相关联，对会议开展分类评级研究;通过会议及发表论文信息，选取评价会议及论文的相关指标与会议等级做相关性分析[6]，综合多方面展现会议排名情况;通过采取广泛查找资料和问卷调查方式[7]，构建14个影响因素构成的指标体系，形成计算机领域内国际会议综合影响力排名系统。上述文献对本文学术会议评价指标提供了丰富的资料，结合移动网数据分析结果，设计不同维度评价指标，客观、准确、公正的评价区域化学术性会议。931C75FE-E100-404C-9440-6CF2565DE3AF

2  基于移动网数据的区域化学术会议质量评价指数框架

2.1  评价对象和基础数据分析

评价对象是指区域化学术会议，指在特定区域内举办的学术型会议，区域限定于某省、市、区及某片研究范围内举办的学术会议，旨在分析该区域内会议质量和影响力，为后办会提供指引和建议。学术性会议，指以促进经济发展、学术交流、课题研究等学术性话题为议题的会议，可分为邀请参会或报名参会等模式。

利用移动网数据分析参加会议用户行为，该数据包含大数据5V特征，即规模性（Volume）、多样性（Variety）、高速性（Velocity）、价值性（Value）和真实性（Veracity），数据量大、获取统一、成本低，其时空全覆盖的特点相比较传统意义的会议特征、会议流程、与会者反响等评价指标更为严谨科学和全面准确。在特定时空区域内，刻画参会用户人群行为、参会企业画像、会议组织数据，为学术会议评价指标体系提供了充足的数据支撑。

2.2  评价指标体系及维度分析

评价指标体系，利用数据挖掘技术对移动网数据进行不同规则的筛选并建模分析，结合第三方应用统计数据，从参会人群、参会企业、会议组织和开展情况等多个角度，综合对会议进行评价，确定了人力资本指数、会务经济指数、企业指数、网络影响力指数、到会质量指数、商务发展促进指数、议题相关性指数、参会人群真实度指数共八个维度指数。

2.2.1  会议指数定义

（1）人力资本指数：通过分析参会人群画像中的基础属性、社会属性、经济属性综合反映人力资本情况。

（2）会务经济指数：通过分析会议对城市旅游、住宿、交通等的促进作用，反映会务经济指数。

（3）参会企业指数：对参会人群所属企业信息、企业影响力、企业关键性标签等多维度分析，反映会议相关企业指数。

（4）网络影响力指数：统计公开网络中对会议的相关媒体报道情况。

（5）到会质量指数：统计实际到会人员和企业占比情况。

（6）商务发展促进指数：对比会议前后人群的商务热度。

（7）议题相关性指数：分析会议议题与参会人群之间的相关性。

（8）参会人群真实度指数：剔除伪参会人员，反映实际参会人群的真实度。

2.2.2  评价指数体系构建

根据移动网数据详细字段，评价指标细分为八个维度指数，不同维度进一步细化为数据指标，每个维度指数细分如图1所示。

2.3  数据规则定义及评价分析

参会用户分析是基于移动网数据选取指定时域和空域分析，其中涉及时间和空间定义如下：

（1）学术会议期间：定义为会议召开日前三天至会议结束日后三天。

（2）旅游人群：会议期间，分析人群轨迹，在单个旅游景点范围停留20分钟。

（3）留宿人群：会议期间，外地参会人群在晚上21时至次日7时在济南停留4小时以上。

定义数据规则后，通过对参会人群真实数据统计，得到各项数据指标并反映到数据指标，通过统计分析反映8个维度指数，构建学术会议指数体系，全方位分析区域化学术会议质量。

2.4  数据分析方法

2.4.1  层次分析法

层次分析法用于解决定性决策多准则问题决策方法。把目标分解，按层次结构排序，将每项划分适当详细程度，确定层次结构，在成对矩阵结构比较中判断每个标准的重要性。运用层次分析模型对会议综合评价，在多位专家意见基础上确定成对比较矩阵，满足综合评价的实际需求，通过对会议8个维度的考察，提出排序结果，客观地反映出学术会议全方位面貌，具有可比性和统一性，为区域化会议评价指数体系提供了科学有效的量化方法。

2.4.2  模糊综合评价法

模糊综合评价法，将定性评价转化为定量评价，对涵盖非确定性因素事件做总体评价，结果清晰，系统性强，既能反映主观定性、又能发挥客观定量的方法，用于事项评估、绩效和效益考核等领域。使用模糊综合评价法，将评估中对软性因素（如企业类型、行业分类）的模糊评价通过函数关系量化，构建评价矩阵，采用合成因子合成，对结果向量进行解释，有效解决了评价中的模糊性问题。

2.4.3  专家评分法

专家评分法，综合多数专家经验与判断，直观简便地对难以定量分析的因素做出合理估算，多采用加权评价打分。学术会议评价指标中，专家背靠背匿名对会议维度打分，对影响会议的维度进行全方位的评比。

3  区域化学术会议质量评价实践

3.1  样本选取和数据来源

统计数据为移动网数据及部分软件合法开源数据，某市人力资本产业研究院调研数据，及各会议组织方提供进行统计;数据周期为会议前后各一个月的数据。会议名称及信息如表1所示。

3.2  数据统计分析

3.2.1  会议维度分析

此处分析中大咖分享会简称A会，HC·HR大会简称B会，高级研修班简称C会，对八个维度指数及细分的数据指标进行分析。

3.2.1.1  人力資本指数

人力资本指数各项指标占比情况如表2所示。

（1）所属城市占比：学术型会议来自二线城市的参会人群，本地参会人群占比达75%以上，主要原因是具有区域化的会议议题，本地企业参会意愿较高。

（2）公司职位占比：学术型会议参会人群的公司职位占比中，中高级管理层总占比达90%

以上，会议议题方向决定了职位占比的差异。

（3）月均乘坐火车、飞机次数占比：对参会人群会议前两个月的乘坐火车或飞机出行情况进行统计，参会人群月均乘坐交通工具次数的占比情况基本一致，近75%的参会人员没有乘坐火车出行，近90%的参会人员没有乘坐飞机出行，参会人群的长途出行不是很频繁。931C75FE-E100-404C-9440-6CF2565DE3AF

3.2.1.2  会务经济指数

会务经济指数各项指标占比情况如表3所示。

（1）人群旅游情况：参会人群是否到城市景区旅游，与多个因素有关，比如会议持续举办时间、会议规模大小、会议日程安排、季节、天气等都会对参会人群的旅游意愿产生影响。进一步统计和分析旅游人群实际旅游的景点个数，由于A会旅游人群较少，所以数据偏离较大，而另外两场会议的旅游人群实际旅游景点个数分布比较平均，其中旅游景点个数为4个及4个以上的占比达40.17%、38.81%和22.04%，旅游人群对该地的旅游景点热情比较高。

（2）会议期间消费情况占比：会议期间参会人群消费情况，学术型的三场会议基本接近。

3.2.1.3  参会企业指数

（1）企业行业分类占比：C会和A会两场会议中，租赁和商务服务业，信息传输、软件和信息技术服务业，占比都达到50%以上。B会，高校、政府及事业单位、银行及金融业占比较高。

（2）企业类型占比：A会和C会两场会议中，有限责任公司类型占比都达到80%以上。

（3）企业成立时间占比：C会企业成立时间在1-5年之间的占比最高达43.44%，“年轻”参会企业较多。A会企业成立时间在5-10年和10-15占比例总和50%以上，受到成熟企业的关注度高。

（4）企业所属城市占比：A会和C会来自二线城市的参会企业与参会人群占比基本一致，达80%以上。B会来自一线城市的企业较多。

（5）注册资本占比：注册资本达千万级的企业占比最高，C会为36.04%，A会为55.77%，B会为47.10%。

（6）第三方平台企业影响力评分分析及标签分析：采集天眼查（第三方企业信息平台）对企业的综合评分（分值在60以上）均在70%以上，采集启信宝（第三方企业信息平台）对企业添加的关键性标签，A会企业高新企业48家，新三板企业17家，上市公司2家，A级纳税人企业5家，企业综合实力较高。

3.2.1.4  网络影响力指数

会议相关资讯条数、报道传播天数、报道媒体平台数：A会和C会相关资讯报道偏少，B会相关资讯报道相对正常。

3.2.1.5  到会质量指数

实际到会人员占比、实际到会企业占比：三场会议该比例均达到90%以上。

3.2.1.6  商务发展促进指数

（1）会议前后商务联系热度人数、次数环比：C会会议结束后一个月与会前一个月数据相比，商务联系人数环比下降的占比24%，环比上升的占76%;商务联系次数环比下降的占11.43%，上升的占88.57%，C会议对促进参会人群的商务联系有积极作用。A会结束后一个月与会前一个月数据相比，商务联系人数环比下降的占比41.82%，环比上升的占58.18%;商务联系次数环比下降的占49.77%，上升的占50.23%，A会议对促进参会人群的商务联系的作用不明显。

（2）新建立的商务联系数占比：三场会议有利于促进参会人群建立商务联系。

3.2.1.7  议题相关性指数

（1）参会人群所属行业占比、参会人群公司职位占比：参会人群的公司职位占比中，中高级管理层总占比达90%以上，会议议题比较吸引企业中高级管理层的关注，所以相关性比较高。

（2）商务联系情况占比：三个会议前后各一个月的参会人群间的商务联系热度较高，会议议题相关性较高。

3.2.1.8  参会人群真实度指数

参会人群真实度占比：由于采用邀约制，参会人群真实度为100%。

3.2.2  总体分析

通过全方位评价指数体系，分析三场会议整体情况，综合情况如图2所示，会议具有以下特点：

（1）高级研修班：网络影响力指数较差，相关新闻资讯很少;人力资本指数一般，原因是参会企业多为本地企业，参会人群中层管理层占比较多。

（2）大咖分享会：网络影响力指数方面较差，相关新闻资讯很少;会务经济指数不高，原因是会议持续时间为1天，参会企业多为本地企业，旅游人群少;商务发展促进指数不高，数据显示会议前后商务联系热度无明显提升;企业指数和议题相关性指数高，议题受企业关注，参会企业质量高。

（3）HC·HR大会：会务经济指数不高，会议持续时间为1天，外地人群留宿占比不高;企业指数、议题相关性指数和到会质量指数很高，议题受企业的关注，参会企业质量高。

3.2.3  数据分析结果

对上述统计结果结合层次分析法、模糊综合评分法及专家打分法进行分析。将会议评价指数分层，最高层表示会议评价指数，中间层为会议评价指数各个维度，最低层为各维度具体的数据指标。以人力资本指数为例，数据指标可分为一线城市、新一线城市;公司职位为高层管理、中层管理等。

3.2.3.1  构造判断矩阵

把数据指标两两比较，采用相对尺度，将两个数据指标相对某层因素量化。形成成对比较矩阵，通过相对标度量化比较。矩阵具有比較测度的各种属性，也充分利用专家经验，可使无结构问题向结构化和有序化转化并简单排序。

3.2.3.2  计算得出权重

将矩阵行列向量归一化处理并更新矩阵，计算各属性维度的权重，专家打分法矩阵得到人群旅游情况、人群住宿情况、会议期间消费情况权重分别为0.154 9、0.068 5、0.776 6。

3.2.3.3  一致性检验

检验矩阵符合大小传递的原则，通过专家打分法矩阵得到会议经济指数矩阵通过一致性检验。其中会议指数总得分（=∑每一项权重×每一项得分），高级研修班、大咖分享会、HC·HR大会分别为0.124 944、0.082 375、0.078 288。其他指数分数可视化为图2。931C75FE-E100-404C-9440-6CF2565DE3AF

结合8项学术会议评价指数总体得分和移动网数据统计信息，清晰从时间、模式、位置、内容等方面展现会议特点与影响。

4  结  论

会议统计数据的真实性、科学性一直是亟待解决的问题，客观、准确评价和分析区域化学术会议，制定科学化标准化的会议评价指数体系，在一定区域和行业范围内有理论研究和实践应用意义，传统的学术会议评价方法多采用主观评价、经验积累来判断会议优劣，要素简单且领域狭窄，针对此问题，本文通过移动网数据真实数据特征提取并分析，建立8个评价会议维度并结合数据分析方法，通过对区域化学术会议横纵向对比分析会议质量，为主管部门确定同类别会议议题和组织方案提供数据参考;在理论研究方面，区别多数学术会议绩效评价管理研究，该指数体系全面客观分析会议，提供充足数据基础，结合理论增加应用的可行性，有利于合理配置会议资源，提升会议水平和实现会议成效。

参考文献：

[1] 冯长根.重视学术交流作用 提高学术交流质量 [J].学会，2003（4）：6-8.

[2] MAIR J，THOMPSON K. The UK association conference attendance decision-making process [J]. Tourism management，2009，30（3）：400-409.

[3] MAIR J，LOCKSTONE-BINNEY L ，WHITELAW P A . The motives and barriers of association conference attendance：Evidence from an Australasian tourism and hospitality academic conference [J]. Journal of Hospitality & Tourism Management，2018，34：58-65.

[4] 周金娉，閆敏，沐光雨.会议录学术影响力评价指标体系构建研究 [J].图书馆学研究，2018（22）：97-101+96.

[5] 唐家蕙，李晓轩，郑毅，等.学术会议质量综合评价研究及实践 [J].科技导报，2021，39（17）：106-114.

[6] 张洋，叶月.基于多指标的学术会议动态评价研究 [J].数字图书馆论坛，2018（7）：37-44.

[7] 高敏，石进，于笑丰.计算机学科国际会议综合排名的影响因素研究 [J].晋图学刊，2018（2）：5-10.

作者简介：李娜（1994.03—），女，汉族，山东淄博人，工程师，硕士研究生，研究方向：数据分析、数据安全;通讯作者：孟繁瑞（1984.08—），男，汉族，山东济南人，高级工程师，硕士研究生，研究方向：数据分析、人工智能;韩璐（1990.06—），女，汉族，山东青岛人，助理工程师，硕士研究生，研究方向：网络安全监测。931C75FE-E100-404C-9440-6CF2565DE3AF