基于本体的农业综合信息服务平台绩效评价研究

国 帅，王晓平，马於帅，司海平

（1.河南农业大学信息与管理科学学院，郑州 450046；2.河南省金囤种业有限公司，郑州 450000）

农业综合信息服务平台依托现代信息技术，以数据库为核心，高度集成农业实用技术、市场供求、产销对接、生产经营状况、产业产值和农作物产量等信息资源，以互联网及各类终端设备为通信与共享渠道，面向空间离散、地域广布、需求多样的涉农部门、企业与人员提供便捷、高效、全面的交互式、专业化、个性化的农业信息服务，为加强农业信息服务监管、落实农业部门自身业务工作开展提供数据和信息技术支撑［1］。

随着中国经济建设的快速发展，农业已经进入了快速成长期，随之也暴露出农业综合平台的缺点以及不足之处，要更加客观地评估平台的综合指标，就需要通过综合绩效提升平台系统的易用性和便捷性。周友胜［2］对综合信息服务平台用户需求及影响因素进行了研究，通过整理农户个人基本信息特征、农村综合信息服务平台需求的内容、对信息平台的使用和信息意识4个方面的数据，利用Probit模型对变量进行了定量分析，分析农户对农村综合信息服务平台的了解状况、用户使用平台信息的需求意愿及影响因素，最后根据得出的结论提出合理的建议对策。陈伟［3］分析了当前农业信息化建设存在的问题，将云计算模型引入农业综合信息服务平台建设中，分析了云计算特点及其在农业信息化中的优势，介绍了基于云技术的农业综合信息服务平台建设方案，分析了平台建设框架、服务分层、功能架构以及在农业生产过程中智能化的应用，提出的建设方案对整合松散的农业信息化资源、形成初步农业信息云资源平台具有一定的参考价值。

农业综合信息服务平台属于公益类、义务类、非营利性服务平台，平台升级与服务优化缺乏竞争意识、用户导向意识［4-6］，构建更完备的平台绩效评价体系并对平台绩效进行量化评价分析，有利于整体推动农业综合信息服务平台运行效率的提升，各省级平台绩效的横向对比也有利于平台之间打破惯性思维、抓差补缺，更好地服务于区域农业与经济的协调发展［7］。现有平台都是站在用户使用角度以及便利性和方便性考虑，没有提及客观的绩效评价指标，无法综合多个维度方面来评价信息服务平台的好坏。本研究在现有技术的基础上，结合自然语言处理技术以及智能化技术，提出基于本体的农业综合信息服务平台绩效评价模型。该模型综合平台资源、用户体验、服务效能3个维度评价系统平台的绩效，并引入层次结构模型得出每个指标的重要程度，便于量化指标，以期将所有的平台进行综合评价对比，刻画系统的便捷性与易用性。

1 非营利性服务平台的评价框架研究与不足

非营利性服务平台评价框架研究集中在评价指标体系构建、评价方法或模型设计以及指标数据源获取3个方面。

1.1 评价指标体系构建

鉴于非营利性服务平台的服务对象、服务内容与服务特性，现有对平台绩效的评价指标多围绕其服务能力展开，包括界面设计、系统性能、网站质量、内容丰富度、网络显示度等平台输出式单向硬性指标，较少纳入用户评价、访问频率、使用效益等用户反馈式软性指标，未能构建平台与用户双向互动式的评价指标体系。

1.2 指标数据源获取

当前对于服务型平台的绩效评价指标数据获取或采用主观调研方法，如专家评议内容丰富度与网站质量，或采用客观量化方法，如借助网络爬虫提取网站链接数、网站PR值、网站在线访问量，模拟多用户并发访问网站以统计服务器CPU与内存消耗等。指标数据具有不同的时效与颗粒度，如网站在线访问量可以日为单位加以统计，内容丰富度的获取时效则由专家根据评议周期决定。此外，指标数据体系庞大且无统一的规范性标准，以人工收集与整理的指标数据源获取工作面临较重的压力。

1.3 评价方法或模型设计

在非营利性服务平台绩效评价模型方面，现有研究多沿用计算机、应用数学等领域的成型理论与方法，如线性模型、Logistic回归模型、层次分析法、模糊层次分析法、支撑向量机、人工神经网络、卷积神经网络等数据驱动模型更关注数理规律，较少关注评价对象和概念的语义关联关系，未能建立动态评价机制［7］。

2 本体理论与本体评价法

人工智能领域的学者Neches等对本体定义如下：给出构成有关领域词汇的基本术语和关系，并运用这些术语和关系组成规定这些词汇外延的法则［8］。该定义中涉及4个关键词，“领域”是指本体所描述的特定领域，如本文所研究的领域为农业；“术语”是指特定领域中的重要概念，如农业领域中的生产对象、农机设备、涉农技术、生产过程等；“关系”是指基本术语之间的关系，可理解为类的层次结构，如术语“农机设备”中包含了术语“插秧机”“收割机”，术语“插秧机”具有“插秧”用途属性；词汇外延法则是指对本体的约束，包括值约束、不相交描述、属性约束等，如只有“插秧机技工”才能维修“插秧机”。在互联网中，用户可能会用不同的术语来表达相同的含义，或者一个术语含有多个含义，因此，消除术语差异是很有必要的。目前的解决方案是，对某个领域建立一个公共的本体，在涉及该领域时充分使用公共本体里的术语和规则，以便信息共享与理解。

根据工作原理与理论支撑的不同，本体评价方法可分为基本本体评价法、基于认知心理学的本体评价法和以需求为导向的本体评价法3类［9］。基本本体评价法是其中惟一的量化方法，其主要包括黄金标准评价法、基于标准的本体评价法、基于具体任务的本体评价法，前2种方法或因局限于本体领域内部研究而缺乏实用性，或因侧重于外观特性而忽略本体实际应用，均不适用于本研究关于农业综合信息服务平台绩效评价。基于具体任务的本体评价法着眼于评价任务中的本体库构建，利用某一评价指标与目标本体间的相似度评价该指标完成的有效程度，综合具体任务的诸多评价指标完成情况，以全面、客观地评判具体任务。

3 基于本体的农业综合信息服务平台绩效评价模型

3.1 构建原则

绩效评价指标的选取与评价指标体系的建立是农业综合信息服务平台绩效评价的首要环节，农业综合信息服务平台绩效评价指标选择时，通常需要考虑其指标数据的可获取性、横纵向可对比性、可量化表达的程度、量化数据的层次性以及评价体系对农业综合信息服务平台绩效的系统性刻画与描述能力等。从系统性层面来看，评价体系框架应能量化反映平台运用主体如农技推广部门、各级各类涉农企业、农业组织、农村实用人才的相关活动，能为各类主体提供多样化、个性化的农业信息服务，包括技术指导、数据查询、市场分析等。从层次性层面来看，评价体系应跳出当前平台功能定位，立足于农业综合信息服务内容与服务成效设计评价指标并划分层次、汇总归类，使得整个评价体系具有等级层次性与易操作性。从可对比性层面来看，评价指标应当具有同级地区横向可对比性与动态纵向可对比性，兼顾指标的先进性与关注度。最后，需要综合考虑平台绩效与评价指标以及指标之间的关系，尽可能消除评价指标之间的关联性与重复性，提炼相关性较弱且能较全面表达平台绩效的影响因素作为农业综合信息服务平台绩效评价指标，从而构建科学、合理、可行、全面的农业综合信息服务平台绩效评价指标体系。

3.2 绩效评价指标体系与数据来源

基于上述原则，农业综合信息服务平台可从3个角度构建“平台-用户”双向互动式综合绩效评价指标体系。

3.2.1 平台资源 反映平台的内部业绩与性能。农业综合信息服务平台的资源主要分为2个部分，一是平台信息内容，包括平台信息的数量和时效性等；二是平台展示性能，包括平台界面设计状况、网站PR值、网站访问速度和运行稳定性等。

平台信息数量可由平台管理员对所发布的信息总量加以统计；平台信息的时效性即为平台信息更新频率，可由平台管理员对每日新增信息进行统计，按一定时间周期计算平台信息更新频率。平台界面设计状况可根据用户对平台的评论解析获得，用户评论是用户在平台中发表的评论，阐述其使用平台的感受与想法，利用自然语言处理方法对评论进行中文分词和本体映射，提取出用户对界面设计相关评论的关键词，经语义分析确定评论态度与观点；网站PR值可利用Google PR值查询工具查询得到；网站访问速度可通过模拟多用户并发访问操作，抓取页面响应时间作为网站访问速度；通过多线程并发登录的模拟测试，获得网站最大访问用户量，作为运行稳定性指标值。

3.2.2 用户体验 反映用户对平台使用的满意程度。作为农业综合信息服务平台的服务对象，用户满意度直接关系到平台绩效。用户体验由用户自发式反馈，可体现在平台信息浏览量、网站日平均访问量、平台信息转发量、用户评分和用户使用情感等方面。

平台信息浏览量可对信息链接的点击量进行统计；网站日均访问量可运行访问量统计代码，对单日内平台的用户访问量进行汇总统计；平台信息转发量可利用网页集成open install jssdk与域名等进行统计；用户评分是农业综合信息服务平台向用户提供的服务评分机制，统计用户对平台服务的打分；用户评论中蕴含的情感可直接体现用户对平台使用的满意度。

3.2.3 服务效能 反映平台在提供服务过程中所产生的效益。农业综合信息服务平台向用户提供农业信息咨询与技术推广服务，由用户将所学所得转为实际生产力与生产效益，因此平台的服务效能主要体现在作物产量、作物收益等方面。考虑到农业综合信息服务平台仅为知识或服务输出型系统，不涉及后续服务跟踪与回访，可对用户有效评论进行中文分词、特征项提取和本体库映射，提取有关服务效能的关键词句。

根据上述构建的评价指标体系以及数据来源分析，结合获取数据的属性特性，设计农业综合信息服务平台评价指标及数据类型，如表1所示。

表1 农业综合信息服务平台评价指标及数据类型

3.3 绩效评价本体库构建

根据“3.2”评价指标数据来源可知，平台界面设计状况、用户使用情感、作物产量增幅和生产效益增幅均无法通过网络爬虫技术或并发模拟统计得到，而是来源于用户评论文本，需要对用户评论加以解析与理解。文本语义解析的基础即构建绩效评价本体库，以该本体库作为抽象知识，将用户评论中的分词特征项映射到本体库中进行语义相似度计算，实现对用户评论的语义分析与理解，对用户评论中涉及的指标进行数值提取或等级分类。本研究选择OWL作为农业综合信息服务平台绩效评价本体描述语言［10］，并基于此构建绩效评价本体库，具体实现流程如下。

3.3.1 概念抽象 针对本研究平台绩效评价中需要进行语义分析的指标，对其实体重要概念与主要特征进行描述，主要包括界面设计、农作物和生产效益，对上述概念进一步细化，界面设计包括美观设计、交互设计和逻辑设计等，农作物包括大豆、玉米和小麦等，生产效益包括农作物产量、产值和经济收入等。

3.3.2 概念定义 对“3.3.1”中抽象出的概念进行定义，在本体库中，所有的类都是物品“Thing”类的子类，上述概念“界面设计”“农作物”“生产效益”的类分别定义为“Inference”“Crop”“Benefits”，上述概念所具备的属性与详细描述如表2所示。

表2 绩效评价领域部分实体类的属性与详细描述

3.3.3 约束条件定义 对上述实体之间的约束条件加以定义，如“Crop”类中的农作物产值与“Benefits”类中的生产效益等级二者之间是互为互逆关系的。

3.3.4 本体库构建 在农业综合信息服务平台绩效评价领域的实体、属性、约束条件等定义的基础上，采用Protégé软件对本体进行编辑，以OWL为本体描述语言，构建绩效评价本体库。

3.3.5 创建本体实例 上述步骤可以实现基于OWL与Protégé的农业综合信息服务平台绩效评价领域本体库构建［11］，在具体应用中，需要对本体与属性进行实例化，创建绩效评价的本体实例。

3.4 绩效评价模型

在绩效评价指标体系确定的基础上，农业综合信息服务平台的绩效评价模型可分解为3步。

3.4.1 定义评价标准 对表1中的绩效评价指标需逐一确定评价标准。将研究对象集中在省级层面农业综合信息服务平台，对于数值型指标，根据省级层面平台绩效的要求设置指标分类等级共分为5级（优、良、中、及格、不及格，值分别为4、3、2、1、0），如平台信息数量在［0，102）定义为不及格；在［102，103）定义为及格；在［103，104）定义为中；在［104，105）定义为良，在［105，∞）定义为优。对于等级类别型指标，提取出用户评论关于指标与指标值的特征项后，利用本体映射与语义分析将指标值映射到等级分类中，如“作物产量状况”映射到“生产效益等级”中，确定具体的等级分类（优、良、中、及格、不及格）。

3.4.2 确定指标权重 对于农业综合信息服务平台绩效评价而言，本研究所构建的评价指标体系庞大、指标众多、对平台绩效的影响力不等，需要对指标权重进行确定。本研究采用层次分析法确定各指标的权重，具体步骤如下。

1）建立递阶层次结构模型。以省级农业综合信息服务平台绩效评价为研究对象，对影响平台绩效的一级指标与二级指标构建递阶层次结构模型。

2）构造判断矩阵。根据递阶层次结构模型，按照从上至下的顺序构造判断矩阵，判断矩阵的取值来源于平台绩效评价准则，根据对准则的理解对矩阵中的元素进行两两重要性对比分析，然后对判断矩阵进行权重赋值，判断矩阵的取值采用如表3所示的九级标度法。如将2个元素进行对比，准则中认定前一个元素比后一个元素更为重要，且重要程度为强烈，则判断矩阵的取值为7。

表3 判断矩阵取值方法

3）层次单排序与一致性检验。对所构造的判断矩阵A进行最大特征值λmax求解，其计算公式如下。

式中，A为判断矩阵，W为判断矩阵的特征向量，(AW)i为AW的第i个分量，λmax为判断矩阵的最大特征值，n为影响因素数量。

由于判断矩阵的结果具有一定的客观性，因此需要进行一致性检验分析，根据最大特征值计算判断矩阵的一致性指标，其计算公式如下。

式中，C.I.为一致性指标。

基于一致性指标C.I.与平均随机一致性指标R.I.，可计算出随机一致性比率检验数，其计算公式如下。

式中，C.R.为随机一致性比率检验数，R.I.的取值与指标数量有关，在已知指标数量n的前提下，可以通过查询相关表得到R.I.的取值。对计算得到的C.R.进行分析，若C.R.≤0.1，则表明判断矩阵的一致性较好，否则认为检验不合格，要修正判断矩阵，直至符合满意的一致性标准。

4）层次总排序。从上至下逐层计算各项评价指标相对于平台绩效的影响综合权重，最后得出各指标对农业综合信息服务平台绩效影响值的排序结果。层次分析法采用优先权重作为区分指标影响程度的指标，权重的值域为［0，1］，权重越大表明指标重要性越高。

3.4.3 评价指标赋分与评价结果计算 对照评分标准，逐一对评价指标进行等级划分与赋值（0、1、2、3、4），再利用各指标权重对分值进行加权计算，推算出农业综合信息服务平台绩效的综合评价值。

4 基于本体的农业综合信息服务平台绩效评价模型应用

4.1 数据获取与处理

表1所构建的农业综合信息服务平台绩效评价指标体系中，平台信息数量、平台信息更新频率、平台信息浏览量、网站日平均访问量和平台信息转发量等指标可由后台统计获得；网站PR值与用户评分可由网络爬虫技术从Google PR值查询页面与平台用户评分页面提取得到；网站访问速度、运行稳定性则可以通过LoadRunner对平台进行多用户并发访问模拟获得。本研究重点对用户使用情感以及基于本体与语义分析的平台界面设计状况、作物产量状况和经济收益状况等数据获取与处理过程进行详述。

4.1.1 用户使用情感 利用网络爬虫技术获取用户在农业综合信息服务平台上的评论，对用户评论数据中暗含的情感进行剖析，计算用户对平台的情感态度分值（0～1：消极至积极），其实现流程如下。

1）评论分词。首先对用户评论进行分词，本研究中利用Python的jieba库进行分词，但是所分出来的词中会带有很多常见冠词、连词、名词等，如“我”“的”等词语，为减少后续情感分析的工作量，需要去除这些停用词。先读取本地的停用词表，创建一个停用词列表stopwordslist，然后读取用户评论，通过jieba库进行中文分词，再与停用词表中的词进行对比，相同的词替换成空白，最终生成想要的分词表。

2）情感分析。Python的中文NLP库snowNLP可以根据输入的评论分词进行判断生成0～1的值，超过0.5就说明该评论是积极的，反之，就是消极的，数值越逼近0、1两侧，评论中蕴藏的情感越极端。snowNLP调用流程为在使用过程中将评论分词读取在链表中，由s=SnowNLP（）逐个选取，然后通过s.sentiments进行判断得出情感态度分析结果，最后通过条形图直观地表现情感态度结果，snowNLP库中对情感态度加以判断使用的是贝叶斯算法。

4.1.2 基于本体的用户评论语义分析与指标分类赋值 从用户评论的构成来看，其基本元素为汉字和标点符号，词汇由汉字构成，短语由词汇构成，最终形成完整的句子以及具有上下文的评论文章。在对自然语言进行统计处理时（分词、词性标注、句法浅层分析），需要对句子进行精炼与形式化表达，以便进行后续的自然语言处理与理解。

向量空间模型VSM是当前最为常用的句子形式化表示模型，本研究将其应用于对用户评论中各语义特征项进行形式化表达。VSM中的项是指用户评论中的特征项，包括字、词汇、短语等，定义ti为用户评论中的特征项，则中文句子可表达为：

式中，SE为中文句子的特征项表达，n为中文句子的特征项数量。

对用户评论进行向量化表示，通常一个中文句子对应一个向量，其结构如公式（4）所示，则拥有多个句子的用户评论可表示为由多个向量构成的矩阵。本体映射可以通过句子向量与本体向量之间的内积或夹角余弦等进行计算与表示。

利用规则方法对用户评论文本进行深层次分析。考虑到用户评论的随意性与自发性特征，如果使用词类与句法范畴编写文法规则，难以对其进行规则套用与语法分析，因此，本研究采用语义类对文法规则进行编写。与句法结构类似，基于语义类对文法规则进行表达与刻画的方式沿用树形结构，在编写好农业综合信息服务平台绩效评价领域的语义语法后，可利用规则方法对该领域用户评论进行句法分析。本研究采用基于动态文法的Phoenix分析器进行句法分析，实现流程如下。

2）从句子的左端开始，依次匹配每个活动槽，通过词序列与本体的匹配生成句子的语义树结构，并将语义树结构存储在节点序列中，其数据结构如下。

3）将构建好的语义树结构按照XML格式进行存储与表达，如用户评论“咨询了平台专家关于水稻种子霉烂蛀虫问题，采纳了专家的处理方法，种子的出芽率高了一些”，可将其按照类别进行标记，如其根节点标记为Query-Benefits，意为“咨询成效”，其子 节 点 标 记 为“Data-Seed”“Problem-Moth”“Benefits-Effective”“Data-Seed”的 子 节 点 为“Attribute-Bud”，具体结构通过规则分析、语义树结构构建，最终可用XML表达如下。

4.2 指标权重确定

首先确定一级指标的权重。本研究中一级指标包括平台资源、用户体验和服务效能3个评价指标，立足于省级农业综合信息服务平台绩效考评准则，对一级评价指标两两之间的对比重要性进行分析，并标度各一级指标的重要性，一级评价指标的重要性标度如表4所示，平台资源与服务效能相比，其重要性之比为2∶1。

表4 一级指标的重要性标度

通过表4构造判断矩阵：

根据判断矩阵计算最大特征值λmax为1.042，一致性指标C.I.为0.011 67，C.R.=0.024 3≤0.1，则表明判断矩阵的一致性较好，符合一致性标准，无需对判断矩阵进行修正。平台资源的权重为0.4，用户体验的权重为0.4，服务效能的权重为0.2。

同样基于绩效考评准则对一级指标下细分的各二级指标两两之间的对比重要性进行分析，在对所有二级指标的权重计算完毕后，得到各一级指标下的层次单排序：

根据确定好的一级指标权重以及上述层次单排序，从上至下逐层计算各二级指标影响农业综合信息服务平台绩效的综合权重，结果如表5所示。

由表5可知，平台资源和用户体验对农业综合信息服务平台绩效影响较大，其权重均为0.4，比服务效能指标权重高0.2，权重越大表示其影响因子越大，对结果贡献度越高。在平台资源二级指标中，网站访问速度权重最大，为0.084，是影响较大的一个因素；在用户体验二级指标中，用户评分和网站日平均访问量权重较大，均为0.092，是影响较大的因素；在服务效能二级指标中，作物产量状况权重最大，为0.112，且在所有二级指标中影响最大，主要原因是农业综合信息服务平台主要是为了便捷地解决用户的问题，而作物产量状况直接影响到用户的表达倾向和诉求倾向。

表5 农业综合信息服务平台绩效影响因素的权重

4.3 绩效评价

通过爬取与搜集中国东部、中部、西部地区的代表省份江苏、河南、云南3省2020年的平台日志信息以及用户评论信息，按照上文中的指标维度进行划分，并对用户评论文本进行清洗和分词，运用NLP技术将评论数据转化成情感指标数据，情感值越大表示用户对系统的喜欢程度越高，更能体现系统的用户黏性。得到对应指标后，通过本研究提出的层次分析法确定各指标的权重，并根据表5的权重对应加权和，得到江苏省、河南省、云南省的农业综合信息服务平台的绩效分别为3.17、3.25、2.86，即河南省＞江苏省＞云南省。为了测试结果的准确性，本研究随机抽取各平台的1 000个用户，并参考本研究中的二级指标对用户进行调研，每个指标满分为100分，最后将所有指标加权求平均值，得到河南省、云南省、江苏省的农业综合信息服务平台绩效评分分别为83.25、80.32、83.07分，其排序结果为河南省＞江苏省＞云南省，与本研究对农业综合信息服务平台的绩效评价结果相符，因此证明本研究评价方法具有实际使用价值。

5 结论

农业综合信息服务平台是农业信息服务体系的重要组成部分，在农业信息化时代发挥重要作用。本研究针对农业综合信息服务平台的非营利性特征，从平台资源、用户体验和服务效能3个角度构建“平台-用户”双向互动式综合绩效评价指标体系。基于此，综合网络爬虫技术、本体评价法、自然语言处理与语义分析技术对农业综合信息服务平台的绩效数据源进行采集与处理；利用层次分析法确定绩效评价指标权重；并利用加权计算法获得农业综合信息服务平台绩效，以量化评定各省级平台的农业信息服务成效。结果表明，平台资源和用户体验对农业综合信息服务平台绩效影响较大；江苏省、河南省和云南省农业综合信息服务平台绩效评价结果分别为3.17、3.25、2.86，经验证本研究评价方法具有实际使用价值。对于低绩效的省份，应根据指标的重要程度，提升对应的服务质量；对于高绩效的省份，应树立标杆，加强省份之间的合作，为共同建立高质量的服务平台打下坚实的基础。

当前全国涉农服务平台网站很多，但是规模大、综合服务水平高的不多，农业综合信息服务平台作为面向涉农人员提供知识与技术支持的公益性平台，应当着力增加特色农业专题数据库量、互补性资源链接量，根据当地特色发展特色化服务；同时，平台应顺应潮流推出相应的App，融合微博、微信等不同应用软件，提供更加全面的服务，以满足不同群体的涉农用户需求。