APP下载

互联网信息资源价值评估的基本思路和方法

2019-06-13

中华医学图书情报杂志 2019年1期
关键词:指标体系价值评估

互联网已成为继报纸、期刊、广播、电视等四大传统媒体之后的第五大媒体。作为人类资源重要的组成部分和一种重要的知识存在形式,网络信息资源的重要性和战略性已得到普遍认可。

网络信息资源通常是指以电子数据的形式将文字、图像、声音、动画等多种形式的信息存放在光磁等非印刷介质载体中,通过网络通信、计算机或信息终端等方式再现出来的信息资源。大数据时代,无论是3V、4V还是7V特性,无不体现出网络信息资源在数量、多样化、结构分布、传播范围、处理速度、时效性、控制机制等方面与传统信息资源存在的显著区别。在非控制、非稳定的网络环境中,如何从开放、无序、广泛甚至良莠不齐、鱼目混珠的网络信息中寻找、获取和甄别有价值的信息,成为人们深刻认识和进一步有效利用网络信息资源面临的一个严肃课题,也是当前大数据时代必须面对和解决的难题。

1 网络信息价值评估的需求分析

1.1 价值评估的主要层面

20世纪90年代,对网络信息价值的评估问题的思考和探索大多集中在网站和网页信息的定量与定性评价方法研究,但远远没有体现出网络信息资源评价的全面需求。

笔者认为,网络信息资源价值的评估是贯穿信息资源利用全过程的一项不可或缺的工作,从信息组织到信息服务,从机构、服务商到用户都需要开展网络信息价值的评估。面对不同层面、不同需求,信息价值评估的侧重点各不相同。因此,从需求角度看,首先要区分和判断具体的信息价值评估工作属于哪个层面。概括起来,对网络信息资源价值评估的需求主要集中在3个层面。

1.1.1 信息服务层面

需求主体是信息服务商、网站,此层面信息价值评估的重点集中在如何规划更科学合理地网络信息资源,如何甄别的信息收录和采用质量,如何通过信息展示效果提高价值,如何评估服务效果、反馈和资源价值等。

1.1.2 信息组织层面

需求主体是信息批量整合、搜集的机构和团体,此层面信息价值评估的重点涉及如何识别、筛选、采集和保存高价值的信息源,如何在信息加工整合过程中体现出不同价值度的信息的不同的加工力度和保存手段等。

1.1.3 用户层面

需求主体是独立个体的用户,此层面信息价值评估的重点可细分为两方面:一是如何判断具体信息资源(如一份网络报道或报告)的价值,二是如何在网络信息寻找过程中判断信息服务主体层中信息服务水平与价值高低、是否满足用户需求和如何指导用户定位更有价值、更具针对性的网络信息资源目标。

综上所述,信息资源价值的评估在每个层面考虑的问题不尽相同,对应的评估指标体系也必然有所侧重和区别。在开展具体评估工作时,必须首先明确是从哪个层面去看待网络信息资源的价值。

1.2 价值评估的目的

针对不同层面,价值评估的目的可概括为3个层面。一是科学定位信息服务的目标,提升服务质量;二是掌握相关学科、专业、主题领域内的优秀网站/网页,日积月累形成高质有效的信息组织集群,占据信息选择的主动性;三是从信息海洋中经过甄别,挑选出满足自身需要的高价值网络信息资源,有效根除信息垃圾和检索噪音,提高信息使用效率,在分析判断基础上建立智能性访问,养成评价信息的思维习惯。

本文主要集中研究用户如何从网络中寻找有价值的信息。

2 网络信息价值评估的基本思路

2.1 价值评估的考虑因素

网络信息资源的价值评估涉及因素多,是一个综合判断的过程。主要需要考虑以下几方面的因素。

2.1.1 “已知”与“未知”

用户判断网络信息资源的价值通常存在两种情况:一是用户已有某一份(或多份)网络信息资源,二是用户从搜集角度评估网络信息资源。由于信息来源、发布者、信息形式、信息性质、应用领域等很多因素都存在一个“已知”、一个“未知”的显著差别,所以评估的关注因素、重点、复杂程度也有所不同。

2.1.2 “通用”与“专用”

任何一种评估方法都不可能是万能的。如从网络信息资源的种类与服务形式看,动态、图片、专题、数据库等不同信息的价值评估方式可能不同;从资源的内容领域看,娱乐信息与时事政治、科技信息的价值评估标准势必有所不同;从资源的范畴看,适用于所有网络信息资源的评价与应用于特定主题领域的所有信息资源,或者是满足特定用户群的特定专题资源的评价角度也有所不同。因此,是建立一套综合、通用的评估体系,还是针对每一种类型的信息都建立一套评估体系是一个需要思考和权衡的问题。

2.1.3 “网站”与“信息”

用户看待网络信息资源的价值,虽然更多关注信息是否满足用户的需求,评估主体以“信息”本身为重点,并不需要更多地考虑网站的建设、信息组织是否科学,布局是否美观,下载检索等服务是否便利等。但不可否认的是,在这个层面评估信息价值也必须考虑网站价值的部分评估因素。作为信息的来源,网站是否可靠、稳定,是否通过审核,网站性质是商业、机构、个人等都对信息本身的价值评估有很大影响。当然,并不是所有评估网站的因素都要纳入信息价值的评估当中,即使纳入也可能做了简化处理。

2.1.4 “定性”与“定量”

定性和定量评估是最普遍采取的评估方式,而且通常需要将二者结合起来形成综合评估结论。在网络信息资源价值评估中,需要确定的是这两种方式的评估指标和评估方法,以及针对网络信息资源是更适合以定性评估为主来进行判断,还是定量评估更切实际。

2.1.5 “客观”与“主观”

对网络信息资源的价值评估既体现在诸多客观因素上,又必然受到更多主观因素的影响。同一信息,对不同用户,在不同时期、不同领域、不同应用场景会有不同价值。

客观因素方面包括网站来源的可认证性,发布者的身份认证和权威性、资源的审核证据、资源的格式和编排方式、资源的时效性和更新频率、资源的下载与引证或收录站点数量、资源可检索性和内容的正确性与文字表达效果、信息的链接质量、信息的可存取性或易用性及价格、网站的安全性与创作目的等。这些因素通常可从信息源和信息内容本身获取。

主观因素包括内容的相关性或满足需求的主观感受、内容的合理性、内容的准确性、内容的连贯性、内容的专业性、内容的新颖性和前瞻性、内容的适用范围与美观等。这些因素更多依赖评估者的判断能力和对需求满足程度。

另外还有一些因素也属于动态或难以测量的范畴,如使用率、社会和经济效益、影响力、用户反馈等。

2.1.6 “可信度”和“价值度”

网络信息资源价值评估要解决的问题主要是“可信度”和“价值度”两方面。前者回答的是网络信息资源是否可信,保证其最基本的真实性和可用性;后者回答的是在真实可用的前提下,信息的应用价值到底是高还是低,值不值得用,是大海捞针后得到的“平淡”、“鸡肋”还是“惊喜”。

2.2 价值评估的基本原则

从上述的分析可以看出,开展网络信息价值评估绝非易事。用户要想相对准确地找到和判断出有价值的信息,理清思路至关重要。

2.2.1 坚持“通专兼顾、动态取舍”

用户群体不同、专业不同、领域不同。即使是同一个群体,不同时间、不同背景下对网络信息资源的需求也不同。针对不同的场景和资源,不可能一一建立相应的价值评估体系。为尽量满足不同情况下用户开展信息价值评估的需要,可以建立一个相对完善、固定、通用的评估体系。用户可以在此基础上,根据“已知”或“未知”、专业领域不同等客观情况对评估体系自行进行有选择的删减,或者对权重进行相应的调整,突出自身的特定需求。

2.2.2 坚持“科学适度、切实可行”

无论是定性还是定量评估,还是客观与主观评估,在制定评估指标时都要考虑指标获取的可能性或难易程度问题,特别是对独立个体的用户更是如此。有些因素需要放在横向比较中去判断价值,或者通过应用反馈来搜集价值信息,或者在一段时间内体现价值等。这些对用户而言评估工作可能难以完成,或者在一个时间点无法对其价值予以准确判断。因此,在建立价值评估体系时应充分考虑评估指标获取的可能性,做到科学适度尤为重要。

3 网络信息价值评估的方法步骤

3.1 价值评估的基本步骤

网络信息资源价值评估的基本步骤如下。

3.1.1 确立评估指标体系

构建一个由一系列相互关联的指标形成的,结合定性与定量、客观与主观因素的评估指标体系,作为整个价值评估工作的基础。

3.1.2 建立评估模型

通过对评估指标体系中的指标进行分类、汇总、分析,建立评估的数学模型,确定指标权值。

3.1.3 评估模型校正

将评估模型应用于网络信息资源的价值评估中,并在评估过程中对指标体系、评估模型、指标权重等进行必要修正,使评估体系和评估模型更加科学合理。

3.1.4 信息价值评估

将较为完整的评估指标体系和评估模型应用于网络信息资源价值的正式评估中,为用户提供综合、科学的价值评估结论与建议。

3.2 价值评估指标体系

3.2.1 国内外研究现状

国内外研究人员从不同角度提出了信息价值评价的方法,典型代表主要有美国南加州大学Harris Robert教授提出的CARS评价法、美国乔治大学教授Gener L.Wilknson提出的11条标准、SOSIG(Social Science Information Gateway)2005年提出的评价标准、新西兰惠灵顿维多利亚大学Alastair Smith提出的评价标准、美国图书馆协会(American Library Association,ALA)提出的评价标准、Betsy Richmond提出的10C原则等[1-2]。其中,CARS评价法中的“C”代表可信度(Credibility),衡量内容包括网站创建者、资源有无经过审核等;“A”代表准确度(Accuracy),衡量内容包括内容是否真实,近期网页有无更新等;“R”代表合理性(Reasonleness),衡量内容包括内容有无个人色彩,信息内容是否合乎常理等;“S”代表相关支持(Support),衡量内容包括信息出处,用户反馈等。10C原则主要提出了“内容”“置信度”“批判性思考”“版权”“引文”“连贯性”“审查制度”“可比性”“范围”“可连续性”等10个方面的评价指标,美国图书馆协会(ALA)提出了“准确性”“通用性”“导航设计”“可获得性”“内容”“范围”等6项评价指标,Purdue大学图书馆提出的网络信息资源评价指标体系有“权威性”“准确性”“客观性”“用户对象”“信息水平”“出版时间”“范围”“出版质量”“易用性”等,图书馆员互联网索引(Librarian's Index to Internet,LIIC)对公共图书馆互联网资源索引提出的评价标准包括“内容”(信息准确性、独特性、及时性、事实性、可读性)、“权威”(作者的声誉、资格)、“范围”(资源的服务对象)、“设计”(信息检索方式、使用的软硬件要求)等。

国内李朝葵、陶卫国等人针对网站内容提出的评价指标,包括“网站内容”(全面性、加工度、稳定性、交互性)和“操作使用”(导航设计、用户界面、资源组织、检索功能、链接速度、个性化、使用语种)两方面[3],黄奇和郭晓苗提出的评价体系包括“内容”(正确性、权威性、独特性、内容更新速度、目的及目标用户、文字表达)、“设计”(结构、版面安排、使用界面、交互性、视觉设计)、“可用性”和“可获得性”(链接、硬件环境需要、传输速度、检索功能)、“安全”和“其它评价来源”等5个方面[3],蒋颖等人针对互联网学术资源提出的评价标准包括“信息质量”(学术水平、可信度、时效性、内容的连续性)、“范围”(提供信息的广度和深度)、“易用性”(连接速度快、无空链)、“稳定性”及“连续性”等[4],武汉大学金越从内容和网站两方面对网络内容信息资源提出的定性评价指标包括“内容”(全面性、正确性、权威性、适用性、时效性和独特性)、“网站”(链接性、稳定性、创建者、目的用户、多媒体设计、交互性、费用、安全性等)[5]。上述信息资源评价指标体系针对网络、网站、网页信息等各有侧重,目前还没有成熟、公认的网络信息资源评价方法。

3.2.2 通用指标体系

从上述研究可以看出,国内外学者提出的诸多指标体系涵盖比较全面,共性指标也比较集中,其构建思路对开展网络信息资源价值评估具有重要的参考作用,但大都以定性指标为主,缺少定量指标,难以全面反映网络信息资源的特性。如很多指标都是原则性描述,难以具体衡量,可操作性差;评价指标含义模糊,有的指标名称相同但表达的意思不太一样,有的指标可能名称不同但可能指的同一个意思;指标建立不规范,许多指标体系没有按照一定的较为科学的规范体系建立,显得比较混乱。另外,更多是从学术角度构建指标体系,与用户的直接观感需求不够贴近;评价侧重点有所差异,看似都是价值评价,但有的研究侧重网站,有的侧重网页,与纯粹资源价值的评估需求角度不尽相同。

在充分考虑用户关注重点和实际操作的基础上,根据基本原则确立的网络信息价值评估通用指标体系见表1。该体系在实际操作中可以简化(图1),部分客观指标在特定场景中可能需要加入主观判断。

图1中,对网络信息资源可信度、价值度的主要评价维度具体说明如下。

权威性一般通过信息来源和提供者的可靠性进行判断。信息来自公开、合法的出版物、新闻媒介或政府机关、高等院校、科研院所及其他专业信息服务机构提供的信息,相对比较准确、可靠、权威。信息提供者的身份或学术地位可以在一定程度上反映其所传播信息的质量,如作者的学历、职称、科研成果等。另外还可参考是否有专家的支持、信息发布背景等因素。

获取性包括信息的用户友好性、是否需要特定的软硬件条件才能获取信息、信息获取渠道(网站和网络影响因素)是否稳定等。

交互性越好,网络信息资源能够发挥的作用就越大。如是否有信息资源的创建者与用户的联系方式、信息源在提供信息的同时是否有关联推荐或外链等。

安全性包括网站安全和信息伦理两方面。前者指用户从网站访问和下载信息时不能带有病毒等,网站还要采取措施减少黑客的攻击;后者指是否尊重和保护用户的个人信息和隐私,是否经过用户的许可才发布等。

表1 网络信息价值评估通用指标体系

续表1

图1网络信息资源价值评估指标体系

编排方式包括资源格式是网页信息还是Word或PDF报告、信息内容的结构与版面安排、参考文献注释等。

准确性指信息内容是否符合被认为正确的道理和标准,内容是否含有意识形态或其他倾向,是否有文字拼写或语法错误等。

新颖性包括信息涉及的主题、作者表达的思想和观点以及研究过程所运用的方法是否新颖独特,信息内容是否具有特点,信息是否独一无二,从别的资源中无法获得等。

3.2.3 特定需求下指标体系应用示例

“已知”与“未知”、“通用”与“专用”对评估因素的选择将有所不同。例如,用户手头已有某份网络信息资源(“已知”),此时可对图1所示的评估指标体系进行简化,删减获取性、交互性、安全性等指标(图2)。

图2 “已知”信息价值评估

3.3 价值评估模型方法

定性评估通常采用问卷调查法、专家评价法等方法,定量评估采用网络计量法等,定性和定量相结合的综合评估模型一般有层次分析法、第三方评价法和元数据评价法等。常用方法说明及对比见表2。

介于网络信息资源价值评估需求,建议采用“层次分析法+模糊综合评价方法”进行评估,其中用前者来测定评价结果,用后者确定指标集合中的模糊权重。在评估过程中需要完成确定每个指标的取值范围或评价等级、分配指标权重、建立模糊矩阵、矩阵评判、归一化处理等多个步骤。

表2 常用方法说明及对比

4 网络信息价值评估的指标获取

要完成所有评估思路、步骤,在实际操作中要解决的一个重要问题就是如何获取指标值。针对图1的指标体系构想,各个指标值可以通过以下几种方法获取。

4.1 固定取值范围,直接获取原始信息并通过评估者分析判断予以赋值

如“网站性质、定位”可以预设取值范围为{商业综合网站、商业专业网站、机构网站、微信公众号、个人网站、社交网站...}等大类,每类下还可以预设{综合,新闻,娱乐,科技...},或者再对其进行细分{核心,重要,一般...}。评估人员可以通过采集网站的“About us”或“关于我们”等信息进行判断,或者采用综合性网络导航服务的原始分类信息作为依据,也可以自己建立对网站、微信公众号、社交媒体账号等目标的分级定义体系。

“资源格式”可以预设{普通网页,文件,视频图片,短消息/评论...},评估者在信息获取过程中可以对该指标进行赋值。

4.2 采用专门工具初评,再通过评估者进行定性赋值

如“网站品牌影响力”可以采用Alexa 排名(图3、图4)。图4中的PR值是Google用于评测一个网页“重要性”的方法,分值为0到10,PR值越高说明该网页越受欢迎(越重要)。从图4可以看出,新浪分值为8,美国国防部分值为9,两个网站都属于非常重要的信息源。另外,还可以采用其他网站综合评价工具。图5是采用www.66560.com对cetin、cmse以及sina的品牌价值估算。

图3 Alexa对www.defense.gov和www.rand.org的排名评估

图4 Alexa(中文)对www.sina.com.cn和www.defense.gov的排名评估

图5 网站品牌价值评估

通过这些工具能够得到相对清晰的分值,评估者可以在这个基础上对分值进行一个区域定性,然后给出影响力{超大,大,中等,轻微,基本没有}等评价结论。

“获取速度”可以采用网站速度测试工具。图6是用webkaka对新浪和百度2个网站的访问速度测试。从测试机器所在网络环境对2个网站的平均访问速度分别是0.431秒和0.17秒。

图6 网站访问速度测试

4.3 主要依靠评估者的主观判断

如图1中的“准确性”“新颖性”“相关性”等。如果评估者和信息使用者是一体的,这些指标的赋值主要看信息对评估者的需求满足程度,指标赋值是相对的。“新颖性”方面,同样一篇文章对原有信息掌握数量、程度有限的评估者而言,可能“非常新颖”,但对另一个评估者而言可能就是“不新颖”。这种评估结论并不矛盾。

但如果是由第三方进行评估,有很多指标则不能完全采用主观评估方式,可以更多采用第二种评估赋值手段,即利用一些工具进行“定量+定性”的评估。以一篇学术文章的“新颖性”评估为例,目前常用的工具主要有维普的Gocheck、CNKI知网VIP、paperpass等。图7是用Gocheck对某篇论文的测试,结果是“总相似性97.41%”,说明“新颖性”相当低。

图7 Gocheck检测信息内容相似度

4.4 利用技术手段进行分析

随着技术手段的不断发展,图1中一些原先定性才能解决的指标,逐渐可以采用定量方法(或者定量+定性相结合的方法)进行分析获取。如要计算一篇文章(无论是论文还是社交媒体中的推文)的重要性,可以采取技术手段对其引用、被引等引用网络进行分析计算,得出每条资源的点度中心度和中介中心度。在此基础上还可以对多篇资源进行排序,作为对每条资源“重要性”判定的重要依据。对社交媒体信息,还可以运用情感分析技术判断话题受欢迎程度,共同支撑信息重要性的判断。

对可用性(相关性)的判定,可以采用自动分类算法对目标资源进行分类,再进一步计算目标资源与用户关注领域(角度)的契合程度。

对用户关注领域中的资源,除采用热度计算、网络中心性计算等方法对资源重要程度进行排序外,还可以综合计算时间因素等,对价值评估的结果加上时间标签,区别同一资源在不同时间段的价值。

根据用户需要,还可以采用脉络追溯技术、相似度计算技术等手段,分析信息资源之间的关联关系、相似程度,追溯和发现最早的原创资源,从而综合判定资源的新颖性。

5 结语

本文从可信度、价值度等角度出发,探讨了网络信息资源价值评估的理论方法,梳理了价值评估属性和可行手段,希望能够为更准确有效地收集、利用互联网信息资源奠定基础。

猜你喜欢

指标体系价值评估
层次分析法在生态系统健康评价指标体系中的应用
供给侧改革指标体系初探
一粒米的价值
“给”的价值
评估依据
立法后评估:且行且尽善
最终评估
测土配方施肥指标体系建立中‘3414
EMA完成对尼美舒利的评估
土地评价指标体系研究