研究生管理信息系统应用效果评价研究

焦宝臣，陈诗明，刘振昌，杨 阳，张四海

(南开大学 信息化建设与管理办公室，天津 300071)

研究生管理信息系统应用效果评价研究

焦宝臣，陈诗明，刘振昌，杨 阳，张四海

(南开大学 信息化建设与管理办公室，天津 300071)

研究生管理信息系统作为高校研究生教育信息化的重要手段，备受关注.目前许多高校已经开展了研究生系统的建设，但缺乏对其应用效果的评价.笔者从实际使用角度提出了将不同种类用户的划分和使用情况作为研制指标体系的思路，并构建了具有二层级的应用效果评价指标.采用层次分析法，通过专家打分的方式，确定指标权重；以南开大学为例进行了应用效果评价，结果显示应用效果处于良好水平；最终形成了一整套可行的研究生管理信息系统应用效果评价方案.通过应用效果评价，不但可以直观地判断学校当前研究生系统应用水平，也可为系统升级和发展提供重要的建设性意见.

应用效果；层次分析法；评价指标体系；研究生管理信息系统

0 引言

研究生教育是高校教育、科研工作的核心内容，利用信息化手段来改善高校研究生教学管理水平备受各高校关注.其中建设研究生管理信息系统(以下简称为“研究生系统”)是重要的信息化手段.将传统的研究生教学、科研和管理工作，通过构建业务系统以更加规范、高效的信息化形式展现出来，这对于提高学校整体办学质量有重要的意义.

目前，国内很多高校已经建设了研究生管理信息系统，学术界也开展了广泛研究.这一领域的研究大多集中在对高校信息化水平或某一地域信息化水平进行评价，也有从绩效角度对信息系统或高校信息化进行评价[1-5].这些研究往往过多地关注整体信息化水平，缺乏从应用效果角度提出有针对性的评价或建议.因此，以研究生系统为突破口开展应用效果评价研究，能够从实际使用的角度对信息系统的情况进行综合评价，对系统未来发展给出更加直接的建设性意见.

研究生管理信息系统是典型的信息系统，对其从实际使用角度开展应用效果评价研究，可作为高校业务管理信息系统应用效果评价研究的范例.其评价思路、评价指标研制方法，均对其他系统应用效果评价具有非常重要的借鉴价值.

1 评价思路

开展研究生系统应用效果评价，通常首先是从经济学的角度分析系统的成本和收益情况[6-7].这样能够获得较为直观的经济应用效果，但并不能为系统进一步发展提供重要的改进方向.对研究生系统进行应用效果评价，应坚持从实际使用角度来研究评价体系和方法，这样才能对研究生系统进行更加有效的评价，为其进一步发展和改进提供明确的意见或建议.

对研究生系统进行应用效果评价的具体步骤如下：①分层级构建评价指标.从实际使用角度对研究生系统进行分析，构建评价指标，并进行分层级，形成系统的评价指标；②确定指标权重值.采用数学方法对不同层级指标进行权重分析，形成评价指标体系；③建立评语等级集.对指标建立评语等级，形成问卷调查表;④以某高校为例，进行问卷调查，利用已建立的评价指标体系进行分析，最后得出评价结果.

2 评价指标的研制

2.1 构建一级指标

从实际使用角度对研究生系统进行应用效果评价研究，就是从系统使用者的角度来分析评价指标.系统的使用者包括：研究生(硕士、博士)、任课老师、导师、辅导员、研究生院从事管理的工作人员、系统管理员、系统开发人员、系统维护人员.以上人员可以分为3类，如图1所示.

图1 研究生系统相关人员示意图

A为研究生相关工作中从事管理类工作的人员，包括：研究生院工作人员和研究生辅导员.这类人员主要从研究生院管理工作的角度来审视研究生系统应用情况.

B为研究生相关工作中办理具体事务的人员，包括：研究生、任课老师、导师(硕士生导师、博士生导师).相对于A类人员来说，这一类人员

是被管理的对象，是研究生相关工作的主体人员.这类人员从具体办理研究生相关业务角度来审视研究生系统的应用情况.

C为系统自身情况相关的人员，包括：系统管理员、系统开发人员、系统维护人员等.这类人员更多的是从系统软件角度来审视研究生系统实际应用情况.

结果语步常用词汇：result,findings,find,result in,indicate,predict,occur,show,suggest,provide,present,demonstrate,include等

依据上述研究生系统实际使用人员的分类，可以从3个方面来评价研究生系统应用效果，也就是评价体系的一级指标，分别是：

(1)“对研究生院管理工作改进效果”.从研究生院管理工作角度来分析系统应用效果.

(2)“对业务办理工作改进效果”.是指研究生系统的建设对要办理业务的普通使用者(普通老师和学生)办理相关业务的改进效果，即从普通办理业务人员角度来分析系统应用效果.

(3)“研究生系统自身状况”.这是从系统自身情况相关人员角度来分析系统应用效果.

2.2 二级指标

在得出上述3个一级指标的基础上，分别研制出其所含的二级指标，能直接表达系统的应用效果.表1为具有二层级的研究生应用效果评价指标，以及二级指标的说明.

表1 研究生系统应用效果的二层级评价指标

表2 研究生系统应用效果评价指标及其权重

3 确定指标权重值

在分层级构建出评价指标后，采用合适的数学方法确定不同层级指标的权重值，形成完整的评价体系.常用确定分层级指标权重值的方法是层次分析法(analytic hierarchy process，AHP).AHP在决策分析、产业结构研究、科技成果评价、发展战略规划、人才考核评价及发展目标分析的许多领域都取得了令人满意的成果[8].其在计算指标权重值方面也有成熟的应用[2]，具体方法步骤如下：

(1)分层次的指标为同一指标下同一层级的指标，依据两两比较原则，构建调查表;

(2)研究生系统相关专家做问卷调查;

(3)依据问卷调查结果，构建判断矩阵;

(4)采用特征根法计算得出指标的权重值，具体运算过程可用软件Expert Choice实现[9].

下面以南开大学为例，通过上述步骤构建研究生应用效果评价指标体系.表2为依据AHP法采用Expert Choice软件计算得到的南开大学研究生系统应用效果评价指标及其权重值.从表2中的一级指标及其权重中可以看出，“对业务办理工作改进效果”的权重值为0.558，要明显大于“对研究生管理工作改进效果”的0.320和“研究生系统自身状况”的0.122.说明从实际使用效果角度来看，“业务办理工作改进”对系统的使用具有决定性的影响,也就是说，研究生系统建设应更多地考虑办理实际业务的普通用户(研究生、导师)的切身感受.

在所有二级指标中“无纸化程度”的权重为0.301，要明显高于其他二级指标.因此，在研究生系统建设或升级改造中,应更加注重实现网上办公，尽量避免线下操作，从根本上实现无纸化办公.

通过上述分析，可以明确得知，在建设或升级研究生系统时应更多地从业务办理方面来下功夫，即更多地站在普通用户的角度来构建系统，这样才能使系统建成之后有更好的使用效果.此外，这种采用AHP法构建研究生应用效果评价指标体系的方式也可为其他信息管理系统应用效果评价研究提供可行的借鉴方案.

4 评价实例

南开大学现有在校研究生1.1万余人，研究生系统自2007年开始建设使用，至今已有近9年的时间，期间在2014年经过了一次升级.该系统有较广泛的使用和较成熟的用户，能够为应用效果评价研究提供良好的实例.

以南开大学为例确定了指标权重基础之后，通过建立评语等级，利用指标形成问卷调查表.采用四级评语来标识指标的等级.分别为：“A”级对应100分；“B”级对应85分；“C”级对应75分；“D”级对应60分.将构建评价体系中的二级指标(如表2)按照A、B、C、D 4级评语来标识，形成问卷调查表.随机抽取一定数量的用户(包括：研究生、导师、任课老师、辅导员和研究生院工作人员，等等)进行问卷调查.对每一项指标的调查结果求取平均值作为最后的结果，再与该指标对应的权重值作乘法，最后将结果求和作为研究生应用效果值.表3为按照上述方式得出的南开大学研究生系统应用效果评价结果.最后得到的应用效果值是86.184，处于B级良好水平.

表3 研究生系统应用效果评价结果

5 结论

从实际应用角度对研究生系统应用效果进行评价，构建具有二层级的评价指标体系，采用AHP法确定指标权重；以南开大学研究生系统为例，进行问卷调查，最后得出系统应用效果值,从而形成了一套可行的研究生应用效果评价方案.该方案也可为相关信息系统应用效果评价研究提供借鉴，有广阔的应用前景.

虽然笔者对研究生系统应用效果评价进行了初步研究，在指标体系构建上形成了较为可行的思路方法.但是，由于AHP法本身采用专家打分的方式获得指标值，难免会受专家喜好的影响.因此从数学上寻找更加优良的方法，剔除人为的感性影响，尽量以定量的方式对系统进行应用效果评价是下一步努力的方向.

[1] 谢幼如,常亚洁. 绩效导向的教育信息化评价模型的构建[J]. 中国电化教育, 2015(1): 56-61.

[2] 李文光,范坤,赵莹. 深圳市基础教育信息化建设与应用评价指标体系的探索[J].中国电化教育, 2014(1):40-44.

[3] 李玉石. 高校信息化评价指标及应用研究[D]. 天津: 河北工业大学经济管理学院, 2007.

[4] 谢忠新. 学校信息化应用评估模型的研究[D]. 上海: 华东师范大学教育学部, 2009.

[5] 陈明选,汤巍楠.中小学数字化校园建设与应用绩效的优化[J].中国电化教育, 2012(3):30-36.

[6] 宁东玲. 信息系统项目应用效果的评价研究[J]. 项目管理技术, 2012, 10(10): 52-55.

[7] 张淑娜. 制造业信息化制造技术应用效果评价研究[D]. 哈尔滨: 哈尔滨理工大学经济管理学院, 2008.

[8] 张炳江. 层次分析法及其应用案例[M].北京: 电子工业出版社, 2014.

[9] 孔令波. 制造业管理型信息系统评价体系的研究[D].昆明: 昆明理工大学机电工程学院, 2006.

Research on the Application Effect Evaluation of the Graduate Management Information System

JIAO Baochen, CHEN Shiming, LIU Zhenchang, YANG Yang, ZHANG Sihai

(Office of Informatization Construction and Management, Nankai University, Tianjin 300071, China)

An increasing amount of attention was widely drawn to the Graduate Management Information system, which could be considered as an important means of the college graduate educational informatization. Currently, the construction of the graduate system was promoted in most of college. Nevertheless, it was deficient in the application effect evaluation of the graduate system. From the view of the practical application, a way of building the index system was proposed, which was according to the partition and application of the user. The evaluation index of the application effect with the double levels was constructed. The weight parameters were determined by analytic hierarchy process (AHP), through the expert evaluating method. As an example, the Nankai University was taken to proceed the application effect evaluation. The result showed that the application effect of the graduate system of Nankai University reached high level. A feasible project of the application effect evaluation was proposed in the Graduate Management Information system. Through the method of application effect evaluation, the application level could be estimated effectively and directly in the graduate system. Moreover, the indispensable suggestion could be presented for updating and developing the system.

aplication effect; analytic hierarchy process; evaluation index system; graduate management information system

2016-11-08；

2017-02-18

天津市教育信息化协会资助项目

焦宝臣(1982— )，男，天津人，南开大学工程师，博士，主要从事教育信息化建设研究，E-mail:bcjiao@nankai.edu.cn.

1671-6833(2017)02-0009-04

TP311

A

10.13705/j.issn.1671-6833.2017.02.003