对外短期科技人力资源合作开发项目效度问题研究

霍宏伟，王 艳，汪 洋，肖 轶，白 杨

1 引言

对外短期科技人力资源合作开发项目主要是指由我国科学技术外事主管部门负责组织实施的，邀请发展中国家相应科技主管部门官员及专业技术人员来华接受中短期适用技术培训的项目，是科技援外项目的重要形式之一，又称发展中国家技术培训班项目或者科技援外技术培训项目。对国家科技主管部门而言，对外短期科技人力资源合作开发项目具有投入低、技术针对性强、效果好、影响面宽等特点，能够起到展现中国国家科技成果、提升中国科技影响力等作用。对发展中国家而言，针对其技术需求，通过接受成熟和适用技术的培训，能够增强自身的自主发展能力，提升科学技术人才能力和科技管理水平［1］，促进中国与其他发展中国家之间的双边和多边科技合作。根据中国国际科技合作网的信息统计［2］，2006—2012年，科技部共主办发展中国家技术培训班项目234个，按培训班计划招生人数估算，培训人员规模应超4600人，涉及农业、装备制造业和信息技术、新能源、资源环境、医疗卫生、科技管理等6个领域，近年来培训班数量年均保持稳定。

对外短期科技人力资源合作开发项目也是一种投入产出活动，应该建立一套机制，衡量其效度。对培训项目进行效度评价，国内外开展了大量研究。D.L.Kirkpatrick等［3］最早提出培训评估理论，并提出Donald L.Kirkpatrick评估模型，提出了包括反应、学习、行为和效益在内的四层次模型理论。其中对培训效度重点集中在行为和效益两个层面，但该模型未给出定量的效度评估方法。Sheppeck等针对培训项目的投资回报率进行了定义，并提出了著名的Sheppeck-Cohen公式，但是公式中仍存在部分模糊变量［4］。Earl D.H等［5］通过将上述两个模型相结合，提出了新的方法，并在企业培训中进行了验证。但是考虑到科技援外培训显然超越一般企业培训的范畴，借用经济学方法的效度评价难度高且不易实现。就人力资源合作开发本身，由美国实用概念公司提出的LFA(Logical Framework Approach)方法很有代表性，该方法通过项目管理和项目计划完成两个角度衡量项目的效度，但是缺乏普遍适用的衡量指标［6］。OECD的发展援助委员会 (DAC)则对项目进行后评价，主要总结项目遴选和实施各环节中的经验和教训，其规定的评价方法也未提出相应的指标体系［7－8］。Pinto等从项目的实施效率、执行质量和客户的满意度来评价有效性，其引入的满意度模型对于开展基于案例的效度研究具有很好的借鉴意义［9］。类似于 Diallo A［10］等提出的方法，韩纪琴等［11－12］在上述指标的基础上，提出了短期教育培训项目的有效性分析方法，给出了有效性框架要素，并通过引入偏最小二乘法 (Partial Least Squares Method，PLS)，分析了各要素的显著性影响。

但是短期科技人力资源合作开发项目具有社会政治性、参与人员开放性和效果不可显现性等特点，因此不能使用传统科技项目评估的方法来衡量其有效性［11］。同时，对外短期科技人力资源合作开发项目同一般短期培训项目相比更为复杂，主要体现在承办机构参加培训发展中国家学员的学术和技术专业性更强，培训内容设置更应遵循产业技术链条自身的特点等。目前，对于短期科技人力资源合作开发项目效度，还没有形成有效的评价体系，对应的理论框架也不完善。本文将结合国内科技援外实践的基础上，讨论构建短期科技人力资源合作开发项目效度的框架体系，对25个培训班的447位在中国参加培训的发展中国家学员进行了抽样问卷调查，使用偏最小二乘法分析了对外短期科技人力资源合作开发项目有效性的影响因素，并验证其中各因素对效度的影响。

2 项目效度的概念分析与框架设计

2.1 短期科技人力资源合作开发项目效度的概念

效度又称有效性评价，即项目产生的成果对预期目标产生的影响或对项目实施带来的变化。短期科技人力资源合作开发项目的目标主要包括三个方面:一是按规定完成项目计划，符合管理流程和财务规定;二是产生有效后续合作意向或协议;三是达到参加培训人员的预期，使之获得必要的知识和技能。因此短期科技人力资源合作开发项目效度是指项目是否高效地达成培训目标。对该目标是否达成的评价既应来自实施管理方评价，还应包括培训参与方的评价。考虑该项目的目标并综合有关文献的论述［9－11］，本文使用项目实施效率、项目执行质量以及培训参与方满意度三个层面来对短期科技人力资源合作开发项目有效性进行评价。项目实施效率包含项目筹备和实施时间比率、培训师资和管理人员投入率、资金有效使用率三个指标;项目执行质量包括实施天数与计划天数比率、实际参加培训人数与计划培训人数比率，有效后续合作项目数量三个指标。显然上述两个层次可以由项目实施管理方通过数据统计进行确定性衡量。而培训参与方满意度评价则是由参加培训的国外技术和管理人员的主观态度反映的，其核心为对此次培训的有关安排是否满意并达到培训前的预期。培训参与方满意度评价很难进行确定性解析，必须构建一个满意度分析模型进行描述。

2.2 项目效度的特征分析

项目效度模型包括确定性描述部分和非确定性描述部分。整个效度分析模型应该具备非确定性分析的全部基本特征，即满意度的基本特征:

(1)个体主观性。培训效度是建立在培训机构提供培训的基础上，尽管技术培训是客观的，但是参加培训的专业技术人员体验过后形成的感知评价却是带有很强的主观性。通过这种感知评价形成的整体满意度与参加培训的专业技术人员自身条件有很大关联。

(2)整体客观性。短期科技人力资源合作开发项目设置是一个自上而下的体系，项目承办单位有准入门槛，通常都是在特定技术领域内具备一定实力的科研或生产机构。参加培训的专业技术人员总会给培训活动一个客观评价，这个评价总是客观存在的，且总体评价应该能够从整体上客观反映培训的水平。

(3)动态性。对项目的有效性评价，可能在一定时期会相对稳定，但并不意味着是一成不变的，在较长的时间维度分析，随着技术发展以及学员的变化而动态变化的。

(4)差异性。因学员的自身因素 (自身能力因素、社会因素、知识背景因素等)的不同，个体对短期科技人力资源合作开发项目有效性判断会产生合理的差异。

(5)全面性。有效性的评价贯穿于整个项目生命周期，这种评价不是只针对这一过程的特定环节而言，任何一个服务环节出现问题，都会直接造成有效性出现偏差。

2.3 模型框架及关键要素

项目有效性由项目实施效率、主管满意度和项目执行质量三个因素确定。其中只有满意度是可变的。换言之，尽管满意度不能被直接观测到，但是一旦确定主观满意度的描述方法，即可以得到项目有效性的表达。为确定主观满意度，考虑引入在一个培训项目中能够直接影响主观满意度的4个直接要素和2个间接要素同主观满意度要素一起构成完整的结构描述。4个直接要素，是指培训过程中的三个基本环节，即教学过程和教学、技术实践 (实验)、文化参观及贯穿于上述基本环节的接待环节。两个间接要素分别是项目计划安排和预设培训目标。这两个要素同时也是4个直接环节实施的指南。

由于2个间接要素与4个直接要素和主观满意度要素之间明确地体现了一种潜在的因果关系，因而可以用典型的结构方程关系来表达。结构方程模型由结构模式和测量模式两部分组成。结构模式用来说明自变量 (潜在外生变量)和因变量(潜在内生变量)之间的结构关系 (主要是因果关系)，以图形的形式表达出隐含变量之间的关系，这种图形称为路径图。显然上述7个要素可以作为模型中7个结构变量进行处理。由于这些变量是无法直接观测的，可以通过设置具体的观测变量(显变量)来反映，需要围绕这7个结构变量设置若干可观测的调查指标作为观测变量来进行数据统计。图1给出了该模型的预设框架。

上述7个要素中，项目计划安排 (用ε1表示)和预设培训目标 (用ε2表示)是培训之前就确定的2个要素，反映了承办机构能力和项目承办单位的技术目标实现期望。项目计划安排体现了项目承办单位自身应该具备的技术实力和项目组织能力。这一指标体现了承办单位的项目管理能力、技术实力和技术转移能力。预设培训目标是指作为技术培训活动中通过课程设置、实践、实习等环节传递给被培训者的知识和技能的预期。这两个要素是框架图中因果联系的根源，可以作为结构方程中的自变量。对4个直接要素，用η1表示教学安排与教材编制、用η2表示实践和实验环节、用η3表示文化参观访问活动、用η4表示接待工作。将主观满意度也作为直接要素，记为η5。这里依据上述要素的基本特征，提出了18个观测指标，具体对应关系见表1。事实上，这18个指标是根据项目情况选择设定的，变量之间是否存在两两相关或者多重相关并不确定。因此在这些观测变量下能否形成完全连接结构图也是不确定的。在这里仅能够给出一个预设的框架，先假定能够得到一个理想的因果关系结构图，再通过实际数据的检验，去除反映不出因果关系的连接线，最终获得实际的结构图。

还应该说明的是，每个隐含变量间的箭头上应该有一组数值，被称为路径系数，反映了隐含变量间的相互影响大小，两个隐含变量之间没有箭头连接表明数据显示模型中没有建立直接联系。在本文中用γij表示间接要素i到直接要素j的路径系数，例如γ14表示项目计划安排 (ε1)对接待工作 (η4)的影响;用βij表示直接要素i到直接要素j的路径系数，例如β15表示项目教学安排与教材编制 (η1)对主观满意度 (η5)的影响。用每个观测变量反映隐含变量的程度的高低也用数值来表示，被称为因子载荷系数 (直接要素用εij表示，间接要素用ηij)。多数观测变量的荷载系数较高，这说明观测变量能够反映出各自对应的隐含变量。

图1 有效性评价预设框图

3 研究方法与数据分析

3.1 数学工具与数据获取

基于18个指标设置了一套调查问卷，该问卷采取李克特等级量表［13］，分值为 5到1。为确保数据准确性，调查选定信息、农业、资源环境等领域的25个培训班的477位学员进行了抽样调查。整个调研中发放调查问卷477份，收回477份，在剔除掉无效问卷 (一个选项或者多个选项未作回答的问卷)后，得到有效问卷392份。

如上文所述，在18个观测变量之间会存在不同程度多重相关性。考虑到这一点，本文采用一种基于在多因变量与多自变量的因果建模方法-偏最小二乘法进行参数估计［14］。该方法采用主成分分析和多元回归的新型迭代估计相结合，能够有效克服变量相关性，许多效度模型基于该方法都展示出很好的效果［15－16］。

3.2 信度分析

首先考察学员样本，从问卷反映的学员基本资料可以看出:接受问卷调查的学员中男性女性比接近2∶1，科研技术人员和政府科技官员比例达到78%;被调查学员的受教育程度主要集中为本科及以上学历。描述性分析得到的结果与近年来受援国学员的特征基本吻合，能够说明此次样本结构的合理性。

问卷的信度是测评问卷中设置的问卷指标反映出学员评价的可靠程度。目前，学术界针对此类满意度测评，主要是以Cronbachα信度系数法来检验其量表的可靠性。本研究使用SPSS统计软件对调研所获得数据进行信度检验［17］，获得的总量表的Cronbachα系数为0.835，一般以为，α系数处于0.8～0.9之间，表明数据可靠性非常高，该结果说明了这一点。

3.3 数据处理结果与验证

将图1的模型及其剪切模型代入PLS［18］软件进行数据分析。所谓剪切模型是指图1的模型去掉至少一条连接线后的结构模型。对全结构模型及各种剪切模型数据进行处理，设定数据期望为0，方差为1.0，最大迭代次数300次，收敛判标为10－5，初始化权重为1.0。运算得到隐含变量路径系数 (Path Coefficients)和观测变量或称外部因子的荷载系数 (Outer Loadings)、外部因子的外部权重 (Outer Weights)分别见表2(括号中为外部因子的外部权重)。取有效路径系数最多的一组剪切模型作为输出模型，结果如图2所示。

表1 学员样本的描述性信息

图2 实际效度模型

通过SmartPLS2.0运行得到输出模型各个隐含 变量的各项拟合指标 (Quality Criteria)，见表3。表3中，通过比较隐含变量的平均提取方差(AVE)来判断隐含变量从测量变量处获得的解释信息的能力大小，一般认为AVE大于0.45时是合理的，表中隐含变量的AVE均大于0.45，说明这几个隐含变量从对应的测量变量中获得了程度较高的变异信息。组合信度系数 (Composite Reliability)作为测量工具的信度系数，表中系数均大于或等于0.4，表示各隐含变量对应测量值一致性程度高，表明使用的测量工具较为可靠;所有隐含变量的Cronbachα均值都超过0.60，说明该模型具有良好的信度;R平方值表示效度被其他隐含变量解释的程度，表中可以看出其他隐含变量对改变量的解释能力达到0.6999，这说明该评价模型是合理科学的。

表2 隐含变量路径系数和观测变量荷载系数简表

表3 隐含变量各项拟合指标

以SmartPLS2.0分析软件中的Bootstrapping方法为基础，对模型中的隐含变量路径系数(Path Coefficients)、外部模型权重 (Outer Weight)与因子载荷系数 (Outer Loadings)和模型总体效应 (Total Effects)的显著性进行检验。检验结果表明，原始样本 (Original Sample)值与重新选样本 (ReSample Mean)值在 Bootstrapping检验中是相差无几的，这说明 Bootstrapping检验从原始样本中不断抽取的新样本集合与原始样本数据所携带的信息是一致的。结果中，所有外部模型权重与因子载荷系数的 T-Statistics数值普遍大于2.0，证明两者都是显著的，整体模型的显著性效果良好。

4 研究结果

(1)整体效度与技术目标实现期望、教学安排、实践环节设置和接待工作具有正相关性。培训的技术内容，课程的质量，乃至语言能力和授课技巧，实践环节的安排都对培训项目的有效性产生重要的影响。项目承办单位的技术目标实现期望与教学、实践和参观访问直接相关，且相关度较高，直接反映了适用技术在援外技术培训班中的重要作用。

(2)承办机构能力反映在教学安排、接待等工作之中，是实现项目有效性的基础和前提。培训机构的资质及管理人员的素质是完成短期援外培训项目的关键。学员来自不同的国家，具有不同的文化背景，工作在第一线的教学、实践和教辅人员是否具有有效的技术沟通能力，显然会影响到各个培训环节。

(3)教学和实践环节的实施直接关系培训的效度。在本模型中，二者与有效性的相关度均能达到0.2以上。不难理解，一个良好的培训项目一定要保证培训内容的针对性，能满足学员对知识能力的需求。同时，培训的目标要明确，并且要将此目标有效地传递给学员，教学和实践环节正是实现这个有效传递的必要保证。

(4)做好接待工作对有效性具有重要的支撑作用。尽管接待工作不直接体现技术培训班的目标，但对评价技术培训班的整体有效性具有重要的支撑作用，接待工作与项目有效性的相关系数甚至达到0.4以上。此外在模型中也体现出，组织适当的文化参观是做好接待工作的有效组成部分。不难理解，基于学员的宗教信仰、家庭状况、生活习性、饮食习惯等的差异做好接待安排，可以最大限度地减少学员在生活方面的压力和陌生感，最大限度地集中精力，专注于个人技术能力的提升。

5 结论

对外短期科技人力资源合作开发项目是中国科技援外项目的主要形式之一，目前尚缺乏对培训效果的实证研究。提出了对外短期科技人力资源合作开发项目效度模型，对447位在中国参加培训的发展中国家学员作问卷调查，并使用偏最小二乘法分析对外短期科技人力资源合作开发项目有效性的影响因素。结果表明:整体有效性与技术目标实现期望、教学安排、实践环节设置具有直接正相关性。承办机构能力反映在教学安排、接待等工作之中，是实现项目有效性的基础和前提，教学和实践环节的实施直接关系培训的效度，尽管接待工作不直接体现技术培训班的目标，但对评价技术培训班的整体有效性具有重要的支撑作用。为进一步提升援外培训效度，应努力加强对受援国技术性需求的调研，提高培训针对性，重视基于不同的技术领域特点课程设置和实践环节设置，提高交叉文化背景下的项目管理团队执行和管理能力。

［1］Barry B.Hughesa，Peter D.Johnston.Sustainable futures:policies for global development［J］．Futures，2005，(37):813 －831.

［2］科学技术部国际合作司.中国科学技术部国际科技合作网培训专题页面2006—2012年培训计划［EB/OL］．访问网址:http://www.cistc.gov.cn.2012－12－20.

［3］D.L.Kirkpatrick，J.D.Kirkpatrick.Evaluating Training Programs(3rd ed.)［M］．San Francisco，CA:Berrett-Koehler Publishers.2006.

［4］范柏乃，阮连法.干部教育培训绩效的评估指标、影响因素及优化路径研究［M］．杭州:浙江大学出版社.2012.

［5］Earl D.Honeycutt Jr.，Kiran Karande，Ashraf Attia，Steven D.Maurer.An utility based framework for evaluating the financial impact of sales force training programs［J］．The Journal of Personal Selling and Sales Management，2011.21(3):229 － 238.

［6］CIDA.The Logical Framework:Making IT Resultsoriented［M］．Toronto:Performance Review Branch，1997.

［7］OECD.DAC Guidelines and Reference Series，Quality Standards for Development Evaluation［EB/OL］．访问网址 http://www.oecd.org.2012－12－29.

［8］严启发，林罡.世界官方发展援助(ODA)比较研究［J］．世界经济研究.2006，(5):1－7.

［9］Pinto．JK．，Mantel S.J.Jr.．The causes of project failure［J］．IEEE Transactions on Engineering Management.1990，(37):269 －276.

［10］Diallo A．，Thuillier D．.The success dimensions of international development projects:the perspectives of African project coordinators［J］．International Journal of Project Management，2004，(22):19 －31.

［11］韩纪琴，陆华良，张红生.中国政府教育援外短期培训对学员个人能力发展影响研究［J］．东南大学学报(哲学社会科学版)，2011，13(4):122 －125.

［12］韩纪琴，陆华良，程伟华.中国政府教育援外短期培训项目有效性分析［J］．中国矿业大学学报(社会科学版)，2010，(1):83－88.

［13］Elaine Allen，Christopher Seaman.Likert scales and data analyses［J］．Quality Progress.2007，(7)，64 －65.

［14］Svante Wold，Michael Sjstrm，Lennart Eriksson.PLS-regression:a basic tool of chemometrics［J］．Chemometrics and Intelligent Laboratory Systems.2011，58，(2):109 －130.

［15］王惠文，付凌晖.PLS路径模型在建立综合评价指数中的应用［J］．系统工程理论与实践，2004，(10):80－85.

［16］Claes M．，Cassel P．H．，Anders H．W．.On measurement of intangible asset:A study of robustnessof partial least squares［J］．Total Quality Management＆ Business Excellence，2000，11(7):897 －907.

［17］Michel Tenenhaus，Vincenzo Esposito Vinzia，Yves-Marie Chatelin，Carlo Lauro.PLS pathmodeling［J］．Computational Statistics and Data Analysis，2005，48(1):159 －205.

［18］Ringle.Smartpls［EB/OL］．访问网址:http://www.smartpls.de/.2012－12－11.