医师考核360度评价法的可靠性、有效性及可行性的系统研究

张健　吴华章



医师考核360度评价法的可靠性、有效性及可行性的系统研究

张健1吴华章2

【摘要】目的 研究医师绩效考核360度评价法的可靠性、普遍性、有效性及可行性。方法 检索EMBASE、MEDLINE及PubMed数据库中经同行评议过的、1975～2013年12月发表的英文文献。检索标准：使用360度评价法工具考核医师绩效；有关360度评价法可靠性、概化系数和建构效度的报道证据；文献中涉及收集反馈数据过程可行性的信息。结果 （1）入选43篇同行评议研究，其中家庭医学、儿科与内科专业各5篇，外科4篇，妇产科3篇，精神病学3篇，麻醉2篇以及急救医学、实验病理、组织病理、放射学、运动医学和康复专业各1篇。（2）38篇（91%）研究由医生的医疗同行完成360度评价法调查问卷；32篇（74%）研究由医生的非医生同事完成，23篇（53%）研究由患者和（或）患者家属完成，22篇（51%）研究由自我评价完成。（3）自我评价项目4～57条，医疗同行评价项目4～60条，同事评价项目4～60条，患者问卷评价项目3～49条。（4）26篇（62%）报道了360度评价法工具的可靠性，360度评价法工具的α应该≥0．90，医疗同行0．89～0．99，同事0．91～0．96，患者0．93～0．99。17篇（40%）描述了普遍性系数，医疗同行评价工具的普遍性系数为0．61～0．88，同事评价工具为0．56～0．87，患者评价工具为0．65～0．85。（5）至少由8名医疗同行、8名同事和25名患者评价才能达到可靠性系数≥0．90，普遍性系数≥0．80的要求。结论 应用360度评价法考核医师绩效具有较高的可靠性、有效性及可行性。

【关键词】360度评价法；可靠性；可行性；有效性；系统综述

医师绩效考核评价对于提高患者医疗安全、医师专业技能及人际沟通技巧具有重要意义。目前，考核医师绩效已经从单一的评价临床专业技能发展到对于医师各方面能力的全方位评价。360度评价法是工作机构评价员工专业技能、行为和态度的重要方法。1970年代360度评价法最初是被医疗机构用来考核住院医师，目前360度评价法已经成为北美和欧洲的医疗机构考核各专业医疗技术人员的重要工具。为了帮助医疗机构考核医师的临床实践和患者医疗安全，1990年代后期，加拿大最先引进了一种可行的360度评价法考核医师绩效。通常，这种评价方法是设计一种调查问卷用来收集各方调查对象对于所调查医师的评价反应及医师的自我评价。在360度评价法中，被测评医师可能要完成一项自我评价项目，并会获得医疗同事、上级主管、心理医师、护师、药师以及他们自己患者等的反馈评价。不同的调查对象对于被测评医师所关注的焦点是不同的，比如患者不太可能获知一名医师的临床经验如何，因此，这种评价法方法综合考虑了多方面的因素影响，避免了单一考核主体测评所带来的片面性，实现全方位测评[1]。目前，360度评价法主要被用于考核医师的临床专业技能、沟通能力、与其他医疗技术人员的合作能力、职业道德能力及患者管理能力[2]。本系统研究的目的是探索不同类型的360度评价法工具在考核医师绩效过程的可靠性、普遍性、有效性及可行性。

1　资料与方法

1.1检索策略

选择MEDLINE、PubMed、EMBASE等数据库中收录的1975～2013年12月发表的经同行评议过的英文文献。使用检索词“multisource-feedback”、“360 degree evaluation”以限定360度评价法相关研究，并与其他检索词（assessment of physician competencies/assessment of physician professionalism/assessment of physician in practice）合并以获取医师考核相关的研究，并对所检索到的文献中涉及的相关参考文献进行筛选。

1.2纳入与排除标准

纳入标准：（1）如果研究中应用了一个或多个360度评价法工具（比如自我评价、单位同事或患者评价反馈）以考核医生的综合绩效；（2）研究中描述了360度评价法工具或其设计方法；（3）在收集反馈数据过程中报道了有关360度评价法工具可靠性、普遍性和（或）可行性的心理学证据；（4）发表在同行评议的英文期刊。排除标准：（1）应用360度评价法工具考核医学生或非临床医生专业人员（如护士、药剂师、检验科医师等）；（2）无法提供有关360度评价法心理测验学证据（可靠性和有效性）的足够信息。

1.3数据评估方法

严格按照文献检索策略及纳入与排除标准进行筛检，每篇文献都要经过两名人员的独立评估与编码，首先，评估文献全文前，先筛选评估文献的题目和摘要。文献筛选完毕后，提取入选文献信息：360度评价法工具名称（如无特定名称，则使用一般名称“360度评价法”或者“多维度反馈法”），参评医师专业，参加者数量，评估类型，360度评价法评估的结构或因素，可行性问题，反馈的比例，可靠性/普遍性/组内相关系数，结构和标准相关的有效性分析。

2　结果

2.1入选文献基本情况

通过数据库共检索到1 062篇文献，然后审核文献题目，入选970篇，进一步审核文献摘要，入选383篇，进一步审核文献全文，入选96篇，排除53篇不合格文献，最终入选43篇同行评议研究符合本研究标准。

2.2应用360度评价法被考核医生的专业情况

家庭医学专业（n=5），儿科专业（n=5），内科专业（n=5），外科专业（n=4），妇产科专业（n=3），精神病学专业（n=3），麻醉专业（n=2），急救医学专业（n=1），实验病理专业（n=1），组织病理专业（n=1），放射专业（n=1），运动医学专业（n=1）及康复专业（n=1）。

2.3调查问卷的评估者及评估项目长度

43篇研究中，38篇（91%）研究由医生的医疗同行完成360度评价法调查问卷；32篇（74%）研究由医生的非医生同事完成，23篇（53%）研究由患者和（或）患者家属完成，22篇（51%）研究由自我评价完成。360度评价法调查问卷的涉及项目多少随评估者不同，其中自我评价项目4～57条，医疗同行评价项目4～60条，同事评价项目4～60条，患者问卷评价项目3～49条。医生评估审查研究对评估者应用了多种360度评价法工具，患者评价项目11～40条，同事评价项目12～22条，医疗同行评价项目22～39条，自我评价项目21～39条。其中2篇研究中医学生也被纳入评估者行列。

2.4评价指标

360度评价法可以评价的项目包括：职业道德、临床技能、沟通能力、管理能力及人际关系。职业道德又包括一系列社会心理学技能指标，职业责任感，人文素养，同情心，职业态度及职业发展观等。临床技能包括临床护理，良好的临床实践能力，患者护理，安全实践能力，临床技能，临床知识，批判性思维，诊断及复杂问题的处理能力。沟通能力、管理能力及人际关系项目同样也包括一系列评价指标。

2.5评价过程及可行性情况

每篇研究均描述了评价过程的一般情况信息和（或）可行性情况。研究者均认为，当360度评价法工具用于患者、同事及医疗同行并结合医生自我评价时是有效的。一些研究者认为，当涉及医生的关键绩效指标考核时，反馈意见有可能会在实际应用时改变。也有研究认为，应用360度评价法工具考核每名医生的估计成本是可行的，但是建议每五年对医生进行一次重估。有一篇研究对家庭医生进行了考核，并在5年后又进行了一次重评，以此来评估考核指标的稳定性。在一些研究中，应用360度评价法工具考核多专业医生的过程是可行而易接受的，比如儿科专业、外科专业、急救专业、家庭医生专业、精神病学专业。

2.6360度评价法工具的可靠性及普遍性

26篇（62%）研究报道了360度评价法工具的可靠性。可靠性系数一般用α表示，反映了各指标条目间的内部一致性。360度评价法工具的α应该≥0.90，医疗同行0.89～0.99，同事0.91～0.96，患者0.93～0.99。只有一篇研究将医疗同行和同事合并，可靠性系统α=0.98。其中5篇研究计算了标准误差。17篇（40%）研究描述了普遍性系数（Ep2）。医疗同行评价工具的普遍性系数为0.61～0.88，同事评价工具为0.56～0.87，患者评价工具为0.65～0.85。大多数评价工具至少由8名医疗同行、8名同事和25名患者评价才能得出可靠性系数≥0.90，普遍性系数≥0.80的结果。

3　讨论

360度评价法是目前广受国内外企业界高度关注的个人能力和企业绩效评价方法,它以心理测量学的真分数理论为基础,以促进个人发展、重视信息反馈、讲求实事求是和全方位、多角度观察问题为核心理念,有特定的适用范围和实施程序。一篇系统综述研究表明，应用360度评价法对各专业医生进行考核是可行的，尤其应用自我评价、医疗同行评价、同事评价和患者评价时。大多数研究描述了应用360度评价法工具考核医生绩效时的可靠性、普遍性及有效性情况，并且这项评价法已经在加拿大和英国应用了10余年。还有一些来自美国的360度评价法工具应用研究，每项研究均将重点聚焦在一项新的360度评价法工具开发或现存360度评价法工具的修改版及指南评估方面。

一般来说，应用360度评价法工具考核医生绩效至少应招募8名医疗同行、8名同事和25名患者，结果才能达到可靠性系数≥0.90，普遍性系数≥0.80的要求。尽管有一系列的评价项目可以考核医生，但是360度评价法工具中最关键的5项是职业道德、临床技能、沟通能力、管理能力及人际关系。大多数研究提供了360度评价法工具的建构效度。一般来说，患者评价医生倾向于更积极的评价，其次为同事，住院医师和教学顾问，而Lodckyer 等[3]研究发现，在一所国际性医学院中，自我评价的分数要比其他人评价的分数更高。虽然360度评价法调查问卷的建构效度在一定合理区间内，一些研究指出，医生考核的评价项目得分在医生不同专业间存在不同，比如在不同医生专业间，方差比例与患者管理、临床评价、沟通能力和（或）职业发展有关[4-7]。Lockyer JM和Violato C[5]研究发现，应用360度评价法在医疗同行间进行问卷调查，在患者管理、临床评价、沟通能力和职业发展这四项指标得分中，内科专业方差为73.4%，精神病学专业为70%，而儿科专业仅为67.6%。

尽管本系统研究非常严格，然而仍存在一些局限性。首先，应用360度评价法工具和评价项目的数量会存在不均质性问题，而且单独应用一项360度评价法工具考核医生是困难的，不论这项工具多有效。其次，应用360度评价法考核医生的可行性主要依赖于所报告的评估反馈率比例，而不是医生考核所涉及的成本和管理方面的问题。第三，由于不同文献报告的可靠性和有效性指标的不同，很难将不同报告的指标进行统一。最后，本研究仅限于英文的同行评议研究文献，并不能全面反映360度评价法的实际应用情况。

综上所述，应用360度评价法工具对医生绩效进行考核是可靠、有效而可行的，360度评价法将继续在医生绩效考核中发挥重要作用。而目前有关医生绩效考核的理论、方法很多，所考核内容的侧重点各有不同，而尽快制定出科学、实用、适用于各级不同类型医院的绩效评估指标体系，已成为医院科学化管理的必然趋势[8]。

参考文献

[1] Sala F，Dwight S． Predicting executive performance with multi-rater surveys： Whom you ask makes a difference[J]． J Consult Psych Res Pract，2002（54）：166-172．

[2]Fidler H， Lockyer J， Violato C． Changing physicians' practices： The effect of individual feedback[J]． Acad Med，1999，74（6）：702-714．

[3] Lockyer J， Blackmore D， Fidler H， et al． A study of multi-source feedback system for international medical graduates holding defined licences[J]． Med Educ，2006，40（4）：340-347．

[4]Violato C， Lockyer J． Self and peer assessment of pediatricians，psychiatrists and medicine specialists： Implications for self-directed learning[J]． Adv Health Sci Educ Theory Pract，2006，11（3）：235-244．

[5]Lockyer JM， Violato C． An examination of the appropriateness of using a common peer assessment instrument to assess physician skills across specialties[J]． Acad Med，2004，79（10 suppl）：S5-S8．

[6]Archer J， McGraw M， Davies H． Assuring validity of multisource feedback in a national programme[J]． Postgrad Med J，2010，86 （1019）：526-531．

[7]Ramsey PG， Wenrich MD， Carline JD， et al． Use of peer ratings to evaluate physician performance[J]． JAMA，1993，269（13）：1655-1660．

[8]金新政，籍国章． 医院经营管理绩效考核方法的研究[J]． 中国医院统计，2004，11（3）：258-262．

A Systematic Review of the Reliability, Validity and Feasibility of 360-degree Evaluation Physician Assessment

ZHANG Jian1WU Huazhang2, 1 Stomatology College of Chinese Medical University, Shenyang 110002, China, 2 Chinese Medical University, Shenyang 110122, China

[Abstract]Objective To investigate the reliability, validity, and feasibility of 360-degree evaluation for the assessment of physicians. Methods We searched the EMBASE, MEDLINE and PubMed databases for peerreviewed, English-language articles published from 1975 to December 2013. Studies inclusion criteria was following: used 360-degree evaluation instruments to assess physician performance; reported psychometric evidence of the 360-degree evaluation instruments in the form of reliability, coefficients, and construct or criterion-related validity; and information regarding the feasibility of the feedback data. Results (1) A total of 43 articles were included, the specialties as following: family medicine(n=5), pediatrics(n=5), internal medicine(n=5), surgery(n=4),obstetricsgynecology(n=3), psychiatry(n=3), anesthesia(n=2), and emergency medicine(n=1), pathology(n=1), histopathology(n=1), radiology(n=1). (2) A total of 38(91%) studies were completed by the physicians’peers or medical colleagues, and nonphysician coworkers(n=32,74%), patients(n=23,53%), and self-assessments(n=22,51%). (3) The number of items was 4 to 57 items for self-assessment, 4 to 60 items for peers, 3 to 49 items for patient questionnaires. (4) The reliability of the 360-degree evaluation instruments was reported in 26(62%) of the studies. The instruments should have anα≥0.90, and medical colleague(0.89 to 0.99), coworker (0.91 to 0.96), and patient(0.93 to 0.99). The generalizability coeficients were derived in 17 studies(40%), and the coefficients for the medical colleague instrument ranged from 0.61 to 0.88, 0.56 to 0.87 for the coworker instrument, and 0.65 to 0.85 for patient instrument. (5) The assessment of physician performance was based on the completion of the 360-degree evaluation instruments by 8 medical colleagues, 8 coworkers, and 25 patients to achieve α≥0.90 and coeficients≥0.80, respectively. Conclusion The 360-degree evaluation as a method to assess physicians has been shown to have high reliability, validity, and feasibility.

[Key words]360-degree evaluation, Reliability, Validity, Feasibility, Systematic review

通讯作者：张健，E-mail：99982025@qq．com

doi：10．3969/j．issn．1674-9308．2016．03．001

【文章编号】1674-9308（2016）03-0001-03

【中图分类号】R197

【文献标识码】A

作者单位：1 110002沈阳，中国医科大学口腔医学院；2 110122沈阳，中国医科大学人文社科学院