社会工作客观结构式临床评估在实务教学中有效性的研究

刘华丽 薄 艾 卢又华

（1.华东理工大学 社会工作系，上海 200237；2.美国纽约大学 社会工作学院）

一、客观结构式临床评估法（OSCE）

自二战以来, 所谓责信度（accountability）革命是对所有人类服务行业影响最大的因素之一。①朱晨海、曾群：《结果导向的社会工作评估指标体系建构研究——以都江堰市城北馨居灾后重建服务为例》，《西北师大学报（社会科学版）》2009年第3期。社会工作领域亦然，需要接受对其服务品质与成果的评估。而对于社会工作教育来说,考核与评估学生的实务能力更是必不可少的一环。美国社会工作教育协会曾于2008年在其“教育政策及认证标准”中强调社会工作的核心能力为“由知识、价值观和技巧组成的可测量的实务行为”。如何培养有资质的社工学生使之成为对实务工作有胜任能力的社会工作者，一直成为评估的焦点。②Council on Social Work Education.（2008）.Educational policy and accreditation standards.Retrieved from http：//www.cswe.org/Accreditation/41865.aspx.

目前，西方多国医学院校使用客观结构式临床评估法（Objective Structured Clinical Examination，简称OSCE）来评估医学生的临床技能。OSCE 也被译为客观临床能力考试或临床实际操作能力考试。其应用最早可追溯于1963年，美国南加州大学的Dr.Barrow 使用标准化病人的方法训练一位演员扮演多发性硬化症病人。①王大民等：《客观结构式临床测验》，台湾爱思唯尔有限公司2012年版，第11页。Harden 等在1975年首度使用OSCE 并将其标准化，使之成为以实证为主，模拟“直接服务”真实情境，评估被测试对象临床能力的有效工具（OSCE），同时也是一种较全面的评估方法。②Harden，R.M.，Stevenson，M.，Downie，W.W.＆Wilson，G.M.“Assessment of clinical competence using objective structured examination”，British Medical Journal，vol.1，no.5955，1975，PP.447-451.

这种方法旨在通过标准化观察来评估测试者的临床知识、技能、行为及态度。③Van Der Vleuten，C.P.M.，＆Schuwirth L.W.T.Assessing professional competence:from methods to programmes.Medical Education，2005，39，PP.309-317.通常需要先撰写详细的剧本，并邀请经过专门训练的演员来扮演案主；用客观的“量表”来观察和评估医学生与模拟病人的互动及诊断；此外，还要观看现场录像并进行会后团体讨论及汇报。④Harden，R.M.，Stevenson，M.，Downie，W.W.＆Wilson，G.M.“Assessment of clinical competence using objective structured examination”，British Medical Journal，vol.1，no.5955，1975，PP.447-451.⑤Harden， R.M.， ＆ Gleeson， F.A.Assessment of clinical competence using an objective structured clinical examination（OSCE）.Medical Education，1979，13:41-54.⑥Harden，R.M.What is an OSCE？Medical Teacher，1988，10（1）：9-22.OSCE 的训练为学生们提供了访谈标准化病人，并且得到同伴、模拟病人及督导反馈的机会。

除普通医学及护理领域，OSCE 也被调整并应用于其他领域，例如精神科、牙科、物理治疗及职业治疗。随后，更扩展到临床心理学、营养学、法律系以及其他学科中被应用。

二、社会工作客观结构式临床评估法（SW-OSCE）及临床能力行为清单（CCBC）

国外的社会工作教育也已引用了类似OSCE的方法来让学生访谈标准化案主。Carillo 和Thyser 曾经用模拟案主访谈的方法，让陌生评委根据录像来评估MSW 学生对于引导、提问与澄清、鼓励与表达同理心三大类访谈技巧的应用。⑦Carrillo，D.F.，＆Thyer，B.A.Advanced standing and two-year program MSW students：An empirical investigation of foundation interviewing skills.Journal of Social Work Education，1994，30（3）:377-387.Badger 和MacNeil 使用标准化案主给社工学生练习评估技巧的机会。⑧Badger，L.W.，＆ MacNeil，G.Standardized clients in the classroom：A novel instructional technique for social work educators.Research on Social Work Practice，2002，12（3）：364-374.但与医学领域测试之不同在于社会工作更具文化要素，亦有其独特的社会、心理等专业视角。因此，在执行与使用SWOSCE 之前，需要对源出医学领域的OSCE 评估量表加以改良。Lu 等人曾根据社工教育和社工专业的独有特质，涵括社工的知识体系、价值观念、服务技能及实务工作的服务过程，制定了一份临床能力行为清单（Clinical Competence -based Behavioral Checklist），简称CCBC。⑨Lu，Y.E.，Ain，E.，Chamorro，C.，Chang，C，Feng，J.Y.，Fong，R.，...Feng，J.Y.A new methodology for assessing social work practice：The adaptation of the objective structured clinical evaluation（SW-OSCE）.Social Work Education，30（2），170-185.doi：10.1080/02615479.2011.540385.

此量表的制订，建立在社会工作理论、观念和实证资料的基础上。首先经由“文献整理”的结果，制定了一份有关社工专业核心能力的调查问卷；之后，向相关人员发放问卷，并选出有代表性的人物加以焦点访谈，最终根据定量、定性调查的结果概括出10 项专业能力，即价值观（角色与道德）、专业知识、文化同理心能力、访谈技巧、干预技巧、赋权视角、批判性思维、专业的“自我应用”、评估能力、有关案主保护的法条。⑩Lu，Y.E.，Medina，C.，＆Kwong，M.H.“Assessing clinical competency in field education”，in Social Workers’Competency Assessment and Social Work Education Programs，eds Y.Feng＆Y.Lu，National University Press，Taipei，Taiwan.2004.

为增强SW-OSCE 的执行效率，又把10 项专业能力分类简化为7 项。后来又增加了“自我觉察能力”的概念和项目，用以评估学生对自我表现的洞察力，最终形成以9 分制的“克特量表分类法”作下列5 项分类：访谈技巧胜任能力、文化胜任能力、专业知识与干预策略胜任能力、评估胜任能力、自我觉察能力；并且添加一项“整体评估”栏。根据以往研究，“整体评估”一栏比单项评估更具备信度和效度，同时也比单项评估所测量的能力技巧更加全面。①Regehr，G.，Freeman，R.，Hodges，B.＆Russell，L.（1999）“Assessing the generalizability of OSCE measure across continent domains”，Academic Medicine，vol.74，no.12，PP.1320-1322.如此构建出适合社工专业临床实务能力评估的量表，其细则如表1所示。

表1 社工临床/实务能力清单（CCBC Checklist for SW-OSCE）评分标准及意见

迄今，该量表已在在美国、以色列、中国台湾等地作过尝试，能较全面而客观地评估了测验对象的实务能力，并且也能运用于高校与社工机构组织的相关教学与评估中，是一种有效的工具与方法。

我国的社会工作教育及实务社会工作的评估中也缺乏一系列标准化、客观的评估工具来有效地评估学生及社会工作者的实务能力。为此，笔者引用了Eve.Lu 的SW-OSCE 方法，结合了实际的教学情况，来探索并试验这一方法在我国社会工作实务教育中应用的可行性及有效性。

三、研究方法

目前，研究者在上海市华东理工大学临床实务课程的教学中尝试运用社会工作客观结构式临床评估法，帮助学生突破其专业学习中的盲点，以为学生进入真正的实务领域打下良好基础。以下以一次社会工作专业硕士（MSW）的实务课程为例，加以说明。

该课程全称为社会工作技巧实验室，为MSW一年级必修课。SW-OSCE 测试为该课程期末考核中的一项测试，此次测试旨在给学生们提供一个真实且标准化的场景，以检核、评估其临床的实务能力，并促进学生的反思与学习。

1.所用量表

如上所述，该研究采用了Lu 等人制定的CCBC 量表。该量表为九分制科特量表，1 分表示最差的表现，9 分则表示最好的表现。 六项评分里面的每一项都在1 分到9 分之间，每项都为单独评分，评分结果不累加。

2.案例制定

不同于SW-OSCE 的方法，考虑到课堂的资源有限，我们并没有雇用专业演员来扮演模拟案主。教师事先从高阶的社会工作硕士生中，遴选了两位坦诚、愿意体验并学习改变，并有较好专业素养的学生作为模拟案主。在征询两位模拟案主意见后，由她们撰写了自身较熟识能驾驭并愿意去探索的案例，再由教师考量评估的需要及测试者的能力等因素，与两位模拟案主沟通、修改，直至定稿。一方面，由于是模拟案主自己撰写的案例，并蕴含了她们自身想探讨的主题，案例的熟识性与真实性得到必要的保证。另一方面，模拟案主需要根据OSCE 的原则依据预设的架构模拟案主规范化的症状与背景，使得每位测试者都得到客观且标准化的回应。但这就对模拟案主的扮演与脚本的拟定有较高的要求，合适到位的脚本则能起到较好的临床指导效果与规范的作用。

以下为该课程中运用的四个案例之简介：

案例1：小蕾，女，25 岁，在恋爱中缺乏安全感和信任感，对自己的单亲家庭背景感到自卑，有意向男友父母隐瞒自己的家庭情况，担心自己的家庭情况不被对方父母接纳，同时顾虑独自在老家生活的母亲。

案例2：小苏，女，22 岁，大学在读，成绩优异，但渴望成功带给她很大压力，她无法接受自己做得不够好，同时容易嫉妒他人。最近与同课题组同学意见不一，并且自己的意见没得到老师的支持，信心大受打击，心里纠结想退出课题组却又怕别人看不起。

案例3：萌萌，女，23 岁，自己是初恋，随着感情的加深，越来越介意男友曾有过恋爱经历，喜欢过别的女人，经常以此事来折磨男友，用过激的言语来“攻击”男友。自己也觉得不好，想改变。

案例4：小朱，女，24 岁，从小缺乏安全感，常常怀疑自己得了重病，还对生活中的可能发生的意外特别敏感，有明显的“死亡恐惧”，并因此焦虑越来越严重。最近由于室外空气变差不敢出门，以防患上呼吸系统疾病。

3.SW-OSCE 实施过程

整个项目的实施包括三个主要阶段。首先是准备阶段，教师选定模拟案主，与之讨论并设定案例情境的详细脚本，同时对她们进行了SWOSCE 方法的相应培训，让她们了解该方法的运作过程与量表的细则，以及角色模拟的注意事项。

第二阶段则是角色扮演，在SW-OSCE（执行）当天，学生访谈者在教室外等候。教师安排学生助理提前5 分钟分发个案简介给参与评估的学生，个案简介简要介绍了案例情节与面谈的发展阶段及本次面谈的任务。当面谈时间到了，学生们依次与这些模拟案主进行一对一的现场实时面谈，每次面谈历时约10 分钟。整个过程全程加以录像。每个访谈者结束后写一份简单的自我评估报告。

第三阶段即是评估。评估者由模拟案主、教师助理、教师及MSW 学生观察者组成。其中，教师评估者为一名该课程任课老师及另外一名社会工作实务课程的任课教师，教师助理为社会工作在读博士生，也是唯一一位不直接与学生接触的局外者。任课教师在角色扮演前发放临床能力行为清单给所有评估者，并加以解释与讨论。这些评估者观摩录像加以评分，并与被测试的学生一起分享、讨论角色扮演时的体会、实务知识与技巧及经验反思。

所以，整个测试的过程其实亦是一个同步的培训与指导学生的过程，学生们在这种仿真的情境之中得到了身临其境的操练，而同一个案例在4-5 名学生中会重复加以运用，回放的过程则能帮助学生们通过比较与他人评价看到多元的处理方式，并反省自身的干预能力与文化敏感性，从而获得深刻的体验与深入的学习。

4.研究样本

被测试对象为该MSW 班级20 名学生，其中1 名学生测试的内容未有效摄制，故不计入本次研究内。其他19 名参与测试者的背景资料统计如下：

·年龄：20-26 岁（平均数=23，中位数=23）

·性别：16 名女性，3 名男性

·13 名同学（68%）本科专业为社会工作

·17 名同学（89%）没有工作经验

其中，CCBC 量表数据是用方差检验的统计方法进行分析的。参与评估的成员则包括2 名教师，1 名教师助理，2 名模拟案主（每人各扮演两位），及10 名MSW 学生，样本总数为265，模拟案主（N=19），教师（N=38），教师助理（N=19），及MSW 学生同伴（N=190）。

5.数据分析

本次研究采用定量和定性相结合的方法对整个研究进行相应分析，定量研究使用了SPSS 22.0对CCBC 量表数据进行方差分析，定性研究则包括对现场测试录像与事后对参与学生访谈的分析。访谈学生的内容涉及学生对于SOWK-OSCE作为考核与训练方式的看法及其与传统方式的比较，还有对量表与本次测试过程的反馈意见等。

本研究涉及的样本含量太小以致于无法进行验证性因素分析，因此研究者通过对访谈录像的定性分析来评估清单的效度，即用引导式内容分析方法对每阶段的录像分析以验证该研究的效度。该项评估由本课程任课教师和教师助理进行，评估者观看录像，并结合CCBC 量表，用定性研究传统内容分析方法对转录的文稿进行编码和分类，概括出细项、分组和主题，并加以分析。

四、数据分析结果

1.定量分析结果

CCBC 的内部一致性信度是用克隆巴赫系数（Cronbach Alpha Coefficient）评估的，置信区间为95%，具体数值可见表2。样本中不同案例的克隆巴赫系数系数为0.90-0.96，表明该量表具有较好的信度。

表2 ANOVA FOR四个案例

笔者运用了单因子方差分析检测四个不同案例的难度是否相似。四个案例中，除“文化洞察能力”外，访谈技巧、知识与干预能力、评估能力、自我觉察能力及整体评估的平均分数呈显著差异（具体数值见表2）。其中案例2、案例3、案例4 之间的差异都较小，在0.04 至0.63 之间。然而案例1 与另外三个案例的差异最高则达到了1.41 分，可见案例1 在难度上可能会稍高于其他案例。所以在案例设计的过程中，应该尽量使用难度相似的案例，从而更加公平地比较学生之间的实务表现。在最后一项整体评估中，最低分案例1 和案例2 相差1.03 分，也可以进一步地说明了案例1较其他案例的难度。四个案例中的“文化洞察能力”不存在差异与案例设计有关。笔者为了降低测试难度，有意将所设定的四个案例都处于相同的年龄层、性别、性取向、民族背景及问题表征，所以并未能测试到访谈者的文化洞察能力。

表3则测量了不同评估者之间的评分差异，运用了单因子方差分析法加以检测，所得数据显示：不同评估者对同一位访谈者的评分平均分虽然略有差异（见表3），但是只有访谈技巧和评估能力两项有显著差异，这说明不同评估者之间对于其他几项能力的评估没有明显的差别。其中，关于访谈技巧，学生同伴和教师之间差异很小（0.06），差异主要存在于教师助理及教师之间（1.1）。关于评估能力，依旧是教师评分最高，和教师助理相差最大（1.05），教师助理和案主的评分差异很小（0.05），学生同伴的评分居中。这两项评估的最高分和最低分只有一分左右的差异，5 分和6 分仍然是在一个等级内的差异，都属于中等偏上的水平。此外，作为信效度最高的“整体评估”一项，不同评估者之间并没有呈现显著差异，说明不同评估者在对访谈者的整体评估方面不存在区别。

表3 不同评估者之间的比较

2.定性分析结果

通过对访谈录像的定性分析，笔者对所有访谈者的访谈技巧、文化洞察能力、知识及干预能力、评估能力、自我觉察能力这五项具体能力的表现有了更进一步的认识，并在下文进行了详细描述。

（1）访谈技巧

每位参与者访谈者都呈现了一项或多项的面谈技巧，包括积极倾听，表达同理心，澄清问题，开放式提问，积极鼓励案主思考及回答问题，也都澄清了此次面谈的目的。但不足的是有近一半的访谈者还是难以避免地提了封闭式问题，比如以“是不是”或“为什么”开头，或者以“对吗”结尾。近一半的访谈者倾向于给案主提供建议，其中有个别访谈者的态度比较强势，急于给出主观建议，给案主带来压迫感；有约四分之一的访谈者能够较全面地收集案主的信息，然后再根据这些信息给出相关建议。

（2）文化洞察能力

访谈者在访谈过程中都能做到尊重案主的背景及其价值观，不批判案主的成长经历及案主当下的问题。但是，有少数访谈者在访谈过程中强加建议及提供假设，间接地违反了社工伦理价值中的“价值中立”及“案主自决”原则。这次访谈的案例设计未能充分地体现出量表设计者对于此项的初衷，这与中美不同的国情有关。美国是个重视多元种族及文化的国家，在美国当社工必须具备对多元文化的理解和胜任能力。我国也具备少数民族多样化，多方言，巨大城乡差距等现状，这些都迫切要求中国的社会工作者也具备理解和尊重不同文化的能力。

（3）知识及干预模式

每位访谈者都对案主的需求及挑战进行了评估，但是对于优势及资源的评估有些欠缺。考虑到模拟面谈为第三次面谈，访谈者更多的侧重了帮助案主制定目标，及利用所学知识技巧帮助案主解决问题。有四分之一的同学都运用了角色扮演及自我披露的通用技巧，还有五分之一同学运用了放松训练与认知行为治疗技术。但运用放松训练的同学对于这一技巧的掌握和运用比较生硬，给人为技巧而技巧之感，难以起到实际的疗效。而运用认知行为治疗技术的学生则停留于理论教育的层面，给人说教之感，缺乏与案主间的互动。从模拟案主后来的反馈中来证明了此点，她们认为访谈者有注重运用技巧解决问题的倾向，反而破坏了模拟社工与案主之间的关系。

（4）评估能力

由于本次模拟面谈设计为第三次面谈，访谈者都会有意识地以询问案主进展为开头，并适当给予案主反馈，鼓励其做出改变。然后再展开新的讨论，大多数同学都可以对案主的整体情况有所涉及，有个别同学态度过于主观，以说教为主，缺乏对案主转变的探索，没有给案主足够的表达机会。另外还有两位同学过于紧张，在访谈过程中出现了空白，也进而阻碍了整体的评估进程。但考虑到面谈的时间限制，多数的访谈者已经充分利用了这短暂的时间来进行最大效度的评估及干预。

（5）自我胜任能力的评估

访谈者普遍觉得自己在模拟访谈中的表现较差，这可能与他们较高的心理预期与想要公众场合获取认可的心态有关。实际上，从老师及模拟案主的反馈中看，他们认为参与访谈的学生都有可圈的亮点，体现了一定的专业素养与学识能力，并且能有助于所服务的对象。

总体来说，参与访谈的MSW 学生们表示这种模拟访谈的测试方法十分有益，不论当时访谈者紧张与否，表现如何，这次模拟访谈都为他们提供了一个真实的个案面谈演练的机会，为他们在后续的实习中接触真正的案主提供了一些经验，是一次宝贵的成长机会。而传统的讲座式教学方法难以让学生触及实务技巧，专业实习的地方也参差不齐，不一定所有学生都有接触个案并获得反馈的机会。这次的经验给予了学生们得到老师、案主及同伴反馈的机会，学生们可以从更多角度学习并思考如何运用实务技巧。学生们认为模拟访谈这种方法如果作为课程教学会比考试更有帮助，这一点符合了Baez①Baez，A.（2005）.Development of an objective structured clinical examination（OSCE）for practicing substance abuse intervention competencies：An application in social work education.Journal of Social Work Practice in the Addictions，5（3），3-20.doi:10.1300/J160v05n03_02.在以往研究中的发现。学生们建议在考核之前增加SW-OSCE方法在课程教学中的应用与训练，这样会使得考试更有效果，也可以减少同学们第一次参加这种考核的紧张和焦虑。

最后，关于CCBC 量表，参与访谈的MSW 学生们认为量表为同学们提供了很好的指导，但是他们当时在使用量表的过程中存在疑虑，认为量表所涉及内容不是非常清楚，内容有些重复。另一名教师亦在访谈中针对CCBC 量表提出了更细致化的改进建议。

五、讨论与结论

总体而言，我们的研究结果表明，SW-OSCE方法弥补了传统纸笔测试方法只检验知识领域，却不能切实评估社会工作者在直接服务中的实际表现的缺点。学生们既可以现场运用所学的知识与技巧去应对不同的情境，又可以直接观察临床和实务过程中理论的应用，从而能够理解社工的临床能力与文化胜任能力是有知识结构和表现上的独特差异。再者，学生可以在网络上反复观看他们的录像，并能在无压力的情况下进行自我分析。而且，这个录像也可以成为重复使用、高效益的教学素材。

但CCBC 量表与大多数心理评估量表一样，有它的局限性，例如：评估者之间可能存在差异，那么谁的评估更实际，是模拟案主的还是老师的？访谈模拟案主和真实案主之间的差异有多少？当评估者是课程教师时，如何减少其主观的课堂印象对评估影响和偏差？本次研究只是一次试验性研究，SW-OSCE 这一方法的有效性还需进一步研究和证实。

此外，这个研究由于资源的有限与前期准备的不足，只有后测，因此只有一个单元的OSCE。以后，可以发展出针对不同服务阶段更细致与针对性的行为量表，“多单元”和“前后测”设计是执行和发展SW-OSCE 的下一步。在每次访谈后，也未能安排教师与访谈者一对一的自我反馈面谈。在以往研究中，模拟面谈之后都会有一段时间的教师与学生一对一的谈话，来了解学生的自我效能感。①Bogo，M.，Regehr，C.，Logie，C.，Katz，E.，Mylopoulos，M.，＆Regehr，G.（2011）.Adapting objective structured clinical examinations to assess social work students'performance and reflections.Journal of Social Work Education，47（1），5-18.本次研究由于当时的课程时间限制，只安排参与访谈学生面谈后作自我反思小结。研究者在其后续使用SW-OSCE 方法的过程中，已经针对本研究中的一些局限做出了改进。研究者在平时的教学中加入了SW-OSCE 训练，也进一步细化了剧本，给同学们提供更多锻炼实务能力的机会，降低学生在考核中的紧张情绪，使同学们更轻松地练习和学习。未来还需要进一步改进的是选用专业演员来扮演标准化案主，使得整个访谈及评估过程更加客观及标准化。

不过，总体而言，SW-OSCE 的确为社工直接服务、教学和评估提供了一种客观的标准化的工具。我们的研究也显示，SW-OSCE 的使用对于社工实务教学和评估有促进作用，CCBC 量表的测评也具有可靠的信度和效度。目前，美国加州开始效仿使用SW-OSCE，在中国上海的高校，研究者从2012年至今，一直在试用SW-OSCE 来评估与训练MSW 学生的实务能力，取得较好的效果。期待这种教学与评估的方法为中国社会工作教育界与实务界临床实务能力的培养带来新的启示与发展。