对从《基础护理学》网络题库抽题组卷及其试卷的分析和思考
2021-09-13陈宇清郭伊莉
陈宇清 郭伊莉
摘要:通过对肇庆医学高等专科学校2018级高职护理专业2个班级2019至2020学年第一学期《基础护理学》课题期末理论考试网络护理学(高职)题库抽题组卷试卷214份定量分析,显示网络护理学题库的网络平台组卷试卷的难度、区分度、信度、效度、稳定性都能较好地满足设计要求,对学生进行有效评估。但也存在A、B两卷均有个别相互提示题、知識点之间的重叠,并有部分超纲的题目,缺少“病人的安全”“护士职业防护”内容等问题,不能满足《基础护理学》课程标准对教学内容的全部要求。因此,应定期更新试题,使题库试题与学科发展、教材建设等保持同步,并继续完善网络题库试题质量以及组题方法,以保证科学评价教学效果。
关键词:基础护理学;试题库;试卷分析
中图分类号:R471;G642文献标识码:A文章编号:2095-6916(2021)16-0111-03
考试是检验教学效果最有效的手段,提高考试的准确性、客观性和可靠性,已成为职业院校教学与考试改革的重要任务。教考分离是指将教学与考试分离进行,即将由任课教师命题及评分的做法,改为由教学管理部门组织人员从规范、标准的试题库中科学筛选、组合出符合要求的试卷,并统一组织考试,统一评阅试卷[1]。题库建设是实现考试规范化、科学化的重要措施,是实现考教分离,体现考试的公正与公平原则,促进教学质量提高,保证人才培养质量的重要手段[2]。《国家中长期教育改革和发展规划纲要(2010—2020年)》[3]中提出了“在高等教育中需强化信息技术的应用”,在推进护理学专业教育改革发展,加快教育信息化的进程,促进考试工作科学化、标准化、规范化的过程中,网络题库作为护理学专业教育评价的重要载体发挥着重要作用。《基础护理学》是护理学专业的核心课程 [2],本研究拟在我校进行网络题库《基础护理学》题库的测试,对考试成绩、试题难度、区分度以及试卷的信度和效度等进行分析,提出切实可行的网络平台试卷命题意见,为建立一个优质、可靠、系统、有效的《基础护理学》网络题库提供依据。
一、对象与方法
(一) 研究对象
选择肇庆医学高等专科学校2018级高职护理专业2个班级2019至2020学年第一学期《基础护理学》课程期末理论考试网络题库抽题组卷试卷214份作为研究对象,其中试卷A108份,试卷B106份,合计214份。
(二)研究方法
本研究采用资料分析法。
(三)组卷及考试实施
1.组卷及试题设置
考试的题目来源于某公司网络题库(护理学)基础护理学学科的一类题库,题库共有2880道试题,包括填空题、选择题、简答题及案例分析等题型。本次组卷使用网络题库平台系统的“智能组卷”功能,通过填写题库平台的“双向细目表”设置题型、子题数量、分值、难易度比例及考核内容要求等,试卷整体难度控制中等,其中较易10%,易20%,中50%,难10%,较难10%,试题按照课程标准要求(了解、熟悉、掌握)及认知分级(记忆、理解、应用)设置合适比例并由试题库智能化根据“双向细目表”随机出题。组卷完成后,教研室组织非任课教师进行全卷及细目表查看,将超纲的题目进行试题的替换操作。为与护士执业资格考试题型接轨,本次试题题型全部采用单项选择题(Al/A2、A3/A4),共计120小题。使用系统的防作弊功能,将同一试卷的试题随机排序并对每道试题设置为不能回看。
2.考试实施
课程结束后1周对学生进行闭卷考核,学生登录指定网址,进入题库平台客户端,填写账号信息,完成考试;对监考教师及任课教师进行统一培训,保证考试的公平及公正;考试前对全体学生开展考试系统的学习培训,确保每个学生均掌握了系统的操作方法;考前1天,做好各项硬件设施的调试,并安排计算机技术人员参与监考,确保当考试系统出现问题时能被正确处理,保证考试不被耽误。
二、结果
(一)试卷基本情况
试题的考试时间设置为90分钟,全部学生均在90分钟内交卷,其中1名学生考试过程出现过中断,重新登录后顺利完成考试。试卷覆盖了《基础护理学》课程的17章49节,章节知识覆盖率为89.1%,A卷有2题相互提示,2个考点出现重复,B卷有1个考点出现重复。
(二) 成绩分布
2套考试平均成绩分别为92.3分、91.4分(换算成百分制为分75.8及76.6分),及格率为94.4%、95.3%,具体结果详见表1。考试成绩分布2套试卷考试成绩均基本符合正态分布(图1)。
表1护理专业214名学生《基础护理学》课程考试成绩
试题人数平均分最高分最低分及格率(%)优秀率(%)A卷10892.31164494.47.4B卷10691.41176395.36.6合计21491.91174494.87.0注:及格率为成绩≥72分(百分制60分);优秀率为成绩≥108分(百分制90分)的学生比例
图1试卷成绩分布直方图
(三)试卷质量评价指标
1.难度
难度是指试题或试卷的难易程度,是评价试题或试卷质量的主要指标之一。本研究采试题的通过率作为难度的指标,P=X/W,X为样本平均得分,W为试题总分,当P0.3表示试题难度高,0.3
2.试卷的区分度
区分度是指试卷区分考生能力的程度,是评价试卷质量、筛选试题的主要指标和依据。本研究采用高低分组法[4]计算区分度,采用公式为D=(PH-PL)/F计算,其中PH代表高分组(成绩排序前面27%的部分为高分组)的平均分,PL代表低分组(成绩排序后27%的部分为低分组)的平均分,F代表总分。D0.40表示区分度很好;0.30D<0.4表示区分度良好;0.20D<0.30表示区分度尚可,须跟进修改;D<0.19表示区分度差[5]。结果显示,试题区分度波动在0~0.8之间,其中两卷均存在区分度为0的题目,A卷整卷的区分度为0.23,B卷整卷的区分度为0.22,区分度尚可。
3.试卷的信度
信度是指测量工具的可靠性、精确性和稳定性的程度,是测量分数不受测量误差影响的程度。因学生期末考试的不可重复性,采用Cronbach's系数法衡量所有题目间的一致性程度。一般认为, Cronbach's系数大于0.7, 即信度较高。统计结果显示,A卷Cronbach's系数为0.726;B卷Cronbach's系数为0.715,说明2份试卷的信度良好。
4. 效度
测量效度是指测量者想从实际收集和分析的结果中得到印证的程度,在教育评价领域,测量效度具有准确性、关联性和实用性方面的属性。效度分析包括内容效度和试卷效度系数,内容效度指考卷的内容对所要考查的全部内容的代表程度(符合课程标准的情况),参照课程标准,试卷章节覆盖率和细目覆盖率即为内容效度,试卷根据双向细目表在网络题库中智能组卷,选题满足考试要求,且避免主观因素的影响,通过网络题库组卷具有较高的内容效度,其期望值在90%~95%。后者通过信度系数的算术根(X效=α)评价。当X效>0.87,表示试卷效度很好,当0.75 52套试卷成绩的比较 使用单因素方差分析对2套试卷的成绩进行比较,A、B2套试卷的成绩比较(见表2)。 表2A、B2套试卷成绩比较 平方和自由度均方F值P值组間16.418116.4180.1270.722三、讨论 (一) 试卷基本情况分析 2018级高职护理专业A卷考生106人,B卷考生108人,共计214人,从课程考试成绩的基本情况(表1)和分数分布情况(图1)来看,试卷总体情况达考试要求,2套试卷成绩呈现正态分布,90~100分占比最大,且全部学生均在90分钟内交卷,说明课程教学效果较好。从试卷的内容分析,A、B2卷均有个别题相互提示,及个别考点重复,在组卷时,应保持各个题目的独立性,提示在题库中的网络试题知识点的归类及编码应确保其正确性,同时要避免知识点之间的重叠,并且需要重视超纲、重复考点以及答案选项不合适等问题,同时某一试题的表述不能成为另外一个试题的答案或答案提示。试卷覆盖了《基础护理学》课程的十六章四十九节,章节知识覆盖率为89.1%,说明网络题库题量大,考核范围较全面,但也有部分超纲的题目,故题库智能抽题组卷的内容是否适合考生,仍需要教师进行审核。同时,在编制“双相细目表”时发现,题库内容不能满足《基础护理学》课程标准对教学内容的全部要求,缺少“病人的安全”“护士职业防护”等内容,因此,应定期更新试题(题型、内容),使题库试题与学科发展、教材建设等保持同步。2套试卷中难度值较大的题目主要是A3/A4型题,该题型以临床案例为题干,要求学生具有较强的评判性思维的能力及综合分析能力,提示学生将基础知识运用于临床实际案例还有一定的难度。护理学是一门应用型学科,在教学中应需要进一步理论结合实际,提高学生的临床判断、临床决策和综合分析能力。 (二)试卷质量分析 高质量的试卷应难易度适中,覆盖面广,且具有较高的区分度、信度和效度,学生考试成绩呈正态分布[5]。2卷难度分别为0.76及0.77,整体难度适中,题目难度的确定,主要取决于考试的目的和类型,本次考试的目的主要是检验指定年级学生的《基础护理学》课程的学习情况,考试难度应该是中等难度[3],该网络题库的智能组卷功能可以预设试题难度,调整不同难度题目的比例。由此可见,高质量的网络题库网络平台出卷可以更好地控制试卷整体难度,较好地实现考试目的。2套试卷的区分度均大于0.22,提示考题对学生能力的区分度尚可,课程评价型考核对区分度要求不高,适中即可,主要是试卷内容的覆盖面要广。试题的区分度波动0~0.8,在其中2卷均存在区分度为0的题目,一方面可能确实存在需要删除的题目,另一方面也可能与本研究的样本量较小有关。2套试题信度系数均大于0.70,提示试题的稳定性和可靠性程度在正常范围,考试结果可信,此次成绩能较为真实地反映学生实际水平。试卷的内容效度达89.1%,提示题库已有题目跟“双向细目表”匹配度高,试卷效度系数均为0.85,效度等级为“较好”,说明试卷与要考核的内容比较吻合。2套试卷比较的单因素方差分析P值为0.722,P值大于0.05,提示2套试卷的成绩没有统计学差异,说明该网络题库试题属性,如题目内容、参考答案、所属章节、难度系数、知识点归类等准确性高,基于网络题库的《基础护理学》课程试题组卷题目质量稳定、可靠,在随机智能组卷的考试中能满足试题考试设计要求,且保证考试的公平性。 结论 基于网络护理学题库的网络平台自动组卷,提高了出卷的效率,可通过“双向细目表”从题库中准确、高效地挑选合适的题目,基于网络题库的组卷试卷的难度、区分度、信度、效度、稳定性都能较好地满足设计要求,说明试题可靠有效,整卷质量较好,能真实反映学生的学习效果,达到考核目的,是对学生该门课程理论水平的有效评估方法。为适应护理学学科发展趋势,护理学专业题库内试题的内容和题型需要不断更新和完善,开发有效可靠的测试题是一个持续改进的过程,可基于规划教材知识内容变化进行试题增删,对难度过大或区分度较差的题型,进行适当修改或删除,同时应进一步完善题库的功能(选题、组卷和反馈等),使试卷更真实反映教学效果及学生的知识掌握情况。网络题库试题的基本类型包括选择题、名词解释、填空题、简答题和案例分析等,本研究仅对护士执业考试相关题型进行了分析,接下来会根据教学环节的需要,进一步开展对于其他题型的测试研究。 参考文献: [1] 张雪艳,马立立.高校“教考分离”多元化评价机制的构建[J].沈阳师范大学学报,2016(5). [2] 陈明.基于教考分离制度的药理学试题库建设研究[J].卫生职业教育,2016(15). [3] DIANEM,BILLINGS,JUDIH A HALSTEAD,等.护理教师必读——实用教学指导[M].孙宏玉,主译.北京:北京大学出版社,2019. [4] 杨永利,程志伟,杜玉慧,等.预防医学专业《卫生统计学》试卷质量评价[J].中国卫生统计,2016(4). [5] 闫平,王荣福,张春丽,等.八年制临床医学专业核医学课程考试成绩和试卷分析的评价与思考[J].中华医学教育杂志,2017(1). 作者简介:陈宇清(1980—),女,汉族,广东肇庆人,单位为肇庆医学高等专科学校,主要研究方向为护理教育和肿瘤护理。 郭伊莉(1984—),女,汉族,广东潮州人,单位为肇庆医学高等专科学校,主要研究方向为护理教育和护理心理。 (责任编辑:董惠安)