湖北省开展社会考试评价的探索与思考

王志武

（湖北省教育考试院，武汉 430077）

作为对社会考试开展评价的探索，从2013年至2016年，湖北省教育考试院先后对湖北考区的全国计算机等级考试、全国大学英语四六级考试、中小学教师资格考试和湖北省英语口语等级考试开展评价，取得了良好的效果。

1 开展社会考试评价的意义

第一，开展社会考试评价是专业化考试机构建设的需要。教育考试开展专业化建设的实质就是要增强办考能力。教育考试必须立足本职、主动服务考试用户（包括考生群体和考生个体、教学/培训机构、社会用人部门或单位），对考试结果提供深入的数据统计与分析服务，满足他们对考试数据深度挖掘和解读的需要，充分发挥考试数据在咨询、参考、借鉴与指导方面的功效。这既是考试机构开展专业化服务的具体表现，也是考试机构自我转型升级的现实需要。

第二，开展社会考试评价是深化考试供给侧改革的需要。当前，教学机构、用人单位、考生本人和家长都希望考试机构在提供考试成绩的同时，通过深入开展考试评价，挖掘考试数据所蕴涵的深层信息，以达到改进教学、甄选人才、提高学习效益的目的。教育考试机构需要深入推进考试服务的供给侧改革，即根据社会对考试服务的新需要，不断丰富考试的服务产品、服务内容与服务方式，使教育考试能够与时俱进，满足社会和人民群众对考试服务不断增长的需求。

第三，开展社会考试评价是不断提高社会考试质量的需要。当前，社会考试工作不再追求考试规模的盲目扩张，不再追求考试经济效益的单一增长，而是以打造社会考试品牌、打造社会考试精品为重点，追求社会考试的社会效益。伴随办考理念的转变，在社会考试工作中加强对办考行为的自我约束、办考过程的自我监控、办考风险的自我诊断和办考效益的自我评估，使考试评价成为社会考试质量监控的主要手段。

第四，开展社会考试评价是实现社会考试可持续发展的需要。党的十八大以来，政府行政审批事项大幅消减，先后6批次取消职业资格许可事项达400多项，对社会考试的发展产生了深远影响。新形势下，社会考试要实现科学发展和可持续发展，把现有社会考试项目做大做强，必须主动加强与社会的联系，密切关注社会对考试的反应，积极回应社会对考试的关切，认真开展社会考试评价，主动提供社会考试的效度、信度、区分度和难度等方面的信息，增强社会考试对社会人才开发与甄别的可信性、可靠性和有效性。

第五，开展社会考试评价是遵循考试自身发展规律的需要。社会考试的主要功能不是淘汰，而是认证与认定，是对人才专业水平与技能的认证与鉴别。为了确保社会考试对人才认证与鉴别的客观性、准确性、科学性和高效性，必须加强对考试质量的掌控、监测与评估，确保对人才认证与鉴别的信度和效度。

2 湖北省开展社会考试评价的实践探索

为主动适应形势发展的需要，回应社会对社会考试的关切，有效推进由管理型考试机构转变为服务型考试机构，促进考试工作与考试服务专业化建设，自2013年起，湖北省教育考试院对湖北考区的社会考试分期分批实施评价试点。社会考试评价涵盖各社会考试项目，以命题质量、考试流程、管理环节、考风考纪、改革措施等为主要维度，辅之以考试政策、执行力度、工作绩效等方面的情况信息，对整个考试进行评价。同时，不同考试项目的评价还结合考试项目的特点、评价所要达到目标以及信息资源等情况，在评价实施过程中各有侧重，具体情况如下：

2013年，为了推进湖北的全国计算机等级考试全面实行机考改革，对湖北考区2010—2012年6次全国计算机等级考试进行了评价。本次评价以报考人数最多的二级C语言设计和二级公共基础知识为样本，以两个科目的考试大纲为标准，分别组建学科专家组、评价专家组和考试管理工作组三个团队共同开展考试的数据统计与分析、评价与研究，重点对这两个科目的试卷信度、难度、区分度进行了数据统计与实证分析，并从部属高校、省属高校、三本院校和高职高专院校4个层次中随机抽取一所学校的考生成绩样本，将他们在上述两个科目考试中呈现出的知识与能力结构进行对比，制作成雷达图，直观反映出不同高校考生在全国计算机等级考试中所表现出的特点与优势。评价报告充分肯定全国计算机等级考试命题质量非常稳定，同时建议为考生提供写实性的考试成绩（而不仅仅是考试合格证），为考生提供考试结果咨询和解释服务，以利于考生查找自身知识结构的缺陷与不足，帮助考生实现学习的自我改进与提高。

为正面回应部分考生对全国大学英语四六级考试多题多卷改革的疑虑，2014年对湖北考区的全国大学英语四六级考试多题多卷改革进行评价。在缺少考试实证数据的情况下，评价组主要是根据全国大学英语四级和六级考试大纲，对试卷从思想性、规范性、公平性、有效性、等值性和后效性等方面进行了统计与分析，同时对四六级考试成绩按部属高校、省属高校、三本院校和高职高专进行分类对比，还分别对听力、客观题、主观题三个部分进行了考试成绩专项统计与分析。同时，在全省组织近4 000名高校师生参加了网上问卷调查。评价报告充分肯定了全国大学英语四六级考试命题与考试大纲的高度一致性，强调多题多卷改革既能保持各套试卷的基本等值，又能有效预防考试舞弊，同时建议进一步改进全国大学英语四六级考试的试卷等值工作。

作为全国中小学教师资格考试改革的试点省份，2015年对湖北考区中小学教师资格考试进行了评价。评价分为两大部分：一是笔试，主要是以中、小学综合素质和教育知识与能力试卷为样本，以考试大纲为标准，对命题质量进行分析与评价。同时组织开展问卷调查，征求考生对试卷的感受和意见。二是面试，主要是对从2012年下半年试点开始到2014年共6次面试的成绩数据进行统计，建构因子分析模型，并与面试评分标准进行关联分析，既统计各考点面试评分的总体情况，又分析面试考官对每项评分标准的把握程度，查找面试工作的薄弱考点和薄弱环节，并制定了《湖北省中小学教师资格面试工作暂行管理规定》（鄂综考〔2016〕22号）。

湖北省英语口语等级考试是由湖北省自主开发的旨在促进基础英语教学改革、提高学生英语口头交际能力的水平考试，普通高校英语专业招录新生时可作为参考，考生自愿报名，目前年均报考规模有7～8万人。2016年对该项考试2014年和2015年的情况进行评价，涵盖三个方面内容：一是以考试大纲为标准，对命题质量进行分析和评价；二是以调查问卷的统计数据为基础，对考试质量进行了解和分析；三是通过座谈与问卷对考试改革进行调查并征求意见。评价报告充分肯定湖北省英语口语等级考试对促进全省基础英语教学改革发挥了重要作用，同时指出了试题中存在一些脱离考生实际生活和超过考试大纲范围的语料、词汇、主题和内容，容易对考生造成不公，影响考试质量。评价报告建议改进英语口语等级考试评分标准及评分权重分配，积极推进英语口语等级考试开展智能评分。

经过近5年的社会考试评价探索与实践，湖北省社会考试评价工作取得了明显的突破，具体表现有：

第一，评价对象得以拓展。由于考试评价实践在国内推进时间还不是很久，主要评价对象是教育考试，如高中毕业会考、高中学业水平考试、普通高考等。开展考试评价的主要目的是为了搜集考试反馈信息，了解考试实施情况，帮助师生改善教学效果，提升考试命题质量，以达到改进教育考试自身工作的目的。湖北省开展社会考试评价探索与实践，对本考区全国计算机等级考试、全国大学英语四六级考试等开展评价试点，把考试评价从教育考试延伸到了社会考试，拓展了考试评价的对象。

第二，评价内容得以充实。在社会考试评价试点工作中，在坚持开展对试卷难度、区分度、信度进行统计分析的同时，还结合各个考试项目的不同特征及具体情况、考试改革发展的需要等，制定不同的评价目标、评价方案和评价办法，涉及考试目的、考试过程、考试环节、考试数据、考试现象、考试制度和考试效果等。如湖北省英语口语等级考试评价过程中，专门收集、归纳、整理全省有关考试机构、考点、中学英语教师对英语口语考试改革的意见与建议，对推进全省英语口语等级考试智能评分发挥了重要作用。

第三，评价方法灵活多样。由于各社会考试项目及其所拥有的资源、条件不同，在开展社会考试评价过程中所使用的评价方式方法也因考试项目、评价目的的不同而存在差异。对全国计算机等级考试评价，主要是对2010—2012年考试结果的统计与分析，并努力探索建立一种标准参照性考试的评价模式。在中小学教师资格考试评价中，对命题质量与考试大纲要求的吻合度进行对比分析时，采用了SEC（Surveys of Enacted Curriculum）分析法，以统计出试卷与大纲的一致性系数，这种方法对考试评价具有高效性和准确性。在大学英语四六级考试评价过程中，通过对试题的各项语言维度进行统计分析，指出全国大学英语四六级考试多题多卷改革在等值方面仍然存在一些值得改进的地方。

第四，评价理念明显升华。一是以终身教育理念指导社会考试评价。把开展社会考试、提供社会考试评价服务作为促进我国终身教育体系建设的重要内容和组成部分，为建设学习型社会服务[1]。二是开展社会考试评价是教育考试工作的本分和天职。开展社会考试既是对教育考试机构自身资源与能力的再开发和再利用，也是教育考试机构履行服务社会职能、参与社会经济建设的具体体现。三是建立具有社会考试特色的评价体系。社会考试评价既要注重对命题质量的分析，又要注重对学生学习质量与效果的分析，增强考试评价的合目的性和合规律性[2]。社会考试评价既要遵从考试评价自身规律，又要兼顾各行业部门对人才技能与规格的要求变化，主动回应社会对社会考试的呼声和关切，使社会考试评价形成自身特色和风格。社会考试评价不仅应包括考试效度、信度、区分度和难度等内容，还需要根据评价目的和要求，拓展评价内容和范围，以增强评价的针对性、科学性和有效性。四是主动顺应时代发展潮流，积极推进由考试机构向评价机构的转变。从单一考试迈向多元评价是人类的教育观从选拔和分类跃升到促进人的全面发展的必然产物[3]。

3 开展社会考试评价的思考

俗话说：万物之初，其形必丑。湖北省教育考试院开展社会考试评价的实践与探索，虽然取得了一些成绩，但也存在一些问题与不足：

第一，评价观念有待进一步强化。由于考试评价还只是处于试点、探索阶段，虽然取得了一些成效，但仍存在许多不足，如评价理论与技术、评价资源与队伍、评价过程与结论、评价方式与方法等方面都还存在一些值得商榷与改进的地方，最关键的问题是对考试评价的认识还需要进一步提高，对考试评价工作需要进一步重视，要把考试评价纳入考试业务的整体范畴，统一规划、统一布置、统一推进，增强考试评价工作的目的性、计划性、协调性和成效性。

第二，考试数据有待进一步完备。除了全国计算机等级考试有翔实的考试数据外，全国大学英语四六级考试、中小学教师资格考试和湖北省英语口语等级考试等都缺乏考生作答的详细数据，可能会影响考试评价的全面性、科学性和客观性。另外，有的评价只是对一次考试的试卷进行统计与分析，所得出的评价结论缺乏应有的公信力和说服力。

第三，方式方法有待进一步完善。如在对湖北考区全国大学英语四六级考试试卷质量的网上问卷调查中，有时学生和教师对同一问题的回答分歧很大。又如在对湖北省英语口语等级考试评价时，由于该项考试目前还是采用人工评卷，相当多的数据来自于调查问卷，数据的来源和类型过于单一。

第四，效用发挥有待进一步加强。虽然考试评价结果在考试管理与考试政策方面得到及时采纳，发挥了积极效用，但评价结果尚未直接服务学校和考生，考试评价的结果没能发挥应有的反馈效用。在今后的工作中，要努力提高和拓展社会考试评价的效用。

[1]戴家干.遵循教育规律,推进教育考试评价科学发展[J].考试研究,2011（1）:28.

[2]张远增.考试评价:考试研究的新领域[J].考试研究,2005（1）:6.

[3]韩宁.从关于学习的评价到为了学习的评价[J].中国考试,2009（8）:21.