美国专业考试机构ETS的组织定位分析与启示
2017-01-27田霖
田霖
(北京教育考试院,北京 100083)
美国专业考试机构ETS的组织定位分析与启示
田霖
(北京教育考试院,北京 100083)
美国教育考试服务中心(Educational Testing Service,ETS)是全球规模最大的非营利教育测量机构。它通过提供公平有效的评估、研究及相关服务来促进全世界的教育质量与公平。ETS对组织角色进行科学定位,严格依据有关法律条款开展组织活动,制定测验质量管理标准体系,依托科研能力强化组织竞争优势,实施发展型组织战略,使其一直保持国际教育测量行业领导者地位,引领世界教育评估理论与技术发展趋势。ETS的组织角色定位与发展策略为我国省级教育考试机构专业化建设带来重要启示。
考试机构;非营利组织;ETS;考试测评
1 ETS的组织概况
美国教育考试服务中心(Educational Testing Service,ETS)成立于1947年,是全球规模最大的非营利教育测量机构,由美国教育委员会(American Council on Education,ACE)、卡内基教学促进基金会(The Carnegie Foundation for the Advancement of Teaching,CFAT)和大学入学考试委员会(The Col⁃lege Entrance Examination Board,CEEB)共同在美国注册的非营利组织。ETS在全球超过180个国家设有9 000多个考点,每年完成超过5 000万人次考试的测验开发、实施、评分工作。此外,ETS还进行教育研究与分析、政策研究,并针对教师资格认证、英语语言学习以及初等、中等和高等教育开发多种定制化服务和产品。目前ETS在全球共有3 200多名员工,其中2 300多名员工具有教育学、心理学、统计学、心理计量学、计算机科学、社会学及人文科学等领域培训经历与专业知识,约1 000位员工具有高级学位,390位员工拥有博士学位[1]。
ETS以“通过提供公平有效的评估、研究及相关服务促进全世界的教育质量与公平”作为组织使命,以“社会责任、公平、机会与质量”作为组织价值观,通过“倾听教育工作者、家长、评论者的意见和建议,了解学生和学校的需求,引领新一代考试产品和服务发展趋势”不断践行组织价值观,从而实现“为学生、家长、教师、教育机构、企业、政府、国家、州和学区,以及测量专家和研究者提供帮助”的组织愿景。如今的ETS通过定制化的创新型评估解决方案帮助全世界范围内的个人、教育工作者和政府机构寻求新的方法以促进学习[1]。
2 ETS的组织角色
作为非营利教育测量机构,ETS经过近70年的持续发展逐渐形成了多重组织角色定位,可概括为测验开发者(Test Developers)、统计学家和心理测量学家(Statisticians and Psychometricians)、表现性评估开发领域的领导者(Leaders in Developing Perfor⁃mance Assessments)、全球评估专家(Experts in Glob⁃al Assessment)、研究型团体(A Research Communi⁃ty)、教育政策专家(Education Policy Specialists)[1]。ETS对组织角色职能进行了具体描述:①作为测验开发者,ETS开发了全球最为著名且广泛使用的教育评估工具,为全球国家、州和地区、地方学区、政府机构以及企业提供量身定制的测验方案,其开发的评估产品包括入学及安置性测验、K-12评估项目、英语语言评估、资格许可与认证评估、特殊测验等[2]。②作为统计学家和心理测量学家,ETS确保所有考试都能够满足信度、效度、公平性的有关标准要求[3]。③作为表现性评估开发领域的领导者,ETS聘用表现性评估领域最优秀的人才,开发大规模考试项目(如AP测验、Praxis测验等)用以评估学生或新教师的知识结构与技能[4]。④作为全球评估专家,ETS通过全球研究院(ETS Global Institute)和全球评估中心(Center for Global Assessment)在全球范围内促进学习并提供教育机会,同时二者联合为全球教育工作者及研究者提供服务[5]。⑤作为一个研究型团体,ETS基于研究成果开发评估工具,为教育评估研究与分析、创新性产品开发及基础性政策研究等制定全球性标准,在全球范围内支持并促进个体学习;另外,ETS与全球各地的其他研究者协作,共同开发新型的、规范的方法,以理解、支持并促进教学与学习[6]。⑥作为教育政策专家,ETS以促进政策制定者对教育和学习的理解为己任,通过ETS政策信息中心开展有关工作,基于数据及研究结果促进政策审议;同时也为政府机构和其他公共机构或学术机构提供学习状况分析,如美国国家教育进展评估项目(National Assessment of Educational Prog⁃ress,NAEP)[7]。
3 ETS的组织定位策略
为了更好地发挥组织角色的多重职能,ETS制定了一系列的组织定位策略,以确保ETS能够保持非营利教育测量机构的身份,更好地服务于公共利益、保持全球行业领导者地位,持续促进全世界的教育质量与公平。
3.1 保证组织活动严格遵守501(c)(3)条款
非营利组织(Nonprofit Organization)是指不是以营利为目的的组织,其目标通常是支持或处理个人关心或者公众关注的议题或事件。ETS作为非营利教育测量机构享有(美国)联邦政府免税资格,前提条件就是成为501(c)(3)成员。501(c)是美国国内税收法(Internal Revenue Code,IRC)中的一项条款,其规定了29种享受联邦所得税减免的非营利组织,其中第三条(即501(c)(3))条款对宗教、教育、慈善、科学、文学、公共安全检测、业余体育比赛促进、儿童或动物虐待预防等组织等作出了详细说明[8],ETS的组织活动符合该条款的教育主题范畴。
为了成为501(c)(3)组织成员,ETS通过了一系列的单独考核,包括:组织宗旨考核、运营考核、收益分配考核、游说限制、选举限制、公共利益考核、公共政策考核[9]。ETS通过“教育宗旨”获得免税资格,其组织章程明确规定了ETS可以开展的活动:提供教育考试服务;为考生提供考试咨询;成为考试研究的交流中心;决定是否需要鼓励对评估的主要领域开展研究;促进人们对科学的教育测量的认识并保持测验的高质量标准;向教师、家长及学生提供产品和服务以促进学习和教育机会决策;提升少数民族及教育弱势学生群体的教育机会;从事关于考试与测量领域的其他咨询服务与活动[9]。ETS通过设立营利性子公司获取组织发展资金,组织的净收益不用于任何私人利益、不用于股东或净收益分配(如股息分配),而是用于组织的发展。ETS围绕公共利益进行组织运营,组织活动的受益者已经过明确界定(包括残障者),在一定程度上保障了社会公共服务。
3.2 制定完善的测验质量管理标准体系
ETS致力于提升测验的质量与公平,保障ETS的测验及其他产品都具有最高水平的质量,并且尽可能避免测量偏差。ETS制定了《ETS质量与公平性标准》(ETS Standards for Quality and Fairness)(2002),要求ETS开发的所有测验都必须严格满足《ETS质量与公平性标准》的要求,ETS专业标准办公室负责对每一个ETS的测验项目进行审查。ETS专门制定了《ETS公平性审查准则》(ETS Guidelines for Fairness Review of Assessments)(2009)及《ETS测验及信息表达的公平性准则》(ETS Guidelines for Fair Tests and Communications)(2015),用于指导测验公平性审查,确保试题、测验及其信息表达不含有不公平的内容;ETS还制订了《ETS评估的公平性审查国际准则》(ETS International Principles for Fair⁃ness Review of Assessments)(2009),指导美国以外国家的考试项目的测验开发,确保测验适用于目标国家的文化和传统[10]。
针对美国K-12教育阶段学生的英语学习评估,ETS开发了《英语学习者评估准则》(Guidelines for the Assessment of English Language Learners)(2009),用于指导测验开发者、考试项目管理者、心理计量学家以及教育机构,保证评估对于英语语言学习者是公平且有效的。针对全球英语学习者在语言学习背景、学习目的与动机、文化背景等方面存在多样性的问题,ETS开发了《最佳测验开发实践准则——保障国际英语能力评估效度与公平性》(Guidelines for Best Test Development Practices to Ensure Validity and Fairness for International English Language Proficiency Assessments)(2009),用于指导国际考生群体英语能力评估实践,保障评估的有效性与公平性[10]。
ETS专门开发了《建构性题型及其他表现性评估准则》(Guidelines for Constructed-Response and Other Performance Assessments)(2005),用于指导建构性题型及其他表现性评估的效度证据的收集。该标准通过识别出与表现性评估密切相关的标准,以及指导如何理解和遵循这些标准,对《ETS质量与公平性标准》进行了有益补充。另外,ETS还制定了《测验无障碍性提升方案》(How ETS Works to Im⁃prove Test Accessibility)(2010),指导测验开发者提升测验无障碍性,尽可能使测验内容与形式可以让所有考生(包括残障考生)都能够客观地表现出其对目标构念的掌握程度,同时该方案还明确提出残障考生的测验无障碍性标准[10]。
3.3 加强研究能力建设以保持组织竞争优势
ETS的多位创立者,如来自哈佛大学的柯南特(Conant)、来自大学入学考试委员会的昌西(Chauncey)、来自卡内基教学促进基金会的勒尼德(Learned)等,主张成立这样一个统一的考试机构的重要动机就是要大力开展关于测验的科学研究。首任总裁昌西将科学研究和教育进步联系起来,其提出“ETS将通过开发高质量测验、赞助测验领域的杰出研究以及向高校提供有效的咨询服务等,为美国教育作出重要贡献”。他建立了开展科学研究的传统,实施学术自由以鼓励独立思考和对ETS自有测验的建设性批判,从而促进机构进步,同时要求ETS要完整地公布研究结果(专利性的和保密的研究结果除外),这种做法吸引并留住了一批最优秀的年轻研究人员,包括弗雷德里克·洛德(Frederic Lord)、塞缪尔·麦西克(Samuel Messick)、莱迪亚德·塔克(Ledyard Tucker)、哈洛德·加利辛(Harold Gul⁃liksen)、诺曼·弗雷泽里克森(Norman Frederiksen)等人,这为ETS成为科学的教育测量领域的领导者奠定了重要基础[9]。
由于鼓励科学研究,ETS逐渐建立起国际领先的考试研究能力体系,使其在行业内能够保持显著的竞争优势,考试研究能力体系也是ETS组织核心竞争力的重要组成部分。ETS的研究团队包括国际上杰出的科研人员、心理测量学家、评估专家,共同致力于“提供公平的、准确的、有意义的产品和服务,推动改革并促进评估、学习、教学,提供测验开发的内容、方法、流程,推动教育测量领域的进步,促进有效且公平的教育政策”等[11]。ETS关注的核心研究领域包括评估产品的开发与分析、教育评估研究、政策研究;其研究主题涵盖了残障者评估、自动评分与自然语言处理(Automated Scoring and Nat⁃ural Language Processing)、K-12教育评估创新、英语语言学习与评估、人力资本与大尺度评估(Hu⁃man Capital and Large-Scale Assessment)、政策研究、阅读理解、统计学与心理测量学、理解教学质量、劳动力预备与21世纪技能(Workforce Readi⁃ness and 21st Century Skills)等多个领域[12],其重点研究的教育主题包括成绩鸿沟(Achievement Gap)、中小学教育法案(Elementary and Secondary Educa⁃tion Act)、教学质量、学生高等教育学习成果等[13]。强大的考试研究能力体系保障了ETS能够提供全面的、深入的研究服务,支持其为促进全世界的教育进步作出贡献。
3.4 实施发展型组织战略应对未来挑战
作为教育测量行业的国际领导者,ETS能够对组织自身保持一种反思与审视的态度,积极制定前瞻性的组织发展战略应对未来的各种挑战。目前ETS通过设计开发高质量的评估产品与服务、科学研究与分析向社会提供公共利益;在未来的发展中,ETS将准确预见挑战并通过提供更完善的服务来对传统考试的测量功能进行拓展,这种发展策略在早期创立者的发展理念中就有所体现。例如,来自普林斯顿大学的布莱汉姆(Brigham)关注如何超越SAT的选拔功能、如何通过评估指导教学,在《不让一个孩子掉队》(No Child Left Behind)法案出台后,这些问题的解决更具有现实意义;昌西关注如何测量新的知识结构以引导个体的教育选择,如何识别出个体擅长的领域或兴趣点并从有利于个体和社会发展的角度进行引导;柯南特关注如何使用评估来促进多样性,如何从不同背景的群体中识别优秀个体并鼓励他们追求高等教育,如何帮助他们进一步发展个人技能等问题[9]。目前上述问题并未得到完全解决,且仍然是ETS的未来发展目标,ETS将通过持续研发新的评估产品与服务不断促进个体的学习与发展。
作为非营利教育测量机构,ETS必须保证其所从事的绝大多数活动本质上与501(c)(3)条款规定的组织的教育宗旨相一致,不能以不相关的业务收入作为基本运营策略获取组织发展资金。如何获得充分的发展资金,也是ETS作为非营利机构必须要考虑的问题,而解决这些问题的前提是既要达成组织使命目标同时又要确保组织活动不违反501(c)(3)条款。ETS通过设立营利性子公司并接受外部投资的方式获得组织发展的资金,其在20世纪90年代创建了Chauncey Group International、K-12 works、ETS Technologies等多个子公司,之后又成立了Computerized Assessments and Learning(CA&L)、Edusoft Ltd.、Prometric™、ETS Global等子公司,这些营利性子公司为ETS提供充足的发展资金保障[9,14]。ETS未来的资金获得策略是“通过使命为使命提供资金(to fund the mission through the mis⁃sion)”,本质上是开发新的产品和服务。ETS通过提供更高的质量或信誉获得与其他营利性机构竞争的优势,并与其他营利性组织相区别。ETS强调要设计新的产品和服务并获得市场效益,首先要强化快速市场反应能力,加强科研与开发、业务单元产品化、销售与营销、技术交付、过程控制等方面的建设;其次ETS作为非营利机构要承担更多的社会责任,加强产品和营销宣传、研发投入[9]。
4 ETS的组织定位策略评析
ETS通过科学的角色定位及运营策略选择,逐渐奠定了其国际教育测量行业领导者的地位,不断引领全球教育评估发展趋势。ETS基于“教育宗旨”成为501(c)(3)成员并获得免税资格,其制定了详细的组织章程并对组织角色进行系统定位,以“测验开发者、统计学家和心理测量学家、表现性评价开发的领导者、全球评估专家、研究者、教育政策专家”的多重身份,通过提供公平有效的评估、研究及相关服务来促进全世界的教育质量与公平。ETS严格遵守非营利机构的免税条款,以组织使命为导向,依据组织章程开展组织活动,坚持向社会提供公共服务。ETS提供高质量的评估产品与服务,制定并发布了关于测验质量、测验公平性、测验无障碍性、测验开发等多个质量管理标准文件,成为行业内重要的参考标准。ETS重视科学研究的先导作用,将研究能力体系作为组织核心竞争力的重要组成部分;ETS有着自由开放的科学研究传统,建立了一支包括多位杰出的教育测量专家在内的强大研究团队;另外ETS在测验研发、评估研究、政策研究等方面投入大量人力物力并取得丰富成果,持续引领全球教育测量理论与技术的发展趋势。ETS能够准确意识到未来将面对的挑战,有效把握不断发展的教育需求与评估服务水平之间的矛盾;在强大的产品研发能力和完善的教育测量服务体系的支持下,ETS将教育测量与促进教育联系起来,致力于解决“如何超越测验本身的选拔功能、如何通过评估指导教学、如何通过评估指导学习者的教育选择、如何通过评估促进多样性”等问题;另外ETS的“通过使命为使命提供资金”的发展策略具有高度的前瞻性,将促使其不断研发新的评估产品与服务,形成更快速的市场反应能力并承担更多的社会责任。
5 对我国省级教育考试机构的启示
ETS作为国际专业考试机构的代表,其在组织定位于发展策略方面的理论与实践经验为我国省级教育考试机构建设提供了重要启示。我国省级教育考试机构的成立起始于20世纪90年代中期,基本上沿续着计划经济时代的管理体制,承担教育考试管理职能与业务职能,主要负责教育考试的命题管理、考务管理、招生管理等。由于发展历史、管理体制、文化传统等多方面原因,目前省级教育考试机构在组织定位与职能发挥方面仍存在一系列问题,如:行政管理意识强、服务意识弱,组织定位更多地倾向于考试与招生管理,行政执行效率高但专业化建设落后,业务开展过于依赖行政职能,缺乏快速市场应对能力或市场开拓意识;忽略考试科研能力体系建设,科研工作未能真正有效促进工作实践,一方面考试科研能力体系建设没得到应有的重视,员工的科研动力不足,另一方面考试科研成果转化率较低,考试科研与管理实践未能形成良性互动;专业人才队伍建设落后,更多地沿袭传统机关事业单位人事管理手段,人才的引进、培养、发展、激励等现代管理方式缺位等。
在考试招生制度改革与事业单位分类改革的双重背景下,省级教育考试机构应按照国家关于“完善专业考试机构功能、提高专业考试机构服务水平”[15]以及“加强专业考试机构能力建设”的有关要求[16],合理学习国外专业考试机构建设经验,结合我国教育考试实践背景深入探讨考试机构的角色定位与发展策略问题。
第一,要客观认识现有问题及管理运行体制的固有限制,不断进行制度创新、技术创新、观念更新,破除影响考试机构专业化建设的体制机制障碍。第二,要对自身角色进行科学定位,坚持组织公益服务属性,在基于行政手段保障组织属性的同时,深入探讨组织公益服务属性的法制保障手段,逐渐探索出“政府宏观管理、专业机构组织实施”的运行模式。第三,省级教育考试机构应积极主动承担考试招生制度改革主要参与者的角色,结合考试实践中的具体问题提出切实有效的对策建议,为改革决策制定提供参考。第四,加强考试招生科研能力体系建设,鼓励员工开展理论与实践研究,同时强调科研成果的转化率,通过科研能力体系建设切实推动考试机构专业化发展,提升考试机构的核心竞争力。第五,积极拓展组织功能,在保障考试安全与公平的同时,要积极进行考试信息的数据挖掘,充分发挥考试的诊断与指导功能,为有效教育提供更好的服务,真正践行“从考试到服务”的改革理念。第六,重视质量管理体系建设,不仅要在业务流程管理方面做到标准化,同时要在“国家教育质量标准体系”建设的总要求下[16],系统制定关于命题质量、测验公平性、测验分析等业务质量标准体系,不断促进考试招生工作的质量与公平。
[1]ETS.Who We Are[EB/OL].[2016-10-26].https://www.ets.org/ about/who.
[2]ETS.Test Developers[EB/OL].[2016-10-26].https://www.ets.org/ about/who/test_develop.
[3]ETS.Statisticians and Psychometricians[EB/OL].[2016-10-26]. https://www.ets.org/about/who/statistician_psychometrician.
[4]ETS.Leaders in Developing Performance Assessments[EB/OL]. [2016-10-26].https://www.ets.org/about/who/leaders.
[5]ETS.Experts in Global Assessment[EB/OL].[2016-10-26].https:// www.ets.org/about/who/international_assessment.
[6]ETS.A Research Community[EB/OL].[2016-10-26].https://www. ets.org/about/who/research.
[7]ETS.Education Policy Specialists[EB/OL].[2016-10-26].https:// www.ets.org/about/who/ed_policy_specialists.
[8]Wikipedia.501(c)organization[EB/OL].[2016-10-26].http://en. wikipedia.org/wiki/501(c)_organization.
[9]BENNETT R E.What Does it Mean to be a Nonprofit Educational Measurement Organization in the 21st Century[M].Princeton,NJ: ETS,2005.1-12.
[10]ETS.Fairness[EB/OL].[2016-10-26].https://www.ets.org/about/ fairness.
[11]ETS.Research Capabilities and Services[EB/OL].[2016-10-26]. https://www.ets.org/research/capabilities.
[12]ETS.Research Topics[EB/OL].[2016-10-26].http://www.ets.org/ research/topics.
[13]ETS.Education Topics[EB/OL].[2016-10-26].http://www.ets.org/ education_topics.
[14]ETS.Our Subsidiaries[EB/OL].[2016-10-26].http://www.ets.org/ about/subsidiaries.
[15]中共中央,国务院.国家中长期教育改革和发展规划纲要(2010—2020年)[J].人民教育,2010(17):2-15.
[16]教育部.教育部关于印发《国家教育事业发展第十二个五年规划》的通知[J].中华人民共和国国务院公报,2012(28):24-57.
ETS’Organization Role Orientation and Its Enlightenment
TIAN Lin
(Beijing Education Examinations Authority,Beijing 100083,China)
Educational Testing Service(ETS),as the largest nonprofit education testing organization,advances quality and equity in education by providing fair and valid assessments,research and related services.Based on rational definition of organization role and function,ETS carried out organizational activities strictly in accordance with Section 501(c)(3),established comprehensive stand system for test quality control,enhanced its competitive strength relying on great research capacity,and implemented a developmental strategy.Because of those mentioned above,ETS has maintained the leader of education measurement worldwide and has been leading the development of test theory and technology.ETS’s strategy of role orientation has brought valuable reference to professionalization of provincial education examinations authorities in China.
Testing Organization;Nonprofit Organization;ETS;Examination Evaluation
G405
A
1005-8427(2017)02-0064-6
10.19360/j.cnki.11-3303/g4.2017.02.010
(责任编辑:张瀛天)
田霖(1982—),男,北京教育考试院,助理研究员。