基于扎根理论的在线开放课程质量评价指标体系构建研究

王璐+赵呈领+万力勇

【摘 要】

质量是在线开放课程可持续发展的关键影响因素之一。构建科学、有效的质量评价指标体系对保障和提升在线开放课程质量具有重要意义。目前已有的评价指标体系主要遵循自上而下的标准化方式构建，缺乏对学习者学习需求和学习体验的关注。本文依据扎根理论，选取爱课程网国家精品资源共享课中240条与课程质量相关的用户评价作为原始分析资料，通过开放性编码和轴心编码得出了包含5个一级指标和17个二级指标在内的在线开放课程质量评价指标体系，并对指标体系的信度和理论饱和度进行了检验。5个一级指标分别为系统特性、视频质量、教师队伍、教学内容、辅助性学习资料。在构建指标体系的基础上，针对当前在线开放课程建设中存在的问题，提出了在线开放课程质量保障的对策和建议。

【关键词】 扎根理论；在线开放课程；质量评价；指标体系；精品资源共享课

【中图分类号】 G420 【文献标识码】 A 【文章编号】 1009-458x（2017）11-0070-07

一、问题的提出

2011年教育部正式启动“国家精品开放课程建设与共享”项目，包括建设精品视频公开课和精品资源共享课以及国家精品开放课程共享系统（爱课程网），至今逐步形成了视频公开课、资源共享课、MOOC和在MOOC基础上发展的SPOC（小规模专有在线课程）等多种类型的中国特色在线开放课程体系（王友富， 2015 a）。2015年4月，《教育部关于加强高等学校在线开放课程建设应用与管理的意见》发布，强调要通过在线学习和在线学习与课程教学相结合等多种方式应用在线开放课程，不断创新校内、校际课程共享与应用模式，整体提高教学质量（教育部， 2015）。在线开放课程的质量及其评价不仅关系到开放课程资源本身能否可持续发展，更直接关系到学习者的开放学习质量和终身持续发展。提出科学、有效的在线开放课程质量评价指标体系对评价、保障和提升在线开放课程质量具有重要意义。

通过文献研究可以发现，目前国内针对在线开放课程质量评价指标体系的相关研究较少，而有关网络课程评价指标体系的研究相对较多。根据斯隆协会（Sloan Consortium）依据课程内容在线发布的比例划分的课程類型，可以认为网络课程是在线开放课程的上位概念，在线开放课程是当下网络课程的重要表现形式（周晓华， 2013）。所以本研究也借鉴了与网络课程评价指标体系相关的文献（姚建青， 2013）。国内相关研究主要包括：2010年教育部公布的国家精品课程评审指标，包括教学队伍、教学内容、教学条件、教学方法与手段、教学效果5个一级指标，下设14个二级指标和观测点（张秀梅， 2012）；孙传远等（2014）采用德尔菲调查法，设计了包含课程理念、课程目标、课程内容、课程实施和课程评价5个一级指标和32个二级指标的开放课程质量评价指标体系；张家年等（2015）利用网络计量学方法设计了包含学习内容、学习设计、学习交互和学习支持4个一级指标和30个二级指标的网络课程评价指标体系；邱均平等（2015）通过广泛征求专家意见，结合慕课特点，设计了包含教学队伍、教学内容、教学资源、教学效果和教学技术5个一级指标和13个二级指标的慕课评价指标体系。国外对在线开放课程（主要是慕课）评价方面的研究成果比较丰富，但是评价指标体系方面的研究却很少。戴森和麦克沙恩（Daytion & Mcshane， 2007）在教育实践目标原则下，设计了含有7个一级指标和25个二级指标的网络课程质量保证体系。Lin（2010）总结了网络课程质量研究的文献，设计了包含系统质量、信息质量、服务质量和吸引力4个一级指标和16个二级指标的网络课程质量评价指标体系。

目前，已有相关评价指标体系存在的问题主要包括评价对象不够明确、缺乏实用性、仅仅是指标的集合、权重分配不够合理等（李建鹏， 2011）。确立评价指标采用的方法多是德尔菲法、量化法和归纳总结法，主要遵循自上而下的标准化方针，关注指标体系的考核和审查，缺少从课程学习者的角度自下而上地开展课程质量评价（孙传远， 2013）。而质量的一个重要方面是用户的相关性，无论课程的信息内容质量多高，如果与用户无关联或者不能满足他们的要求，信息提供者给予的服务质量就是差的（尼古拉斯，等， 2003）。所以，通过关注学习者对于学习内容的评价、学习后的收获和效果以及学生的自我评价，考察学生的学习需求和愿望与课程之间的契合度，建立面向学习者的在线开放课程质量评价体系显得尤为迫切。基于此，本文将采用扎根理论研究方法，选取爱课程网中的资源共享课作为在线开放课程的代表，构建面向学习者感知的在线开放课程质量评价指标体系，并进一步分析其对在线开放课程建设及质量保障的指导意义。

二、研究方法和研究设计

（一）研究方法

扎根理论是由美国学者格拉斯（Glaser）和斯特劳斯（Strauss）在1967年提出的，其主要宗旨是在经验资料的基础上建立理论（陈向明， 1999）。格拉斯和斯特劳斯认为，新的理论可以基于对日常真实生活的仔细观察以及被观察者自身对事件的理解，也就是研究对象可以是“解释性真实”（interpretive realities）。解释性真实也许并不完全客观，但对于理解人类行为、形成新的理论具有重要的意义（Glaser & Strauss， 1967 ）。扎根理论主要包括文献回顾、初始取样、理论取样、数据分析、理论发展、理论饱和度检验等步骤（费小冬， 2008）。它强调“持续比较”和“理论取样”的重要性，认为数据收集与理论形成应该是一个互动的过程，也就是“收集数据——形成理论——再收集数据——完善理论”不断循环的过程（王璐， 等， 2010）。数据分析包括开放性编码、主轴编码和选择性编码三级编码。从扎根理论的特点可以看出，扎根理论运用于指标体系的构建，能有效满足指标体系的目的性和完备性的要求（冯南平，等， 2013）。陈向明（2015）在《扎根理论在中国教育研究中的运用探索》中也提到扎根理论本土化的意义是让研究回归中国的教育实践，面对经验资料提炼本土理论，获得更贴近中国教育实际的研究成果。基于此，本研究正是通过分析学习者对课程质量的评价内容（实际资料）来构建在线开放课程质量评价的指标体系，不仅能够发现最核心的课程质量影响因素，还有可能发现新的、重要的评价指标，构建一个面向学习者、具有高信度和高可行性的评价指标体系。endprint

（二）研究设计

1. 数据取样

客观翔实的数据是扎根理论的基石，综合考虑本研究的目的和实际的可操作性，本研究决定将学习者在中国大学精品开放课程的官方网站——爱课程网中对资源共享课的评论内容作为研究对象。为了保证取样的信度和样本的代表性，样本课程的选择按照系统展示的总人气排行榜确定，并选择两名对在线开放课程质量评价指标体系有较好理论素养和敏感性的研究人员A和B，他们能够对前人的、资料中的以及自己正在构建的理论保持警觉，进而发展和发现理论（Glazer， 1978）。在逐条阅读课程评价的过程中，如发现有灌水帖的情况，即一个学员连续重复发很多无意义的帖子，例如“学号****，前来报到”等，则会放弃该课程作为样本，按照人气排行榜依次往下选择课程。为避免课程评论内容相似的可能，根据研究人员的判定和商讨，最终选择的8门课程为“大学化学实验”“高等数学”“C语言程序设计”“民法学”“金融学”“毛泽东思想和中国特色社会主义理论体系概论”“麻醉药理学”“计算机硬件技术基础”。这些课程涵盖了人文社科和理工科学习内容，既包括专业课程，也包括学科基础课程，评论数多，评价内容不断更新，且学习者绝大部分是在校大学生，接受过高等教育，具有一定的网络操作技术，学习反馈不会影响评价的信度。尽管如此，学习者的评价主观色彩比较浓厚、零散，需要研究者做出一定的舍弃。比如，有些评论内容过短或者评论内容与课程质量无关，如“不错”“很好”“我喜欢这门课”“我要将这个网站推荐给我的同学”等。这就需要研究人员在选择评论内容的时候将其舍弃，以保证每一条评论内容必须含有课程质量方面的描述语句。对于存在争议的评论语句，A和B两位研究人员需要共同协商后做出取舍。在本研究中，每门课程抽取30条评论，共240条评论作为研究样本。评论的选取采用等距抽样方法，例如：如果一门课程有300条有效评论，对评论按发表时间进行1—300排序。首先确定样本距离为300/30=10，再随机在1—10之间选择一个起点数，比如选择3，则研究人员只需选择第3条、第13条、第23条，等等，依此类推共选择30条评论作为样本。

2. 數据分析

将收集的240条评论编号为K1—K240并进行开放性编码。开放性编码是用概念来标示资料和现象的资料诠释过程（张天问， 等， 2014）。首先对每条评论的内容进行现象摘要，并规范化形成初始概念，即判断学习者评论的是课程质量的哪一维度，这里的初始概念即指标体系中的二级指标。然后根据二级指标间的相关程度，归纳总结形成范畴，这里的范畴即指标体系中的一级指标。此阶段形成的评价指标体系在指标之间有可能存在重复等问题。接下来进行轴心编码。扎根理论认为类属之间的关系也是组成理论的一部分（Foley & Timonen， 2015）。所以，该阶段是通过进一步分析初始概念（二级指标）和范畴（一级指标）之间的关系，调整、合并或删除某些指标，最终得到比较完善的指标体系。

3. 信度检验

为尽可能避免主观因素对编码信度的影响，本研究决定采用以下方法确保编码的一致性信度：A研究者根据资料确定初始概念，然后抽取25%的数据交给B和C研究者，各自独立根据资料确定初始概念，计算信度R，两个研究者确定的范畴一致性程度越高，R越大，说明越可信（李兴旺， 2015）。其中，R=n*k/1+（n-1）*k，n为评判员人数，k为平均相互同意度，即两个研究人员之间相互统一的程度，k=2M/N1+N2，M为两者都完全同意的评论数，N1和N2代表研究人员各自分析的评论数。

4. 理论饱和度检验

扎根理论强调从资料中产生理论、持续比较以及数据收集与分析同步的思想，初步得出的理论属于实质理论。为了保证理论的有效性，需要进行理论的饱和度检验。按照周人气排行榜，选取“组织学与胚胎学”“小学科学课程标准与教材研究”“小学英语教学设计”“管理运筹学”4门课程的120条评论作为理论饱和度检验的样本。对照形成在线开放课程评价指标体系，看是否有新的概念产生。如果有，首先计算其所占的比重，如果小于2%，则可以忽略不计，否则需要将新的指标整合到初始指标体系中去。

三、研究过程和研究结果

（一）开放性编码

对编码为K1—K240的原始评论语句进行现象摘要分析，并进一步规范化，共得到300（aa1-aa300）条初始概念。可以发现这些初始概念较多且重复性大，所以对初始概念进行分类合并，最终共得到21个初始概念，编码为A1—A21，分别为：教师的语言、教师的教学风格、教师的教学水平、教师的教学方式、教师队伍的稳定性、师生之间的交流、教学内容的有用性、教学内容的权威性、教学内容的完整性、是否支持课程下载、系统的稳定性、系统的响应速度、系统的兼容性、视频画面的质量、视频声音的质量、视频信息传递的有效性、辅助性资料的易获得性、辅助性资料的可获得性、课程管理、用户管理以及通知性消息的发布。根据初始概念之间的相互关系和相关程度，将这些概念进一步范畴化，即对它们重新进行分类组合，最终共得到6个范畴，编号为AA1—AA6，分别为教师队伍、教学内容、系统特性、视频质量、辅助性学习资料以及管理。资源共享课评论内容开放性编码示例如表1所示。

（二）主轴编码

为发现初始概念与范畴之间的关系，确定主要类属和次要类属，采用定性和定量相结合的方法进行主轴编码。首先计算每个初始概念占总样本数量的百分比，具体如表2所示。

通过对表2进行整体的数据分析，将所占比重低于2%的初始概念剔除或者整合。由此，师生之间的交流（A6）、用户管理（A20）和通知性消息的发布（A21）三个初始概念被剔除。课程管理所占比重为0.7，即只有一条记录，即编号为K27的原始语句，内容为“第九章第5讲的两个视频怎么是一样的？请管理员查看一下，上传短缺的视频”。可以发现其原因是管理员对课程管理存在失误，造成教学内容不完整，所以将课程管理与教学内容的完整性整合。最终得到了含有5个一级指标和17个二级指标的在线开放课程质量评价指标体系，如表3所示。endprint

在开放性编码过程中，A研究者共分析了240条评论，B和C研究者各自分析了相同的60条评论。以三名研究者所分析的60条相同的评论作为信度分析样本，三者编码的信度分析结果如表4所示。

表4 编码的信度分析结果

[ A&B B&C A&C 完全互相同意的评论数 45 47 48 平均相互同意度（K） 0.75 0.78 0.8 ]

三者的平均同意度K≈0.78，帶入信度计算公式得R约为0.91。由于信度系数高于0.9，因此编码的信度较高。研究者B对四门周热门课程的120条评论进行了开放性编码，只出现了“课程时间太长”这个新概念，但所占比重小于2%，所以可以舍弃。整体检验结果表明：目前形成的理论（评价指标体系）已经达到阶段性理论饱和。

（四）对评价指标体系的讨论

一方面，可以从学习者的一般学习过程分析该评价指标体系的合理性。学习者学习首先需要登录课程系统，选择相应课程并点击课程视频进行学习，所以系统的响应速度、稳定性等特性以及视频的质量是影响学习者继续学习意愿的重要因素。良好的系统特性、高质量的视频是学习者适应虚拟学习环境的有力保障。在学习者正式学习阶段，优秀的教师队伍不仅能够传递给学习者最科学、有用的知识，而且能激发学习者的学习动机，给学习者正确的指引，燃起学习者对知识的渴望，充分调动学习者的主动性和积极性，同时能够在一定程度上弱化学习者对课程其他不足方面的感知。学习者完成对一个单元的学习后，希望将包含新知识的文本性学习资料保存到自己本地的学习空间中，方便之后的学习回顾，由此获得完整的学习体验。通过从学习者学习过程的角度进行分析，可以发现5个一级指标涵盖了学习者完整的学习过程。教师队伍和教学内容是课程质量的核心，系统特性和视频质量是课程质量的技术保障，辅助性学习资料是课程质量的内容支持。

另一方面，从学习者角度出发建立的质量评价指标主要关注的是学习者的学习体验，包括对课程环境的体验、对学习活动的体验以及对学习效果的感知（刘斌， 等， 2016）。所以，一次良好的在线学习体验必须具备的首先是舒适的学习环境，包括课程平台的技术环境、课程内容、多样化的辅助资源以及课程结构等；其次是愉悦的学习活动体验，教师的教学风格、教学方式等能够决定学生学习的自由度、参与度，最终影响学习者在主要学习环节的感受；最后是对学习效果的反馈和加强，自我测试资料和课堂学习资料可以提高学习者对学习效果的感知。可见，本研究所构建的课程质量评价指标体系与良好在线学习体验的必要要素是相契合的。

四、总结与启示

（一）总结

本文采用扎根理论的方法，充分考虑学习者的感受和真实需求，得出了在线开放课程质量评价指标体系。较之从专家和学者角度制定的评价体系，该评价指标体系的评价主体明确，对建设最大限度满足学习者当前和未来需求的高质量在线开放课程有重要的指导意义。由于该体系中的指标是通过编码的方式得到的，指标明确，针对性强，说明细致，参照性和可靠性好。实施课程质量评价时，结合评价目标，根据该指标体系设计面向学习者的调查问卷或者访谈方案即可，所以评价体系具有较高的可用性。但随着技术的不断升级和在线开放课程的不断发展，在线学习者的需求与评论也会随之变化，这就需要研究者及时观察，不断调整评价指标。该评价指标体系没有给出指标的具体权重，需要在后续研究中进行完善。但使用者可以参照本研究中给出的初始概念所占比重，考虑不同类型的在线开放课程和学科的差异性以及评价的目的，自行合理分配权重。

（二）启示

根据该评价指标体系的5个一级指标，结合当前在线开放课程建设中存在的一些问题，提出保障在线开放课程质量的对策和建议。

1. 系统特性

在随机选取的300个初始概念中，提到系统特性的比例为18.6%，即100人中有18～19人对系统的兼容性、稳定性、响应速度等进行了评价。例如编号为K39的评论内容为：“昨天还能用，今天进不去了，显示未知错误，谁知道咋回事呀？”K114为：“手机上面为什么没有，我下载了手机客户端，的确找不到。”系统特性是在线课程质量评价的基础性指标，这些评价反映出爱课程网作为我国主要的在线开放课程平台，在网络硬件环境、对学习者的技术保障和支持服务等方面还存在一定欠缺。建议增加系统管理和维护人员数量，进一步优化程序，设计良好的页面，定时对网站进行更新和维护等以提高系统的稳定性；通过优化系统（电脑端、Android系统端、IOS系统端）的兼容性，提供课程下载功能以保证学习者在不同的接收端都能随时随地进行学习，切实提高学生对课程质量的满意度。

2. 视频质量

本研究样本中，有16%的学习者评论提到了视频画面和声音的清晰度以及信息传递。例如K91提到：“讲得不错，就是视频清晰度不够。”K180提到：“终于找到可以看得比较清楚的课程视频了，好爽！”等等。媒体技术的不断发展对在线课程视频质量的很多方面提出了更高的要求。制作标准的变化要求制作课程视频的技术人员不断学习，掌握新的技术，并不断关注标准是否有新的变化。在视频信息传递方面，很多评论提到没有字幕的视频在接收信息时会增加认知负荷，大大降低学习的热情。所以无论讲课教师采用哪一种语言、普通话是否标准等，所有的课程视频都有必要添加字幕。此外，拍摄教学视频时，教师和录制人员要提前进行良好的沟通，只有录制人员明白了教师的授课意图，才能做好镜头的衔接、场景的转换等，这是顺利、有效完成录制的前提条件。否则，就会出现K24提到的“不拍PPT ，拍老师，谁知道讲的啥”的类似问题。

3. 教师队伍

影响一门在线开放课程质量的最核心因素是教师。本研究中，涉及对教师评价的样本占32.7%。通过分析学习者的评论发现，教学质量不仅取决于教师的专业知识水平，更与教师的提问素养、言语和非言语素养以及教学方法等密切相关。例如编号为K86的内容为：“很喜欢老师声情并茂地讲课，很细心，很全面的马克思主义中国化的理论成果，真心好的上课方式和风格。”K93：“老师以提问的方式开头很好，引导同学们思考。”等等。在线开放课程中的教师以口头传授知识为主，所以适当的高等级提问能够激发学习者的学习动机，增强学生对课程的参与感，让学生变成知识的主动建构者；风趣的言语表达、丰富的肢体语言有利于吸引学生的注意力，清晰解释知识和原理；采用一定教学方法（基于案例或者基于问题的教学等）可以激发学生的学习兴趣，调动学生思维。所以教师的选择不能过于重视教师的头衔，要以考察教师的综合素质为主。endprint

4. 教学内容

样本中18%的评论涉及教学内容，作为一门课程传递知识的主要载体，其所占比例低于预期判断。原因之一是，目前我国的在线课程学分认定机制还处于初步探索阶段，大学生们在完成本校学业的基础上，另外花费大量时间和精力去学习一门在线课程存在一定挑战和困难。所以，很多学习者学习在线课程的原始期望不是通过课程让自己掌握基础知识，而是将在线课程作为自己学业的辅助工具，解决在现实生活中不能解决的问题。但目前很多在线课程的教学目标与学习者的期望并不一致，教师的讲解和课程视频的制作不能明显突出学习者比较感兴趣的重点、难点知识的讲解和习题的解答等。所以，课程制作团队和教师要以学生为中心，做好前期调研和备课工作，设计形式多样的教学流程，在后期视频中添加知识点标注，让学习者轻松把握重点、难点，产生新知识，在头脑中建构自己的知识结构，提高学习者对教学内容有用性的感知。

5. 辅助性学习资料

样本评论中涉及课程PPT、习题和测试题等辅助性学习资料的所占比例达10%，例如K78评论内容为：“为什么试卷和习题不能下载呢？如果能下载就方便多了，自己测试也很有效果。希望能下载。”K98：“还可以在网上做习题，巩固了知识。”K40：“老师们好，同学们好，请问一下课堂的PPT如何下载？”10%的比例足以证明辅助性学习资料在在线课程学习中的重要性。辅助性学习资料的不可得会严重影响学习者的学习态度和学习效果。教师和课程管理人员需要认识到辅助性学习资料对学习者的重要性，及时上传学生期望获得的学习资料。在这个过程中可能会涉及知识产权或专利等法律问题，相关人员需要积极探索在线开放课程中课程拓展资源与个性化学习服务的市场化运营方式（王友富， 2015 b），学校、第三方机构、课程平台要形成一个良性机制，建立在线开放课程的生态体系，让课程和资源得到最大效率的应用，给学习者提供更高质量的在线课程。

[参考文献]

陈向明. 1994. 扎根理论的思路和方法[J]. 教育研究与实验（4）：58-63.

陈向明. 2015. 扎根理论在中国教育研究中的运用探索[J]. 北京大学教育评论（1）：2-15.

冯南平，唐运舒，彭张林，王素凤. 2013. 基于扎根理论-统计方法-信息熵的民生工程建设评价指标体系构建[J]. 预测（6）：66-72.

费小冬. 2008. 扎根理论研究方法论：要素、研究程序和评判标准[J].公共行政评论（3）：23-43.

教育部. 2015-04-16. 教育部关于加强高等学校在线开放课程建设应用与管理的意见（教高[2015]3号）[EB/OL]. [2016-06-10]. http：//www.moe.edu.cn/srcsite/A08/s7056/201504/t20150416_189454.html

刘斌，张文兰，江毓君. 2016. 在线课程学习体验：内涵、发展及影响因素[J]. 中国电化教育（10）：90-96.

李建鹏. 2011. 网络课程评价标准的现状及其问题对策研究[J]. 经营管理者（23）：398，391.

李兴旺. 2015-04-26.案例研究好方法：扎根理论[EB/OL]. [2016-06-10]. http：//www.docin.com/p-1074005008.html

尼古拉斯_法内斯，宋志勤. 2003. 开放远程教育网上资源库开发的质量保证[J]. 中国远程教育（1）：31-38.

邱均平，欧玉芳. 2015. 慕课质量评价指标体系构建及应用研究[J]. 高教发展与评估（5）：72-81.

孙传远. 2013. 开放课程质量评价研究及其启示[J]. 重庆广播电视大学学报（2）：42-47.

孙传远，孙少华. 2014. 专家视野中的开放课程质量评价指标体系——基于德尔菲法的调查分析[J]. 职教论坛（9）：40-45.

王璐，高鹏. 2010. 扎根理论及其在管理学研究中的应用问题探讨[J].外国经济与管理（12）：10-18.

王友富. 2015a. 从“3号文件”看我国在线开放课程发展趋势[J]. 中国大学教学（7）：56-59.

王友富. 2015b. 我国在线开放课程的发展及图书馆与图书馆学人的作为[J]. 大学图书馆学报（6）：17-24.

姚建青. 2013. 精品视频公开课评价指标研究[D]. 上 海：复旦大学高等教育研究所.

张家年，占南，李阳. 2015. 基于网络计量学的网络课程评价方法研究[J]. 远程教育杂志（1）：66-72.

周晓华. 2013. 美国高校开放在线课程的发展过程研究[D]. 广州：华南理工大学公共管理学院.

张秀梅. 2012. 精品课程评审指标体系分析[J]. 中国电化教育（10）：76-80.

张天问，吴明远. 2014. 基于扎根理论的旅游幸福感构成——以互联网旅游博客文本为例[J]. 旅游学刊（10）：51-60.

Dayton， D.， & Vaughn， M. M. （2007）. Developing a quality assurance process to guide the design and assessment of online courses .Technical Communication， 54（4）：475-489.

Foley， G.， & Timonen， V. （2015）. Using grounded theory method to capture and analyze health care experiences. Health Services Research ， 50（4）：1195-1210.

Glaser， B. G.， & Strauss， A. L. （1967）. The discovery of grounded theory： Strategies for qualitative research. New York： Sociology Press.

Glazer， B. G. （1978）. Theoretical sensibility： Advances in the methodology of grounded theory. Journal of Investigative Dermatology， 2（5）：368-377.

Lin， H. F. （2010）. An application of fuzzy AHP evaluation course website quality. Computers & Education， 54（4）：877-888.

收稿日期：2016-11-25

定稿日期：2017-02-20

作者簡介：王璐，硕士研究生；赵呈领，教授，博士生导师。华中师范大学教育信息技术学院（430079）。

万力勇，博士，副教授，硕士生导师，本文通讯作者，中南民族大学教育学院（430074）。

责任编辑 单 玲endprint