增强现实画面与知识类型的适配性研究*——基于安德森的细化知识分类

2023-10-19贺肖肖冯廷珺

现代教育技术 2023年10期

刘潇贺肖肖冯廷珺薛彬

刘潇1贺肖肖1冯廷珺1薛彬2

（1．天津师范大学教育学部，天津 300387；2．沧州交通学院计算机与信息技术学院，河北沧州 061100）

当前，增强现实（Augmented Reality，AR）学习资源普遍存在“形式大于内容”的问题，严重制约了其在促进知识教学方面功能的发挥。为有效实现AR技术与知识教学的深度融合，避免“技术僭越知识教学”问题的产生，文章遵循“适配关系（是什么）→适配依据（为什么）→适配设计（怎么样）”的逻辑进行了研究。首先，文章以安德森的细化知识分类为依据，确定并梳理出5种AR画面适合表达的知识类型；然后，文章依次分析了各适配知识类型的特点及AR画面的表达优势；最后，文章探讨了上述研究的落地问题，即关注AR画面的语义融合设计，包括语义融合注释设计、语义融合场景设计和语义融合交互设计，以期最大程度地发挥“AR+知识教学”的潜力与价值。

增强现实；知识类型；多媒体画面；语义; 学习资源

引言

当前，AR技术在知识教学中的应用存在实践效果与理论潜力不相匹配的现实难题，原因之一是现阶段AR学习资源多注重形式而非内容。这种“重技术轻知识”的弊端，往往会使AR学习资源沦为仅能进行信息传递的工具，无法真正起到帮助学习者实现知识内化的作用。

而优质的AR学习资源应能实现AR技术与知识教学的“深度融合”，即两者相辅相成、相互贡献、亲密无间、合为一体的状态[1]。这就要求设计者在充分发掘AR技术应用于知识教学潜力的同时，尽可能规避其被过度应用的风险。谨防AR技术僭越知识教学的关键在于明晰其适用限度，知识的类型限度和AR技术的功能限度为资源的设计划定了客观边界[2]。AR学习资源通常以画面形式呈现给学习者，因此有必要对“AR画面与知识类型的适配性”（包含适配关系、适配依据和适配设计）进行深入探讨，促使整个画面设计过程合需、合规，有效提升AR学习资源设计水平。考虑到知识教学通常以“知识点”为单位，本研究选取安德森的细化知识分类作为判断知识类型的依据进行探索，使AR画面与知识类型的适配性更具针对性。

一概念基础及前期工作

1 概念基础

（1）AR画面

AR画面即AR学习资源画面，是一种基于数字化屏幕呈现的，利用图、文、声、像、交等多种视听媒体要素综合表现的，将虚拟画面与现实画面按一定约束关系叠加而成的新型媒体画面。其中，起“增强”作用的虚拟画面可称为“增强画面”，即“A画面”；通过对现实世界的摄取而得到的画面可称为“现实画面”，即“R画面”[3]。图1展示了A、R画面与AR画面之间的关系，图中手机屏幕显示的AR画面包含两部分：由摄取得到的风景画面为R画面，在R画面上叠加的文本“这里有美丽的风景”属于A画面。

图1 A、R画面与AR画面之间的关系

（2）知识分类

人类的知识丰富多样，其划分标准也尚未统一。本研究倾向于按照知识的属性来对知识进行分类，包括事实性知识、概念性知识、程序性知识以及元认知知识[4]。

2001年，以当代著名课程理论与教育研究专家安德森为首的一个专家小组对经典的布卢姆认知教育目标分类学进行了修订，将认知领域的教育目标（学习结果）划分为知识维度和认知过程维度。其中，在知识维度对上述四种知识类型进行的细化，符合本研究对知识点进行分析的需求。四类知识及其相关亚类如表1所示[5]。

表1 四类知识及其相关亚类

2 前期工作

本研究前期在构建AR画面设计模型时，曾尝试分析画面设计类型（如注释设计、场景设计、交互设计）与知识类型的匹配性。通过对从事AR教育、多媒体画面设计等研究领域的16位专家进行意见征询，发现AR画面的优势体现在对事实性知识、概念性知识和程序性知识的表达上。其中，具体细节和元素知识、术语知识、理论模型与结构的知识得到了大多数专家的认同。

上述结论对确定AR画面与知识类型的适配性起到了一定的指导作用，但仅仅采用专家意见征询的方式得到结论不免带有较强的主观性，有必要结合相关实证案例进行系统回答。为此，本研究以国内外相关文献为依据，以内容分析法、文献研究法、归纳与演绎为主要手段，遵循“适配关系（是什么）→适配依据（为什么）→适配设计（怎么样）”的逻辑，深入探讨了AR画面与知识类型的适配性问题。

二研究设计

1 研究问题

当前AR学习资源多存在“形式大于内容”的问题，严重阻碍了其教育潜力的充分发挥。为避免“AR技术僭越知识教学”问题的产生，本研究希望通过深入探讨AR画面与知识类型的适配性来进一步明晰AR技术在知识教学方面的适用限度，具体包括：①AR画面究竟适合表达何种知识？②为什么AR画面适合表达特定类型知识？③如何根据知识类型设计AR画面？

2 研究对象

本研究将“AR技术应用于基础教育的相关文献”作为主要研究对象，以体现AR技术与普适性知识教学之间的关联。在文献筛选方面：从类型上看，期刊论文往往经过层层把关，在质量上较其他文献类型更具保障；从内容上看，实证类文献包含大量详尽的数据，可为本研究提供有效的客观依据；从范围上看，国内外文献在探索AR技术教育应用的有效性时，往往基于不同角度、不同对象和不同方法，有助于增强本研究的说服力。

3 研究方法

本研究遵循“适配关系（是什么）→适配依据（为什么）→适配设计（怎么样）”的逻辑，对前面提出的三个研究问题分别进行回答。针对问题1，采用内容分析法分析相关实证案例中的适配情况；针对问题2，采用文献研究法分析适配知识类型的特点及AR画面的对应功能；针对问题3，通过归纳与演绎来说明如何进行AR画面语义融合设计。

4 研究路线

上述三个问题层层递进，需要依次回答。结合前文描述，可得到如图2所示的研究路线图。图2呈现了本研究的核心研究问题、具体研究内容，各阶段采用的主要研究手段、方法与技术。

图2 研究路线

三研究过程

1 针对问题1的“适配关系”研究过程

（1）数据库及关键词选取

为确保所获取的文献“量”足且“质”高，本研究选取中国知网（CNKI）、维普、万方、超星、Springer、ScienceDirect、JSTOR等国内外经典数据库作为文献来源。

在具体检索时，中、外文数据库检索语句分别为：主题='增强现实'*(‘教育’+‘教学’+‘学习’) AND 摘要=‘小学’+‘中学’+‘初中’+‘高中’，主题=(Augmented Reality) AND( (education) OR (instruction) OR (learn)) ) AND (摘要=((elementary school) OR (Junior high school) OR (senior high school) OR (middle school) OR (primary school) OR (K12) OR(K-12)；文献类型分别为“期刊论文”“Article”。采用2022年10月26日（未设定起始时间）的检索结果，得到中文文献30篇，外文文献155篇。

（2）确定文献纳入和排除条件

为确保样本文献纳入的准确性和文献分析结果的可靠性，基于研究问题，本研究针对在前一环节得到的185篇文献制定了文献纳入/排除标准，如表2所示。

表2 文献纳入/排除标准

（3）文献筛选和分析

结合表2所示的文献纳入/排除标准，本研究共筛选得到24篇符合要求的文献，具体分布情况如表3所示。

表3 适用文献分布情况

（4）确定分析单元

为更好地对AR画面所表达的知识进行分类，本研究将分析单元具体化为单个知识点。相关文献并未对知识点进行专门说明，研究者需通读文献，根据文中对教学内容的描述以及部分测试题目，将知识点逐一挖掘和提炼出来，共计得到103个知识点。

表4 内容分析类目表格

（5）设计类目表格

由于单篇文献中涉及的教学内容包含不止一个知识点，本研究以知识点为分析单元，结合表1所示的知识分类，将各知识亚类分别编号为L1、L2、……L103，设计出如表4所示的内容分析类目表格。

（6）评判记录

本研究团队中的3名作者（1名教师及2名硕士研究生）分别作为评判员A、B、C，各自独立逐个分析知识点，在表4中满足条件的单元格内标记“√”。要求每个知识点只能从属于一个知识亚类，若标记时出现单个知识点从属于多个知识亚类的情况，则该条目作废。

（7）信度分析

评判后，本研究以知识点为分析单元，统计3名评判员编码的一致程度。结果显示，评判员两两间的相互同意度分别为：K≈0.92、K≈0.92、K≈0.91，而3名评判员的相互同意度=(K+K+K)/3≈0.92。根据信度的计算公式)/[1+(3-1)]，可知信度，大于0.90的基本标准，可直接采用评判员A的评判记录。

2 针对问题2的“适配依据”研究过程

（1）文献搜集

本研究重点阅读的文献主题及类型如下：①主题一，知识分类。将安德森等编著的图书《学习、教学和评估的分类学》作为深入了解各类知识特征的主要依据。②主题二，增强现实。主要通过“AR+教育”的综述类论文及本研究表3包含的实证类论文系统梳理AR技术的教育优势。③主题三，多媒体画面。通读由天津师范大学王志军教授带领的“多媒体画面语言学”研究团队发表的以《多媒体画面语言学理论体系的构建研究》为核心的系列论文，明确多媒体画面的组成要素及设计要点。

（2）文献整理

在阅读上述文献的同时，本研究以“知识分类”“增强现实”“多媒体画面”为主题，分类记录了每篇文献的作者、题名、发表时间、资料来源、主要观点等内容，实现了对相关文献的统计和整理。

3 针对问题3的“适配设计”研究过程

（1）归纳

遵循“个别→一般”的思路，本研究在前期阅读大量实证案例的基础上，寻找其共性，并归纳总结出AR画面与知识类型的语义融合关系图，以及AR画面语义融合设计流程图。

（2）演绎

遵循“一般→个别”的思路，本研究以AR画面语义融合设计流程图为依据，分别对其中的几个关键环节（语义融合注释设计、语用融合注释设计、语构融合注释设计）进行说明并列举了若干相关案例。

四结果与分析

1 AR画面与知识类型的适配关系

经过前文关于“适配关系”研究的内容分析，并依据表4所示的内容分析类目表格和评判员A的评判记录，本研究得到各知识大类及其亚类被选百分比，如表5所示。由表5可知，从知识大类被选情况来看，AR画面通常被用于表达事实性知识和概念性知识，元认知知识鲜有涉及。从知识亚类被选情况来看，百分比达到10%及以上的知识亚类包括事实性知识中的术语知识（L1）、具体细节和元素知识（L2），概念性知识中的原理和通则知识（L4）、理论模型与结构知识（L5），程序性知识中的具体学科技能和算法知识（L6），与前期专家意见征询的结果基本一致，可将上述知识亚类视为现阶段AR画面适合表达的知识类型，从而明确AR画面与知识类型的适配关系。

表5 各知识大类及其亚类被选百分比

2 AR画面与知识类型的适配依据

通过重点阅读并梳理“知识分类”“增强现实”“多媒体画面”三大主题的相关文献，本研究对与AR画面具有适配关系的五种知识类型进行了分析，并将适配知识类型的特点及AR画面的对应功能作为适配依据，总结如下：

（1）AR画面可将抽象的“术语知识”形象化

术语知识包括特殊言语和非言语符号（如词、数字、标记、图画），属于戴尔“经验之塔”中“抽象的经验”，具有抽象性、专业性和精确性，学习者习得难度较高。

AR画面中的3D模型可将抽象概念以立体方式可视化、形象化，允许学习者进行不同的视角操纵（如移动、缩放、旋转等）并观察3D模型，变抽象为具象，从中获得“做的经验”和“观察的经验”[6]，降低学习难度。例如，对于汉字“羊”，可以将羊的形象以3D模型展示[7]，辅之以视频说明、真人发音等媒体内容，允许学习者通过缩放观察羊的肢体细节并采用语音录入、字母拼写、触屏交互等方式检验学习效果，实现对其视、听、触觉等多重认知通道的充分利用，有效提升学习者对该汉字字义的掌握水平。

（2）AR画面可将繁杂的“具体细节和元素知识”可控化

具体细节和元素知识包括时间、地点、人物、事件、信息源等，较为独立、琐碎和分散，且有主次之分，容易给学习者带来大量的外在认知负荷，在学习时需要把握重点。

AR画面可选择性设计A画面并将其叠加于R画面之上，严格控制画面刺激的数量，将学习者的学习注意聚焦于关键信息，有效降低其外在认知负荷。同时，AR画面所提供的丰富交互类型使学习者对具体细节和元素知识的把握更加游刃有余。例如，在光合作用实验的例子中，学习者可利用AR画面中呈现的虚拟滑竿对光照强度、水分、二氧化碳等影响因素进行数值的调节[8]，同时借助手势操纵或调整卡片角度来实现对叶绿体3D模型的全方位观察，通过分析数值调节与叶绿体形态变化的关系加深对光合作用的理解。

（3）AR画面可将深奥的“原理和通则的知识”情境化

原理和通则的知识通常用于描述大量具体事实和事件之间的过程和相互关系，具有高度的关联性和概括性，需要学习者对其总括和组织的现象达到充分理解，给学习者带来更大的挑战。

AR画面可为学习者提供真实的学习情境，并允许其与情境中的人、物质进行广泛交互，实现信息、资源与原有的体验、知识和价值体系的有效链接，促进有意义学习的真正发生[9]。例如，在利用交互式AR教具模拟化学电解反应的实验时，可为学习者提供两张AR画面，分别用于呈现微观场景和宏观场景。学习者一方面可同步观察溶液中离子的变化过程以及溶液颜色变化的现象，另一方面可执行“按下开关按钮”“设定温度”“接通直流电源”等交互[10]，通过情境化学习深入理解电解池的工作原理。

（4）AR画面可将多元的“理论、模型与结构的知识”条理化

理论、模型和结构的知识包括原理、概括及其组合成相互联系的知识，能显示广泛范围的具体事实分类、类目、原理和概括之间的相互联系，概括性、抽象性处在较高的水平。

AR画面采用空间视角，允许学习者操纵画框并与外部世界产生相对运动，画面内容不再受画框比例的限制，将现实世界与虚拟画面彼此融合，从而使复杂、多元的知识关系网络得以清晰呈现。学习者身处其中，可通过身体运动与动态变化的AR画面之间产生交互作用，减少自身工作记忆需求，帮助长时记忆建立和强化关于“理论、模型和结构知识”的高质量认知图式[11]。例如，“食物链”AR概念图画面可用于呈现食物与食物之间的链锁关系。在该画面中，各生物以3D模型呈现并存在于节点位置，生物之间的“被吃”关系可由带红色问号的虚拟蓝线（代表未连接）或纯黑色箭头（代表已连接）来表示[12]。学习者触发红色问号后，可按照自己喜欢的探索顺序了解不同生物之间的食物链结构，在自主交互中提升对该知识的掌握水平。

（5）AR画面可将固定的“具体学科技能和算法的知识”互动化

具体学科技能和算法的知识属于程序性知识，可以表达为有固定结果的一系列步骤，需要学习者做出合理决策以得到理想的结果。此类知识的获得离不开练习与反馈。

AR画面具备空间视角和深层交互的特征，利用自然交互设备将具体学科的技能和算法一步步呈现，并允许学习者与画面元素实时互动，这有助于点燃学习者的学习动机和兴趣，使其获得良好的互动体验。例如，对于“圆柱体体积公式的推导”问题，学习者可利用AR画面提供的空间视图实现对圆柱体3D模型全方位无死角的观察，同时可利用移动、缩放、旋转等操作将圆柱体3D模型拆解为熟悉的长方形、圆形、圆锥体等，记录长、宽、半径等数据，重新组装圆柱体3D模型，思考并推导形成圆柱体体积公式。

3 AR画面与知识类型的适配设计

AR画面的设计决定了AR学习资源的质量。在明确了AR画面与知识类型的适配关系及适配依据后，本研究通过归纳和演绎，继续探讨如何将研究成果应用于AR画面设计当中，即研究的“落地”问题。关于“适配设计”的目标及方法总结如下：

图3 AR画面语义融合关系图

（1）目标：有效实现AR画面语义融合

AR画面设计的初始步骤是完成画面语义融合设计，即考虑A、R画面中各元素之间的语义逻辑关系，关注各元素与教学内容之间的匹配关系，实现AR画面的“信息架构”[13]。AR画面语义融合关系图如图3所示。

由图3可知，AR画面由A画面与R画面叠加而来，但这种“叠加”并非无意识、无目的的，而应确保A、R画面在内容上恰当关联。由此叠加而成的AR画面能与适配知识亚类中的知识建立科学、完善的语义逻辑关系，并能对相关知识进行内容上的充分表达。

（2）方法：语义融合注释设计+语义融合场景设计+语义融合交互设计

具体到AR画面设计实践，应首先对教学内容加以分析，判断知识点是否属于图3中的适配知识亚类。若是，则进行AR画面语义融合设计。该环节可选择“语义融合注释设计”“语义融合场景设计”“语义融合交互设计”中的一种，或上述不同设计方法的组合，如图4所示。

图4 AR画面语义融合设计流程

①语义融合注释设计。语义融合注释设计是指根据知识点的内容及类别，结合既定的R画面内容，合理设计A画面中应呈现的信息，实现A画面对R画面内容的注解。案例如表6所示。

②语义融合场景设计。语义融合场景设计是指根据知识点的内容及类别，结合既定的A画面内容，有选择地适当干预R画面中应当呈现的信息，使R画面能为A画面内容提供合理的语境。案例如表7所示。

表7 语义融合场景设计的相关案例

③语义融合交互设计。语义融合交互设计是指根据知识点的内容及类别，充分利用A画面和R画面的交互功能完成AR画面的组接，以实现有形输入与数字输出之间紧密映射关系的建立，最大程度地发挥学习者的主观能动性，从而帮助学习者更好地理解知识点的要求。案例如表8所示。

表8 语义融合交互设计的相关案例

综上所述，在利用AR画面表达术语知识、具体细节和元素知识、原理和通则知识、理论模型和结构知识以及具体学科知识和算法的知识时，采用“语义融合注释设计+语义融合场景设计+语义融合交互设计”的方法可有效构建A、R画面的语义链接，切实实现AR画面语义融合。

五总结与展望

AR画面是AR学习资源中与学习者关系最为密切，并对其学习效果有直接影响的部分。研究AR画面与知识类型的适配性，有助于明晰AR技术的适用限度，避免“技术僭越知识教学”问题的产生。相比传统的知识属性分类标准，安德森提出的知识亚类对于小粒度的知识点更具针对性。基于这一前提，本研究先后分析了AR画面与知识类型的适配关系、适配依据与适配设计，丰富和完善了先前构建的AR画面设计模型，提出了AR画面语义融合设计方法，为加强AR学习资源建设奠定了基础。当前，本研究的成果尚未在实践教学中推广和检验，因此后续研究将结合中小学教材内容，为属于适配知识类型的知识点设计AR画面，并通过实验验证其有效性，为推动AR学习资源在教育领域的大规模普及、助力元宇宙建设贡献力量。

[1]吴康宁.信息技术“进入”教学的四种类型[J].课程·教材·教法,2022,(2):10-14.

[2]罗祖兵,韩雪童.信息技术对知识教学的僭越之思与破解之道[J].中国电化教育,2022,(2):60-68.

[3]王志军,刘潇.促进学习情境转化的增强现实学习资源设计研究[J].中国电化教育,2019,(6):114-122.

[4]王志军,王雪.多媒体画面语言学理论体系的构建研究[J].中国电化教育,2015,(7):42-48.

[5][美]安德森L W,克拉斯沃尔D R,艾雷辛P W,等著.皮连生译.学习、教学和评估的分类学—布卢姆教育目标分类学修订版(减缩本)[M].上海:华东师范大学出版社,2008:35-55.

[6]张燕,翔朱赟,董东,等.从“经验之塔”理论看增强现实教学媒体优势研究[J].现代教育技术,2012,(5):22-25.

[7]王璇,李磊.基于增强现实的儿童汉语学习图书设计与开发[J].中国编辑,2020,(8):64-69.

[8]蔡苏,李毓檀,赵茜,等.增强现实技术探秘微观细胞——增强现实(AR)在K-12教育的实证案例之十一[J].中小学信息技术教育,2018,(12):66-68.

[9]于泽元,那明明.情境化学习:内涵、价值及实施[J].华东师范大学学报(教育科学版),2023,(1):89-97.

[10]蔡苏,张鹏,李江旭,等.交互式AR教学对中学生认知能力的影响——以高中化学电解池知识点为例[J].现代教育技术,2021,(1):40-46.

[11]Chang K E, Chang C T, Hou H T, et al. Development and behavioral pattern analysis of a mobile guide system with augmented reality for painting appreciation instruction in an art museum[J]. Computers & Education, 2014,(2):185-197.

[12]Chen C H, Chou Y Y, Huang C Y. An augmented-reality-based concept map to support mobile learning for science[J]. The Asia-Pacific Education Researcher, 2016,(4):567-578.

[13]刘潇.增强现实学习资源画面优化设计研究[D].天津:天津师范大学,2019:53-56.

Study on the Adaptability of Augumented Reality (AR) Screen and Knowledge Type——Based on Anderson’ Refined Knowledge Classification

LIU Xiao1HE Xiao-xiao1FENG Ting-jun1XUE Bin2

At present, the augmented reality (AR) learning resources generally have the problem of “form over content”, which seriously restricted its function in promoting knowledge teaching. In order to effectively realize the deeintegration of AR technology and knowledge teaching, and avoid the problem of “technology overstepping knowledge teaching”, the paper followed the logic of “adaptability relationship (what) → adaptability basis (why) → adaptability design (how)” to carry out the research. Firstly, based on Anderson’s refined knowledge classification, the paper identified and organized five types of knowledge types that AR screen was suitable for expression. Secondly, the paper analyzed the characteristics of each type of knowledge type that is suitable for expression and the expression advantages of AR screen. Finally, the paper discussed the implementation problem of the above research, which was paying attention to the semantic fusion design of AR screen, including the semantic fusion of annotation design, the semantic fusion of scenario design and the semantic fusion of interaction design, so as to maximize the potential and value of “AR+Knowledge Teaching”.

augmented reality; knowledge type; multimedia screen; semantic; learning resources