面向智能教育的多模态课程知识图谱建构与应用研究

金灵巧　林希希

关键词：智能教育；多模态课堂；知识图谱

目前，基于AI 的高速发展，在教育发展中，智慧教育成为引领趋势。教育部原副部长、中国教育国际交流协会会长刘利民指出，智慧教育是人工智能与教育的融合，实施智慧教育是创建教育参与者的智慧伙伴[1]；教育部国家语委中国语言文字智能研究中心主任周建设教授则进一步明确，智能教育不是简单的两个领域相加，而是融合在一起的深度[2]。在多媒体技术不断发展成熟的今天，多模态课程逐步走入智能教育领域，促进了教育信息化的顺利推进，为学生们提供了多种多样的学习资源以及途径，这对于学生的发展是有利的。

虽然学生的知识获取途径变得多样，但这种多模态的资源大部分都是单独存在、单独使用的，这使得学生对于知识的理解贯通变得十分不易。大学课程的知识点大量且细碎，知识框架如思维导图等大多数是章节的形式，书中一些精细的知识点及各个知识点的联系不能一目了然，学生每周只有短短的一两节课的时间去获取知识，大多数时间都是自己去梳理、理解并运用所学知识点，这对于学生的学习十分不利。因此，需要通过构建知识图谱来促进智能教育在实际教学的发展。如果不能消化相关的知识，那么后续的学习质量会受到严重的影响，还有可能会影响到学生们的学习兴趣。

知识图谱具有较强的语义表达能力、推理能力和存储能力，为大数据时代的数据知识化组织和智能化应用提供了行之有效的解决方案。所以在这几年的教学中，知识图谱的运用是大家非常关注的。比如，清华大学的研究人员就用知识图谱技术来表现基础教育领域的知识，并在大数据时代将其运用到智慧课堂中，构造出基础教育知识图谱，不断为智能教育提供知识动能。所以，多模态课程知识图谱的构建不但能够提高教学效率，更是实现智能教育的一项特别重要的研究工作，各个高校应该积极地进行运用，进而发挥出多模态课程知识图谱的价值。

一、多模态课程学习

（一）多模态学习

生活中复杂的对象一般可以利用多模态信息加以描述，多模态学习在应用场景中广泛存在，比如网页里包含着文字、图片和超链接等信息；视频则可以拆分为图片、音频和文字；手机应用从不同方面收集信息并进行分析等等。各类事物都可以通过不同模式的信息来加以描述，各种模式的信息都定义为一种模态。通过多模态，数据可以以更丰富的形式来被表示，基于多模态方式的学习，获取的信息资源会更加丰富。在这种情况之下，原本枯燥乏味的专业知识可能会被赋予新的灵魂，进而引导学生们进行系统地学习，有效地开展后续的教育教学工作，高效地发挥出教育教学的价值，为社会输送高素质的人才。

（二）多模态课程学习

智能教育是以互联网、人工智能等现代技术为前提条件所搭建的智能学习环境，在智能教育的大环境下，知识以各种模态出现在我们眼前，视听、空间感受等多方面感受都是信息的来源，这些感受对应到其相应的信息所呈现的形式上，那么可以归纳为文字、图片、音频、视频甚至是实物等等。在教育中，授课方式与学习方式是两个极其重要的方面。科技进步，使教学方法推陈出新，不再局限于传统的板书、课件，还包括视频、图片等，甚至于还有翻转课堂等形式，提高了课堂的灵活度。随着互联网信息技术的高速发展，多媒体技术也得到了更多的应用。各个高等院校教师在教学的过程中都会积极地进行多媒体教学，这也是多模态课程的教学方式之一，这种教学形式通过不断地完善，使得学生们对其接受程度也很高，以此提升了学生们的学习效率。此外，多媒体教学相较于传统的教育教学而言，具有很多的优势。例如，教师不再需要繁重的板书来讲解知识，而是通过课下进行课件准备，在课堂上进行详细的讲解，将更多的时间及精力放置在提升教学效率之上，在这种氛围下，学校内部的教学质量会得到提升，为学校树立良好的声誉，吸引更加优秀的学生。

（三）多模态课程学习的弊端

老师的课件是目前学生在课后复习时最主要的资源，但课件主要是辅助老师教学，以一个大体框架的形式来引导这节课的进度，大多数课件呈现的知识点是概括性的，缺少在课堂上教师补充的详细解读，这很容易导致如果学生上课没有掌握知识点，等到课后再复习，就更难理解了，但边听课边记笔记，听课质量又会受到影响。基于各类线上学习平台的出现，学生获取的知识冗杂，学习整合起来极其复杂。在这种情况之下，可能会出现本末倒置的结果，导致学生的课业量增加，增大了学生的学习压力。

二、多模态课程知识图谱的构建

（一）多模态课程知识图谱

目前，学生获取知识的方式也不再局限于上课这一环节，还包括各类线上学习平台，例如：中国高校MOOC、智慧树等平台。获取渠道的增多也就意味着知识量的增加，而知识量的增加则意味着学生吸纳整合知识的难度上升，但通过构建知识图谱，可以有效地解决这个问题，提高整体学习效率。同时，以上的多模态课程内部分类比较详细，学生们的学习会更加具有针对性，学生们可以寻找自身的缺陷，并积极地进行学习，保证自身能力提升效果更加显著。

知識图谱本质上是由实体－关系－实体组成的语义知识库，通过有向图的形式对概念和概念之间的关系进行描述[3]。通过寻找知识点之间的不同与相同之处，或者其相互之间的联系，帮助学生更好地学习与梳理。构建知识图谱，能够将各类知识以一种更加清晰的方式呈现在学生面前。

例如刑法学中，包含了大量罪名的概念、构成特征以及罪名的认定，知识图谱从它们之间相似的角度解析各类知识，将知识点以实体－关系－实体的形式连接成有向网络图，从而直观地表示知识点之间的关系以及它们之前的差异，便于知识点的理解与拓展。

（二）多模态课程知识图谱的构建

构建一个知识图谱系统，需要建立一个多层级知识体系，先通过定义、组织、管理数据、关联关系等信息，将信息转化成现实的数据库；再将来源不同却又重合的知识信息融合在一起；然后利用图谱资料将不同来源、不同结构的信息资料进行整合，包括结构化数据、半结构化数据（解析）、知识标引、知识推理等，保障数据的有效性和完整性[4]；最后建立合理、灵活、多样化及可拓展性强的知识存储方案，适用于不同的场景。在构建知识图谱需提供图谱检索、知识计算、图谱可视化等，并提供各类知识计算的SDK，以此构建多模态知识图谱。

多模态知识图谱的构建需做到以下几点：

①先将来源于大纲、教材及网络资源等途径的信息组合成教案，对整合后的教案中的知识点进行提炼，设计出具有属性的知识点；然后，把各个知识点之间的关系串联起来，通过知识的融会贯通，形成清晰的语义网络；最后利用可视化工具，如数据库管理系统，生成比较完整的多模态课程知识图谱。[5-6]

②知识获取。识别来自整合完成的各个课程教学模块教案的主要内容，提取课程中的重要内容，包括其概念、定义、拓展知识、关联案例等，还包括思考题、复习题、课堂练习、课外作业、大作业、论述题等一些考试资源。通过考题来巩固学生的学习，并分类整合各个知识要点和关联资源[7]。如在“刑法学”这一模块的教学中，从刑法概说、基本原则、适用范围三个方面了解刑法的基础理论；通过刑法概念、刑法渊源以及刑法的分类了解刑法学的知识体系、学习的范围和运用。还可将知识点延伸到相关司法解释、现实中适用相关法条的案例以及各类罪名的差异。[8]

③知识点属性设计。给各个知识点进行属性设计，标识知识点其所属于模块、知识点类型、基本概念、拓展知识、关联案例等基本特性，还可以标注教学目标、对于学生学习情况的教学要求、该知识的重点程度、理解的难易程度等。

④融合知识。融合多个来源、互有关联的知识信息，使各个知识的体系更加全面。

⑤关联各个知识点。学习是一个循序渐进的过程，各类知识点也存在前后关联，构建知识图谱的重要点在于掌握知识点之间承前启后的关系，以及各类知识点的相同与不同。在关联知识点关系时，要求在含义或语义上确定各知识点之间的相互联系，明确关系名称，区分语义关系的种类[9]。

（三）多模态知识图谱的拓展

通过构建知识图谱，实行可视化学习，可以构建一个互动性较强的知识图谱。学生可以通过此知识图谱更好地获取理解知识，而教师可以通过此知识图谱，调整课堂讲解形式，还可以通过此知识图谱的反馈获取学生的学习情况，让教师对于自己的教学效果有一个更直观地了解。

三、多模态课程知识图谱的应用

（一）多模态课程知识图谱应用的益处

将多模态课程知识图谱应用到智能教育领域，以多模态课程知识图谱为导引，为学生和老师提供多模态的教学环境，会使学生的学习效率大大提高。基于此，在教学过程中，会产生多模态的互动，比如教师与学生之间的互动、学生与学习内容之间的互动、教师与教学内容之间的互动等，有效提升学生们的课堂参与度[10]。在如此多模式的课程教学环境下，对于教师来说，课程创新余地更大；对于学生来说，学习热情也会被极力地提高。

（二）多模态课程知识图谱可视化功能

由于通用知识图谱的数据大多来源于网络、百科全书等，具有数据量大的特性，而行业知识图谱的数据具有一定的领域性，容易被提取出来，所以构建多模态知识图谱可以将两者结合起来，使大量知识都显示于知识图谱上，且易被教师及学生提取出来。通过有向图的形式呈现知识，且增加在学习某一知识点时，可以通过两个知识点之间的关联，从而学习到另一个知识点[11-12]。

（三）多模态课程知识图谱应用

在智能教育的大背景下，教学应当能够根据教学目标与内容，通过整体的知识图谱，构建针对本内容的子知识图谱，子知识图谱中应包含来自多渠道的资源；将子知识图谱中的知识点作为重点讲解内容，使课堂教学的内容和形式通过知识点之间的关联信息或相似、易混等方面的信息进行编排。多模态课程知识图谱为智能教学提供了便捷的形式，丰富了其资源。该知识图谱可将相应信息增添到对应的知识点所在的知识图谱位置上，能够为学生在自主学习或课后复习时提供重要参考，实现知识之间的融会贯通，同时也能帮助教师使课堂流程更加清晰化，提高学生对课程学习的吸收程度[13-14]。

四、结束语

在人工智能走向教育行业的大背景下，多模态课程学习与知识图谱的交互作用，能在教学上为智能教育提供辅助。本文对多模态课程的知识图谱构建与应用有关的问题做了相关分析，以课程知识点为主体，以教材、辅助学习书籍、网络上提取相关内容以及相关资源等为基础，构建多模态课程知识图谱，并在实际教学中加以应用。教师可以进行更有效的多模式、智能化的课堂教学，使学生能更加高效地学习和吸纳知识。构建互动性较强的知识图谱，能够使智能教育发挥更大的作用，將智能应用在学习的方方面面，实现真正的智能化学习。

作者单位：金灵巧 三亚学院 财经学院 林希希 三亚学院 法学院