深度学习：本质与理念

郭元祥

近十年来国际上最先进的教学理论其实根本不是国内疯传的“翻转课堂”等技术性的策略，而是源于人工智能和脑科学的深度学习理论。深度学习注重让学生沉浸于知识的情境和学习的情境，强调批判性思维，注重实现知识的内在价值。理解深度学习理论对深化我国的教学改革具有重要的意义。

一、深度学习概念的提出

深度学习的概念，源于30多年来计算机科学、人工神经网络和人工智能的研究。上世纪八九十年代，人们提出了一系列机器学习模型，应用最为广泛的包括支持向量机（Support Vector Machine，SVM）和逻辑回归（Logistic Regression，LR），这两种模型分别可以看作包含1个隐藏层和没有隐藏层的浅层模型。计算机面对较为复杂的问题解决训练时，可以利用反向传播算法计算梯度，再用梯度下降方法在参数空间中寻找最优解。浅层模型往往具有凸代价函数，理论分析相对简单，训练方法也容易掌握，应用取得了很多成功。①随着人工智能的发展，计算机和智能网络如何基于算法革新，模拟人脑抽象认知和思维，准确且高清晰度地进行声音处理、图像传播甚至更为复杂的数据处理和问题解决等，在21世纪来临的时候成为摆在人工智能领域的关键问题。

30多年来，加拿大多伦多大学计算机系辛顿教授（Hinton，G.）一直从事机器学习模型、神经网络与人工智能等问题的相关研究，并在机器学习模型特别是突破浅层学习模型，实现计算机抽象认知方面取得了突破性的进展。2006年，他在《Science》上发表了《利用神经网络刻画数据维度》（Reducing the Dimensionality of Data with Neural Networks）一文，探讨了应用人工神经网络刻画数据的学习模型，首先提出了深度学习（Deep Learning）的概念和计算机深度学习模型，掀起了深度学习在人工智能领域的新高潮。这篇文章的两个主要观点是：第一，多隐藏层的人工神经网络具有优异的特征学习能力，学习到的特征对数据有更本质的刻画，从而有利于可视化或分类；第二，深度神经网络可以通过“逐层初始化”（Layer-wise Pre-training）来有效克服训练和优解的难度，无监督的逐层初始化方法有助于突破浅层学习模型。②基于深度置信网络（DBN）提出非监督逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。③2012年，辛顿又带领学生在目前最大的图像数据库ImageNet上，对分类问题取得了惊人的结果，将计算机处理图像数据问题时排名前五的错误率（即Top5错误率），由最高26%大幅降低至15%，大大提高了人工智能图像数据处理的准确性和清晰度，这是早先计算机仅仅依赖数学模型的表层学习和单层学习根本无法实现的水平。

在人工智能领域，深度学习其实是一种算法思维，其核心是对人脑思维深层次学习的模拟，通过模拟人脑的深層次抽象认知过程，实现计算机对数据的复杂运算和优化。深度学习采用的模型是深层神经网络（Deep Neural Networks，DNN）模型，即包含多个隐藏层（Hidden Layer，也称隐含层）的神经网络（Neural Networks，NN）。深度学习利用模型中的隐藏层，通过特征组合的方式，逐层将原始输入转化为浅层特征、中层特征、高层特征直至最终的任务目标。深度学习可以完成需要高度抽象特征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多个隐藏层的人工神经网络，多层非线性结构使其具备强大的特征表达能力和对复杂任务的建模能力。训练深层模型是长期以来的难题，近年来以层次化、逐层初始化为代表的一系列方法的提出，为训练深层模型带来了希望，并在多个应用领域获得了成功。

人工智能学者们认为计算机和智能网络的这一深层的自动编码与解码过程，是一个从数据刻画、抽象认知到优选方案的深度学习的过程。由于人脑具有深度结构，认知过程是一个复杂的脑活动过程，因而计算机和人工智能网络模拟从符号接受、符号解码、意义建立再到优化方案的学习过程也是有结构的；同时，认知过程是逐层进行、逐步抽象的，人工智能不是纯粹依赖于数学模型的产物，而是对人脑、人脑神经网络及抽象认知和思维过程进行模拟的产物。应该说，到目前为止，深度学习是计算机和智能网络最接近人脑的智能学习方法。近几年来，深度学习进一步尝试直接解决抽象认知的难题，并取得了突破性的进展，AlphaGo的问世，便是明证。2013年4月，《麻省理工学院技术评论》（MIT Technology Review ）杂志将深度学习列为2013年十大突破性技术之首。④深度学习引爆的这场革命，将人工智能带上了一个新的台阶，不仅学术意义巨大，而且实用性很强，工业界也开始了大规模的投入，一大批产品将从中获益。二十世纪八九十年代以来，随着学习科学的不断发展，深度学习的概念和思想不断在教育中得到应用。

二、深度学习在教育中的兴起与发展

来自脑科学、人工智能和学习科学领域的新成就，必然引起教育领域研究者的深刻反省。计算机、人工智能尚且能够模拟人脑的深层结构和抽象认知，通过神经网络的建立开展深度学习，那人对知识的学习过程究竟应该是怎样的一个脑活动过程和学习过程？学生的学习有表层和深层等层次之分吗？从作为符号的公共知识到作为个人意义的个人知识究竟是怎样建立起来的？知识学习过程究竟是一个怎样的抽象认知过程？信息技术环境支持下深层次的学习如何实现？近十多年来，这些问题引起了许多教育研究者特别是教育技术学研究者的浓厚兴趣，深度学习、深度教学的研究日益引起人们的重视。也正是在辛顿的“深度学习”概念明确提出后，教育学领域特别是教育技术学领域的深度学习研究日益活跃起来。

其实，早在1956年布鲁姆在《教育目标分类学》里关于“认知领域目标”的探讨中，对认识目标的维度划分就蕴含了深度学习的思想，即“学习有深浅层次之分”，将教学目标分为了解、理解、应用、分析、综合、评价六个由浅入深的层次。⑤学习者的认知水平停留在知道或领会的层次则为浅层学习，涉及的是简单提取、机械记忆符号表征或浅层了解逻辑背景等低阶思维活动；而认知水平较高的深层理解、应用、分析、综合和评价则涉及的是理性思辨、创造性思维、问题解决等相对复杂的高阶思维活动，属于深层学习。1976年，美国学者马顿（Marton，F.）和萨尔约（Saljo，R.）在《论学习的本质区别：结果和过程》（On Qualitative Difference in Learning： Outcome and Process）一文中，明确提出了表层学习和深层学习的概念。⑥这被普遍认为是教育学领域首次明确提出深度学习的概念。他们在一项关于阅读能力的实验研究中，明确探讨了阅读学习的层次问题。通过让学生阅读文章并进行测验，发现学生在阅读的过程中运用了两种截然不同的学习策略：一种是试图记住文章的事实表达，揣测接下来的测试并记忆，即表层学习（Surface Learning）；另一种是试图理解文章的中心思想和学术内涵，即深层学习（Deep Learning），也被译为深度学习。深度学习的学习者追求知识的理解并且使已有的知识与特定教材的内容进行批判性互动，探寻知识的逻辑意义，使现有事实和所得出的结论建立联系。浅层学习和深层学习在学习动机、投入程度、记忆方式、思维层次和迁移能力上有明显的差异。深度学习是一种主动的、高投入的、理解记忆的、涉及高阶思维并且学习结果迁移性强的学习状态和学习过程。之后 ，拉姆斯登（Ramsden，1988）、英推施黛（Entwistle，1997）以及比格斯（Biggs，1999）等人发展了浅层学习和深度学习的相关理论。⑦随着信息技术的发展，近十年来，国外学者对信息技术支持下的深度学习及其在各学科领域、各类教育中的应用研究日渐广泛。

2002年以来，从技术支持高等教育的深度学习、虚拟环境中的深度学习、形成性评估对深度学习的影响、学习环境对学生进行深度学习的影响、技术支持下的深度学习设计等方面研究成果日益丰富，但绝大部分是基于教育技术学视野的研究成果。2006年，辛顿教授关于深度学习的成果发表，进一步推动了深度学习在教育中的研究与应用。近十年来，在中小学深度学习研究方面最有影响的当属加拿大西盟菲莎大学（Simon Fraser University）艾根（Egan， K.）教授领衔的“深度学习”（Learning in Depth，简称LID）项目组所进行的研究，其成果集中体现在《深度学习：转变学校教育的一个革新案例》（Learning in Depth： A Simple Innovation That Can Transform Schooling）等著述之中。⑧该研究探讨了深度学习的基本原则与方法，分析了深度学习对学生成长、教师发展和学校革新的价值与路径，并在加拿大部分中小学进行实验研究。其核心成果聚焦课堂学习和教学问题，即使是关于教师教育中深度学习的研究，也聚焦于教师的学习过程和学习方式。⑨艾根所开展的深度学习研究项目超越了单一教育技术学视野的研究，不仅仅是关于教学设计、学习技术和学习环境开发的研究，而是基于建立新的学习观和知识观，对教学活动与学习过程作出了新的阐释。

总体上看，国内关于深度学习的研究最近十年才刚刚起步。2005年，我国学者黎加厚教授在《促进学生深度学习》一文中，率先介绍了国外关于深度学习的研究成果，同时探讨了深度学习的本质。他认为深度学习是指在理解学习的基础上，学习者能够批判性地学习新的思想和事实，并将它们融入原有的认知结构中，能够在众多思想间进行联系，能够将已有的知识迁移到新的情境中，作出决策和解决问题的学习。⑩此文被认为是国内较早介绍并论及深度学习的研究成果，此后，关于深度学习的探讨，特别是基于信息技术环境下的深度学习的相关研究论文逐渐增加。2006年10月，笔者在前期研究的基础上，与台湾成功大学教育研究所所长李坤崇教授联合发起“海峡两岸能力生根计划”，推进能力导向的深度教学的理论研究与实验研究，主张以价值观、知识观、学习观、过程观的重建为基础，以发展学生的学科能力为宗旨，实施深度教学，克服课堂教学改革过于注重教学程序、教学技术、教学时间的浅层次改革和表层学习的局限性，深化课堂教学改革。2014年后，中国教育科学院院长兼教育部课程教材研究与发展中心主任田慧生研究员基于深化课程改革的需要，带领一个团队开始启动深度学习的项目研究。直至今日，基于核心素养追求背景下的深度学习研究项目，如雨后春笋般涌现，“深度学习”成为教育研究中的一个热词。

尽管计算机、人工智能领域与教育学领域都提出了“深度学习”概念，但不难看出二者显然具有本质差异。计算机与人工智能领域的深度学习是建立在机器模拟人脑深层结构的基础之上的，是基于人脑结构的一种计算机算法思维和问题解决模型，是对人脑和认知结构的模拟。而教育学领域的“深度学习”概念，无论是布鲁姆还是马顿和萨尔约，都指向了“知识”和“学习”两个核心，是关于知识学习的目标和过程的问题。布鲁姆在教育目标分类学认知领域的目标构设中，认为认知目标是由了解、理解、应用、分析、综合、评价六个不断加深的层次构成的。这一目标明显是关于知识学习和认知过程的目标，在2001年修订版中，这一目标被精确表述为知识学习和认知过程两个维度。马顿和萨尔约在关于阅读的研究中，基于学生对文本理解的层次和理解的深度提出了“深度学习”的概念，并认为学习的本质区别在于过程而不是学习的结果，是学生对文本知识学习的深刻程度决定了其学习结果的差异性。

艾根的研究实现了从深度学习向深度教学的转向。艾根的深度学习（Learning in Depth）研究更明确地指向了学生对知识的学习所到达的深度，以及教师通过对知识的处理引导学生逐步到达一定的学习深度。这一深度学习的过程是一个逐步深化的学习过程，要求教师在教学过程中引导学生着眼于知识的深层次理解和深度处理。该项研究表明，深度学习的研究开始从单一的学习技术研究转向了对教学过程的关注，注重深度学习与深度教学的关联性和一致性，深度学习的研究呈现出向深度学习与深度教学相结合的转向。

三、深度学习的核心理念

从深度学习走向深度教学，一方面是教与学的一致性决定的，另一方面是当前中小学课堂教学普遍存在的局限性決定的。教与学的关系既不是对立关系，也不是对应关系，而是一种具有相融性的一体化关系，离开了教无所谓学，离开了学也无所谓教。学生真正意义上的深度学习需要建立在教师深度教导、引导的基础之上。从本质上看，教育学视野下的深度学习不同于人工智能视野下的深度学习，不是学生像机器一样对人脑进行孤独的模拟活动，而是学生在教师引导下，对知识进行的“层进式学习”和“沉浸式学习”。“层进”是指对知识内在结构的逐层深化的学习，“沉浸”是指对学习过程的深刻参与和学习投入。离开了教师的教学和引导，学生何以“沉浸”？因此，深度学习只有走向深度教学才更具有发展性的意义和价值。同时，我国新一轮基础教育课程改革以来，课堂教学改革依然存在着诸多表层学习、表面学习和表演学习的局限性，“学习方式的转变”往往演变成了教学形式的改变，诸如教与学在程序上的简单翻转和在时间上的粗暴分配。其所体现出来的知识观、价值观、教学观、过程观依然陈旧落后，以学科知识、学科能力、学科思想和学科经验的融合为核心的学科素养依然未能得到实质性的渗透。

深度教学的“深度”是建立在完整而深刻地处理和理解知识的基础之上的。艾根在深度学习的研究中，首次从知识论的角度，论述了深度学习的“深度”（Depth）的涵义。他认为“学习深度”具有三个基本标准，即知识学习的充分广度（Sufficient Breadth）、知识学习的充分深度（Sufficient Depth）和知识学习的充分关联度（Multi-Dimensional Richness and Ties）。这三个标准，也是深度学习的核心理念。

第一，知识学习的充分广度。充分的广度与知识产生的背景相关，与知识对人生成的意义相关，与个体经验相关，也与学习者的学习情境相关。如果教学把知识从其赖以存在的背景、意义和经验中剥离出来，成为纯粹的符号，便成为无意义的符号、无根基的概念知识。知识具有强烈的依存性，无论是自然科学的知识还是社会科学或人文学科的知识，都是特定的社会背景、文化背景、历史背景及其特定的思维方式的产物。离开了知识的自然背景、社会背景、逻辑背景，前人创造的知识对后人而言几乎不具有可理解性。随着深度学习的兴起，旨在以广度促进理解的“无边界学习”日益引起人们的重视。可见，知识的充分广度，其实是为理解提供多样性的支架，为知识的意义达成创造了可能性和广阔性基础。

第二，知识学习的充分深度。知识的充分深度与知识所表达的内在思想、认知方式和具体的思维逻辑相关，深度学习把通过知识理解来建立认识方式，提升思维品质，特别是发展批判性思维作为核心目标。所以说，深度学习是一种反思性学习，是注重批判性思维品质培养的学习，同时也是一种沉浸式、层进式的学习。深度学习强调学习过程是从符号理解、符号解码到意义建构的认知过程，这一过程是逐层深化的。

第三，知識学习的充分关联度。知识的充分关联度，是指知识学习指向与多维度地理解知识的丰富内涵及其与文化、想象、经验的内在联系。知识学习不是单一的符号学习，而是对知识所承载的文化精神的学习。同时，通过与学生的想象、情感的紧密联系，达到对知识的意义建构。从广度，到深度，再到关联度，学生认知的过程是逐层深化的。所谓意义建构，即从公共知识到个人知识的建立过程，都需要建立在知识学习的深度和关联度之上。

（责任编辑：林彦 黄晓夏）

①Y.LeCun and Y.Bengio.Convolutional networks for images，speech，and time-series.In M.A.Arbib，editor，The Handbook of Brain Theory and Neural Networks.MIT Press，1995.

②Geoffery E.Hinton and Salakhutdinov R.R.，Reducing the dimensionality of data with neural networks. Science.2006 Jul 28；313（5786）：504-7.

③Geoffrey E.Hinton，Simon Osindero，Yee-Whye Teh. A Fast Learning Algorithm for Deep Belief Nets. Neural Computation.2006（7）.

④余凯等.深度学习的昨天、今天和明天[J].计算机研究与发展，2013，9.

⑤安德森.布卢姆教育目标分类学（修订版）[M]. 北京：外语教学与研究出版社，2009：78-80.

⑥Marton，F. and Saljo，R.，On Qualitative Difference in Learning：Outcome and Process. British Journal of Educational Psychology，1976，46：4-11.

⑦安富海.促进深度学习的课堂教学策略研究[J].课程·教材·教法，2014，11.

⑧Kieran Egan. Learning in Depth： A Simple Innovation That Can Transform Schooling. London， Ontario： The Althouse Press， 2010.

⑨Kieran Egan.“Learning in Depth” in teaching education. Alberta Journal of Educational Research，Vol.59，No.4，2013，705-708.

⑩何玲，黎加厚.促进学生深度学习[J].计算机教与学，2005，5.