基于深度学习算法的人脸识别技术在学分银行中的应用*

邵文莎

（江苏开放大学 学籍管理处/学分银行管理中心，江苏 南京210036）

一、引言

《国家中长期教育改革和发展规划纲要（2010-2020年）》明确提出，“建立学习成果认证体系，建立‘学分银行’制度”，建立学分银行试点作为当前我国探索学习成果认证体系的重要途径，主要是通过各地开放大学（广播电视大学）具体组织实施。作为学分银行建设的重要内容，各地学分银行信息平台的建设也取得了初步成效，目前学分银行信息系统一期已上线运行的有国家开放大学学分银行信息系统、江苏省终身教育学分银行信息系统、上海市终身教育学分银行信息系统、云南省学分银行信息系统、浙江省终身教育学分银行信息系统等，移动APP也相继上线或处于开发中。然而对国内学分银行信息平台研究发现，平台的普遍特征是建立在方便管理者管理的理念下，而不是建立在如何更好地服务学习者的目标中。[1]

如何以学习者为中心，提升用户体验，对学分银行信息平台的构建具有重要意义，有助于推动学分银行的发展，有助于提升学分银行的社会认可度，更好地为全民学习、终身教育服务。近日，教育部办公厅印发《2018年教育信息化和网络安全工作要点》，文中提出推动大数据、虚拟现实、人工智能等新技术在教育教学中的深入应用，学分银行制度是探索教育教学改革的重要举措，学分银行信息平台作为探索学分银行制度的重要支撑，研究人工智能技术在学分银行信息平台中的应用无疑具有重要意义。

二、相关技术介绍

1.学分银行信息平台

所谓学分银行是一种模拟或借鉴银行的机理、功能和特点，充分利用互联网技术，借鉴银行的运作原理，实现各级各类学习成果的存储、认证、积累、转换的学习制度和教育管理制度。[2]学分银行是扩大优质教育资源覆盖面的有效机制，是搭建终身学习“立交桥”、促进教育公平的有效途径。

学分银行不仅是指专门的学习成果管理机构、认证机构、对应的组织体系及相应机构与组织体系赖以存在和运行的一整套标准、规范、规则和规定，同时也包括学习成果承载体的学分银行信息平台。通过构建学分银行信息平台可以在线实现学习成果存储、认证、积累、转换等，为学习者提供更加便捷的学习方式。

2.人工智能芯片

随着深度学习技术爆发性的发展，人脸识别等识别技术大多采取深度学习的算法进行识别。深度学习算法虽然识别准确度高，但是对计算量有庞大的需求，在移动端，我们可以使用能够加速深度学习运算的人工智能芯片来完成相关运算。深度学习有固定的运算模式，比如说卷积运算。人工智能芯片通过对运算模式进行相应优化，可以显著提高深度学习运算的效率。这样，移动端就可以快速实现复杂的深度学习运算，比如说基于深度学习的人脸识别。人工智能芯片的一个代表产品是谷歌公司的TPU（Tensor Processing Unit），其能加速深度学习系统TensorFlow的运行，而且效率大大超过了GPU。TPU与同期的CPU和GPU相比，可以提供15～30倍的性能提升，以及30～80倍的效率（性能/瓦特）提升。[3]

近一两年，使用人工智能芯片的手机越来越普及，苹果、华为、三星等手机纷纷安装了人工智能芯片。这也使学分银行平台在手机端利用深度学习算法进行人脸识别成为了可能。

3.手机3D结构光技术

手机3D结构光是利用反射信息来获取拍摄到物体的深度信息的技术，具体来说，该技术可以主动将形状有规律的红外光发射至人脸，并通过红外摄像头接收反射光线，然后根据红外光线发射与接收的时间差来确定深度信息，从而获得3D面部图像。通过将获取的3D面部图像结合彩色图像信息进行处理，可以进一步提高人脸识别的准确度。苹果IphoneX的faceID就采用了结构光技术来提高人脸识别的准确度。

三、学分银行信息平台人脸识别系统实现方式

随着深度学习方法的应用，基于深度学习的人脸识别技术的识别准确度已有质的飞跃。现阶段，人脸识别技术已相对成熟，广泛应用于智能安防、互联网金融等领域。人脸识别操作简单，而且支持人脸识别功能的手机越来越普及，人脸识别技术可以有效应用于远程教育领域。[4-6]为了给用户提供便捷的操作方式，学分银行信息平台也可以利用人脸识别技术进行登录。

1.人脸识别系统的平台选择

对于学分银行信息平台，可以选择利用手机自带的人工智能芯片进行人脸识别，也可以通过建设人脸识别的云平台进行识别。利用人工智能芯片进行人脸识别，需要有人工智能芯片的手机作为终端，但是由于有人工智能芯片的手机越来越普及，利用人工智能芯片手机进行人脸识别不需要额外消耗计算资源和成本，而现阶段学分银行的建设尚处于起步阶段，可以使用的经费相对有限，所以目前来说，利用手机端进行人脸识别是一个相对好的选择。但是，该方法不具有普适性，对没有人工智能芯片的手机并不适用。而建设人脸识别的云平台，可以方便没有人工智能芯片的手机终端进行 “刷脸”登录。云平台具有极强的运算能力，不依赖于终端的计算资源，可以为用户提供共享资源，但是该方法成本相对较大。后续可增加基于云平台的人脸识别登录功能，以满足不同用户的需求。

2.基于人工智能芯片的人脸识别系统

本文中的学分银行信息平台是基于手机自带的人工智能芯片进行人脸识别。

用户与学分银行信息平台进行交互时，可以通过手机等终端进行人脸识别，方便快捷地实现身份认证，而且安全性极高。由于学分银行的登录系统要满足不同用户的需要，比如说pc用户或是使用未安装人工智能芯片的手机用户。因此我们在采取人脸识别登录方式的同时也保留传统的密码方式登录。

本文中的学分银行信息平台人脸识别系统流程如图1所示。

图1 学分银行信息平台人脸识别系统流程图

当用户利用远程客户端（手机、pc等）访问学分银行信息平台时，用户可以通过输入密码的方式进行登录，当用户使用手机时，也可以通过手机的人脸识别系统进行登录。当用户使用手机上的人脸识别功能时，手机上的人工智能芯片会自动判断用户身份，进而完成登录操作。

用户首次通过人脸识别系统登录时，需要利用手机采集人脸图像，将人脸的特征信息传递到学分银行信息平台中。用户再次登录时，手机上的人工智能芯片会再次分析人脸特征，并与之前上传的人脸特征进行比对，以完成对用户身份信息的判断。若手机上的人工智能芯片判断人脸的特征与之前首次提取的人脸特征吻合，则用户可以成功登录学分银行信息平台进行进一步的操作，省去了记忆密码、输入密码的过程，而且安全性也会提高，不会因密码丢失而被盗用账户。同时手机上的人工智能芯片是安装在手机上的专业芯片，其人脸识别的安全性远远高于密码传输的安全性。这样，用户可以在任意时间任意地点通过有人工智能芯片的手机进行“刷脸”登录，进而对学分银行信息平台进行操作。

四、深度学习算法在学分银行信息平台中的应用

传统的人脸识别算法有基于PCA（Principal components analysis）的人脸识别技术[7]以及基于Adaboost的人脸定位技术[8]等。传统的人脸识别技术虽然执行速度较快，但是检测效果跟近几年兴起的深度学习技术相差甚多。一方面，以PCA为代表的传统人脸识别方法的精确度远远低于深度学习算法的精确度，另一方面，对于海量级别用户的识别，传统的PCA人脸识别技术是无法胜任的。

随着深度学习技术及相关深度学习芯片技术的发展，深度学习的识别精确度越来越高，深度学习的芯片成本越来越低，基于深度学习的人脸识别技术相对于传统的人脸识别技术的优势越来越明显。因此，本文选择深度学习技术来实现学分银行信息平台的人脸识别登录。

本文中的人脸识别算法分为两部分。第一部分是利用一个深度学习网络在待检测图像中检测出人脸的位置，对人脸进行具体定位。第二部分基于另一个深度学习网络对定位后的人脸进行身份识别，判断用户的具体身份。此外，由于现在手机中的3D摄像头越来越普及，利用3D摄像头中的结构光技术可以获取到基于人脸的深度信息。本文利用深度学习网络将获取到的深度信息与彩色信息进行融合，进一步提高学分银行信息平台的人脸识别准确度。

1.人脸位置检测

本文采用MTCNN（Multitask Cascaded Convolutional Networks）[9]的深度学习算法检测人脸的位置。该算法为应对目标多尺度问题，将原始图像通过尺度变化到不同尺寸，构建图像金字塔。然后利用整体人脸以及人脸的特征点对人脸进行定位。

2.人脸身份识别

人脸位置确定之后，还需要进行人脸身份分析。近年来，有不少基于深度学习的人脸身份分析文章取得很高的精确度。比如face++算法、Deepface算法等。face++算法通过网络搜集了五百万张人脸图片用于训练深度卷积神经网络模型，在LFW（Labeled Faces in the Wild）数据集上验证准确率高达0.9950，[10]Deepface算法通过额外的3D模型改进了人脸对齐的方法。然后，通过训练出一个9层的人工神经网络来进行人脸特征表达。并在LFW数据集上取得了0.9735的准确率。[11]

本研究采用当前常见的基于深度学习的人脸身份分析算法face++算法进行人脸识别。具体流程如图2所示。

图2 基于深度学习的face++算法人脸身份识别流程图

首先将人脸进行分块，然后通过训练好的深度学习网络提取出特征，最后利用PCA选出突出的特征进行人脸的身份识别。

3.深度图像信息融合

除了人脸的彩色数据，人脸的深度图也可以很好地对人脸进行描述。而且不同于彩色图像，人脸的深度图不受光线、化妆等因素的影响。虽然人脸的深度图需要专业摄像机获取，但是现在越来越多的手机拥有深度摄像头，比如苹果手机的faceID等。然而，人脸的深度信息相对与人脸的彩色信息还是相对单一的，需要与彩色信息进行结合，才能对人脸进行准确的识别。

由于我们可以使用手机3D结构光获取人脸的深度图，所以人脸识别过程中我们可以同时使用彩色图像信息以及深度图像信息。彩色图像与深度图像可以通过深度学习网络进行融合，本文利用Multimodal deep learning for robust RGB-D object recognition的深度学习算法[12]进行融合。详细的融合过程如图3所示。

图3 深度学习网络对深度图与彩色图进行融合的流程

其中，conv代表卷积层，通过卷积运算提取特征，fc代表全连接层，通过加权求和提取特征。本文通过图3所示的网络将深度信息与彩色信息融为一体，再进行相应的人脸识别，可以进一步提高识别的准确度。

五、结束语

由于信息系统的开发是一个不断完善和迭代的过程，在管理机构转管理为服务的过程中，信息平台如何以学习者为中心，为学习者提供更好的体验显得尤为重要。而学分银行信息平台作为学分银行业务办理的窗口，充分利用先进技术进一步完善优化学分银行信息平台有助于推动学分银行的发展。本文提出将人工智能中的人脸识别技术应用于学分银行信息平台建设，利用手机端的人工智能芯片，采取前沿算法检测人脸位置并对人脸身份进行分析，最后结合手机结构光技术融合深度图像信息，提高人脸识别的准确度，从而为用户提供便捷化的登录方式，提升用户体验。