基于深度神经网络CNN的学生听课状态应用研究

李森林 彭小宁

（怀化学院计算机科学与工程学院，湖南 怀化 418000）

基于深度神经网络CNN的学生听课状态应用研究

李森林 彭小宁

（怀化学院计算机科学与工程学院，湖南 怀化 418000）

目前，大学生上课玩手机不再是个别现象，而授课老师在专注授课时又难以及时察觉和制止。对此，提出了一种基于卷积神经网络模型的学生听课状态应用。对拍摄获取的学生头像状态由网络模型自动识别并分析学生听课情况，低头族为疑似看手机对象或不在听课状态。课后，经由班主任进行针对性谈话了解情况并给予指导，以提高教学效果。

听课状态；深度学习；卷积网络

1 引言

随着智能手机的出现，大学生对手机产生了一种迷恋状态，无论课内课外，重点大学还是高职院校，人手一机，机不离手成为了大学生的常态。尤其课堂上部分学生不自觉或自制力差，出现玩手游或聊天等行为，并且这种现象呈蔓延的趋势，而授课老师在专注教学的情况下，又难以及时察觉和制止，严重影响了课堂教学效果，不利于大学生的身心和智力发展。这种情况与用智能手机实现碎片化学习目标背道而驰。为此，大学有责任和义务进行解决，深度卷积神经网络（convolutional neural network,CNN）是一种深度学习模型，在图像识别领域取得了显著成果[1]，这方面的研究已非常成熟。论文从CNN架构研究入手，全面分析研究了卷积神经网络的原理、实现与学生听课状态的应用。

2 相关技术研究

早期的神经网络发源于感知器，对于单个神经元的感知器输入数据为x1，x2...xn，那么感知器的输出为output=f(x1*w1+x2*w2...xn*wn)-b，其中wi为连接权值，b为偏置，f（x）为激活函数，一般为signoid。由神经元构成的神经网络BP一般为三层结构：输入层、隐含层和输出层。训练方式为前向计算和反向计算两个过程。前向计算是对输入数据进行逐层处理，对网络输出值与标签数据进行比较，根据差值再进行反向逐层调节权值w和偏置b，这种调节方法为随机梯度下降方法[2]，反复迭代直至符合设置的条件为止。CNN是基于神经网络和反向传播理论创建的一种重点应用于图像处理的深度学习架构之一。20世纪90年代，LeCun et al.等人[3]确立了CNN的现代结构，他们设计了基于mnist的分类模型LeNet-5。2006年，Krizhevsky et al[4]提出了一个更加经典的AlexNet CNN架构，致使图像识别率效果极为显著，甚至超过了人类的图像识别能力。

CNN含有三种类型的神经网络层：

（1）卷积层：学会识别输入数据的特性表征；（2）池化层：简化数据的特性表征；（3）全连接层：将卷积层和池化层堆叠形成一层或多层全连接层，实现分类。如图1所示，c为卷积层，s为采样层，flat为平铺向量化，h为隐层。

图1 卷积神经网络示意图

3 CNN网络

CNN网络的卷积层是提取数据特性表征的关键层，在输入图像后，通过一系列的过滤器（也称卷积核）对图像数据进行局部感知过滤获取关键特征。这种局部感知能力是卷积神经网络的关键技术之一，由于CNN中每一层神经元只是和上层的局部区域相连，有效地解决了高维数据连接参数较多、难以训练的缺点。在这种局部感知区域间特征过滤时，需要考虑深度、步长和填充值[5]，这些参数决定了输出的特征维度。CNN另一个关键技术是参数共享，这将大大降低网络训练的计算复杂度和参数个数。

对于每一个卷积层的特征通过卷积核进行卷积激活后，就可以得到该层的输出特征。计算公式为：,其中f(x)为激活函数。采样层的目的是减少映射特征维度，操作函数为，对于采用数据都进行了加权系数和偏置。最后进行特征平铺构成线性数据输入到softmax的多线性分类模型。CNN模型采用的梯度计算方法与反向传播网络类似，对于卷积层梯度计算，每层神经元的权值更新需要对应的灵敏度δ，其计算公式为，up操作为Kronecher乘积所得。

4 实验

CNN在卷积层和子采样层的训练，主要包括：（1）前向传播过程：下采样每个卷积层的maps；（2）反向传播过程：上采样高层子采样层的灵敏度map，以匹配底层的卷积层输出maps的大小；（3）sigmoid的运用和求导。

具体步骤如下：

（1）网络初始化

CNN的初始化主要是初始化卷积层和输出层的卷积核（权重）和偏置，系统里对卷积核和权重进行随机初始化，对偏置进行全0初始化。

（2）前向传输计算

a.输入层：输入层没有输入值，输出向量的大小就是图片的大小。

b.卷积层：卷积层的输入来源于输入层或者采样层。其中每一个map都有一个大小相同的卷积核。

c.采样层：采样层是对上一层map的相邻小区域进行聚合统计。

（3）反向传输调整权重

反向传输过程从宏观上来看基本思想跟BP一样，是通过最小化残差来调整权重和偏置，文献[1]进行了详细讲述。

（4）输出层的残差

输出层的残差是输出值与类标值的误差值，而中间各层的残差来源于下一层的残差的加权和。

（5）下一层为采样层的卷积层的残差

当一个卷积层L的下一层(L+1)为采样层，根据采样层的残差，计算该卷积层的残差。但是采样层（L+1）的map大小是卷积层L的1/（scale*scale），两层的map个数是一样的，可以对采样层的残差与一个scale*scale的全1矩阵进行克罗内克积扩充，达到维度一致。

实验环境为安装了Anaconda2(64)计算机系统的Spyder集成平台，用Python语言开发，对CNN模型进行编程实现，建立了基于CNN的图像识别模型，获取的特征结果如图2所示，分别为截取了3个人的头像行为特征，样例预测错误率如表1所示，可以看出正例和负例错误率都在百分之十以上，实验中的样本为正例和负例，即看手机状态和听课状态，对看手机状态学生预测为听课状态的比率为18.23%，反之，把听课状态的学生预测为看手机状态的比率为19.57%，说明自己建立的模型还有待完善和修正，这是下一步需要深度研究的内容。

表1 预测误差率

图2 图像特征提取

5 结束语

图像识别是计算机人工智能的视觉识别的重要领域之一，通过研究人员的努力取得了丰硕的成果。论文总结和研究了CNN模型的实现，把该模型应用于学生课堂状态自动检测领域，根据学生听课图像由模型自动识别检测出学生玩手机行为，进而反馈给上课老师，以便对这些学生进行交流沟通，进一步提高教学效果。该方法是解决当前大学生课堂上看手机行为的解决办法之一。

[1]Lawrence S，Giles C L，Tsoi A C，et al．Face recognition：A convolutional neural-network approach[J]．IEEE transactions on neural networks，1997，8(1)：98-113．

[2]赵志宏，杨绍普，马增强．基于卷积神经网络LeNet-5的车牌字符识别研究[J]．系统仿真学报，2010(3)：638-641．

[3]Krizhevsky A，Sutskever I，Hinton G E． Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems．2012：1097-1105．

[4]Ji S，Xu W，Yang M，et al．3D convolutional neural networks for human action recognition[J]．IEEE transactions on pattern analysis and machine intelligence，2013，35(1)：221-231．

[5]Vedaldi A，Lenc K．Matconvnet：Convolutional neural networks for matlab[C]//Proceedings of the 23rd ACM international conference on Multimedia．ACM，2015：689-692．

Application of Deep CNN in the Class Status of Students

Li Senlin Peng Xiaoning
(School of Computer Science and Engineering,Huaihua University,Huaihua 418000,Hunan)

At present,playing with mobile phones in the class is no longer an individual phenomenon for college students,and most teachers cannot be aware and stop it in time due to the focus on teaching.This paper proposes the application of convolution neural network model in class status for students.The state of students obtained by shooting is automatically recognized by network model and the listening status is identified.After class,teachers can give some guidance to the students purposely,to improve the teaching effects.

class status;deep learning;convolutional neural networks

TP183

A

1008-6609(2017)10-0035-03

李森林（1973-），男，河北邯郸人，硕士，讲师，研究方向为机器学习、操作系统。

怀化学院科研资助项目，项目编号：hhuy2016-3。