基于乘客行为识别的地铁站照明控制方法

段中兴，丁青辉，王剑，李伟哲

(西安建筑科技大学 信息与控制工程学院，陕西 西安 710055）

地铁站作为常见的地下公共场所，其内部在站乘客的行为状态各异。通过实地调研发现，地铁站乘客常见的行为有：站立行走、乘坐扶梯、楼梯行走、手机阅读、坐立休憩等。目前地铁站内的照明系统多以群控为主，仅能实现高亮度统一照明，虽满足了乘客的视觉需求，但存在能源浪费的问题。同时在地铁系统中，无论是机车牵引，还是其他的辅助设施：环控系统、照明系统、电梯设备等都极其依赖电能[1]。以照明系统为例，长时间的高亮度统一照明会形成大量的持续电能损耗[2]，若不施加合适的照明控制策略，电力资源会造成相当大的浪费。为达到节能降耗、按需照明的目的，本文以在站乘客行为作为出发点，提出基于深度学习的行为识别算法用于地铁站的照明控制。随着人工智能的发展，深度学习技术广泛地应用在图像识别[3]、语义分割[4]、目标检测[5]等方向。由于深度学习技术极大地简化了特征提取过程，因此现阶段行为识别常以深度学习的方式实现。LIU等[6]提出双流卷积网络(Two-Stream)，该网络采用二维卷积分别提取静态图像帧与帧间密集光流的特征，并在网络的最后进行特征融合从而完成行为识别的功能。TRAN等[7]设计了C3D时空卷积(3D ConvNets)，此网络使用3D时空卷积直接对视频数据进行特征提取，最后通过SoftMax层区分具体行为。田联房等[8]使用卷积神将网络获取人体骨架序列的信息进行人体行为的识别。SHI等[9]融合骨架长度的信息，从而提出了一种双流自适应图卷积网络用于行为识别。但以上行为识别算法的参数量普遍较大，需要依靠高性能计算机，难以部署在资源有限的终端。2017年Google团队的学者首次于MobileNet网络[10-12]中提出深度可分离卷积，此种卷积将传统卷积分为2步并减少了卷积参数，适合资源有限的移动终端使用。同年康奈尔大学博士后黄高提出了DenseNet[13]网络，该网络结构在降低网络参数的同时加强了底层特征的传递，并有效地缓解了梯度消失的问题。此外YOLOV3-Tiny[14]以其处理速度快，结构简洁的优势成为了首选的轻量化目标检测网络。综上，本文基于MobileNet和DenseNet网络设计一种轻量化的识别网络(深度可分离密连接网络，DSDNet)，该网络拥有更少的网络参数，更快的运行速度，并将YOLOV3-Tiny和DSDNet网络嵌套用于地铁站乘客行为识别。最后将此行为识别算法应用在地铁站照明控制中，提升照明控制灵活度以及人员在站的舒适度。

1 行为识别网络算法

1.1 卷积神经网络

卷积神经网络作为深度学习的前沿知识，其可以追溯到1980年福岛邦彦首次提出的一种包含卷积层、池化层的神经网络结构。而后的研究中，例如LeNet[15]，VGGNet[16]等均采用增加网络深度的方式来增强网络的性能，但大量研究发现随着网络深度的增加反而会带来网络退化的问题。

为了解决网络退化等问题，HUANG等[13]提出DenseNet网络，此网络在ResNet网络的基础上沿用了跳接的方式，将网络中所有层连接起来。此结构不仅保留了前向传播的特性，而且每一层均能从前面的所有层获得附加输入，并且能将自身的特征映射传递到后续所有层，DenseNet结构如图2(a)。同年Google团队为了优化网络[10]，降低网络参数，在MobileNet网络中颠覆性地提出了深度可分离卷积，该卷积形式将一般卷积分为2步，其结构如图1所示。

图1(a)为逐通道卷积，对输入层的每个通道独立进行卷积运算，图1(b)为逐点卷积，其作用为将图1(a)中生成的特征图1进行加权组合生成新的特征图2。假设输入图片的通道数为M，输出通道数为N，卷积核的尺寸为F×F，若使用常规卷积，其参数计算公式为：

图1 深度可分离卷积结构Fig.1 Structure of depth separable convolution

若采用深度可分离卷积，参数计算公式为：

2种卷积参数量之比为：

1.2 算法构建

虽然目前已有大量的行为识别算法以深度学习的形式实现，但考虑到地铁站照明控制系统有限的计算能力，现有的行为识别算法并不能很好地部署在该系统，因此本文基于深度可分离卷积与DenseNet结构，设计了轻量化的网络模块——DSD模块(Depth separable dense connection block)，其结构如图2(b)所示。

图2 DenseNet结构和深度可分离密连接结构Fig.2 DenseNet structure and depth separable dense connection structure

DSD结构有以下几个特点：1)深度可分离卷积的引入极大地减少了网络参数，降低了网络计算复杂度；2)DenseNet结构的引入在解决模型过拟合的同时增强了网络底层特征的传递，有利于网络特征的提取；3)使用多步长卷积进行特征图降维，从而避免使用池化层，提高网络的效率。

行为识别算法构建如下：1)输入为448×448×3的RGB图像；2)其次为YOLOV3-Tiny轻量化目标检测网络用于人体目标的检测；3)然后为DSD模块，共50层深度可分离卷积，均由3×3的通道卷积与1×1的点卷积所构成，用于具体行为的识别；4)加入通道注意力模块(SeNet)[17]，网络便可以对特征进行逐通道调整，从而有选择性地加强有用特征并抑制无用特征；5)全连接层(FC)和Softmax，其输出维度大小为样本种类数量。Softmax分类器接在全连接层后面，输出每个图片所属行为类别的概率，概率最大的即为该类别。实现过程如图3。

图3 行为识别算法实现过程Fig.3 Implementation process of action recognition algorithm

2 乘客行为分类与照明控制方法

2.1 地铁站乘客行为分类与照度匹配

为有效实现地铁站乘客行为与照度匹配，本文对西安某地铁站进行实地调研，对同一地铁站，不同时间段进行统计分析。选择时间为：早高峰(7:30～9:30)，晚高峰(17:00～19:00)，一般时间段(10:00～12:00，13:00～15:00)对地铁站进行乘客行为统计。7:30～9:30该站点总在站人数为4 662人，17:00～19:00该站点总在站人数为4 303人，10:00～12:00该站点总在站人数为2 014人，13:00～15:00该站点总在站人数为2 376人。在该站闸机口、楼梯口、座位区、站台两端进行计数统计，每5 min记录一次，各行为占比见表1。

表1 西安某地铁站乘客行为分类统计Table 1 Passenger action survey form of a subway station in Xi’an

根据城市轨道交通照明设计规范[18]以及相关健康照明设计要求[19]，适当改变光照强度可以提升人员在站的舒适度，并减少电能损耗。以距离地面0.75 m为水平工作面，为满足不同乘客视觉需求为最低标准，水平照度与人体行为对应如表2。

表2 照度匹配Table 2 Illumination matching

2.2 照明控制方法

2.2.1 LED调光

LED作为新一代绿色、健康的照明光源，其主要的调光方式有模拟调光与PWM调光。PWM调光以其调光精准、没有色偏、没有频闪、可控范围大等优点成为了主流的LED调光方式。

PWM调光原理是通过调节PWM的占空比D改变流经LED的平均电流，从而实现LED亮度的调节。如图4所示，设定PWM输出脉冲的周期为T，脉冲宽度为Ton，则其占空比D为Ton/T。调光时，LED灯的亮度正比于占空比D。

图4 PWM原理Fig.4 PWM principle

2.2.2 站台分区

为实现以乘客行为驱动的地铁站照明控制，首先对候车站台进行网格化分区，按照乘客分布规律进行细致划分。分区示意如图5所示。

CPP的治疗目的是以改善患儿的成年期身高为核心，还应注意防止早熟和早初潮带来的心理问题。一般应用GnRHa治疗。GnRHa能有效抑制LH分泌，使性腺暂停发育、性激素分泌返回至青春前期状态，从而延缓骨骺的增长和融合，尽可能达到延长生长年限、改善最终成年期身高的目的。

图5 分区示意图Fig.5 Partition schematic

然后，依据行为识别算法将摄像头获取到的每一分区图像进行特征提取，建立行为分类模型，得到每一分区乘客行为的分类占比；最后依据表2对站台分区的LED灯组进行调控，实现分区照度与乘客行为的匹配。基于乘客行为识别的分区照明控制方法可描述如下。

Step 1：将站台候车区按照图5进行分区，旨在对各区域内灯具进行分组控制。

Step 2：通过各区域内的摄像头对乘客行为进行捕捉，依据行为识别算法进行具体分类。

Step 3：依据Step 2中的识别结果对各区域内的LED灯组进行动态调控。

3 实验结果与分析

为验证行为识别算法和调光及节能效果，进行DSDNet网络验证和光照调控模拟实验，并通过DIALux evo建模分析照明节能效果。

3.1 DSDNet网络实验环境

本文深度学习网络的实验环境如下：操作系统为Ubuntu系统，选用Keras框架搭建网络，实验环境的python版本为3.7，硬件显卡为RTX2080Ti，11G内存。

首先根据调研结果建立地铁站乘客行为数据集(passenger action data set,PADS)，并在此数据集上进行网络训练。为避免数据分布不均衡，每一类样本80%为训练集，10%为验证集，10%为测试集。其次在测试集上对DSDNet网络进行测试，得出不同行为的识别率以及平均识别率。识别结果如表3所示，其中识别准确率通过交叉熵损失函数进行计算，如式(4)。对于一个batch-size为H的损失函数，式中K表示标签数，y和y′分别表示真值和预测值的概率分布。

表3 乘客行为识别率Table 3 Accuracy of passenger action recognition

为进一步评估DSDNet网络的性能，将其与YOLOV3-Tiny进行网络嵌套并在公共数据集UCF-101上和主流的行为识别网络进行实验对比。各网络算法的参数量、识别率、处理速度如表4所示。

表4 主流行为识别算法对比Table 4 Comparison of mainstream action algorithms

3.3 照明控制模拟实验

3.3.1 实物功能验证

选用OpenMv(可扩展，可编程的机器视觉模块)作为图像采集与照明控制的主控模块进行实际控制模拟，实验灯具选用LED灯珠(功率为4 W)。通过OpenMv的PWM占空比输出引脚调控占空比实现灯具亮度的调节。系统仿真程序在OpenMv IDE环境下实现。首先在LED灯珠可控范围内设定PWM占空比与LED灯珠功率之间为线性关系。当人体行为分别为手机阅读、站立行走、坐立休憩时，PWM占空比分别为100%，70%，50%，对应的LED输出功率为4，2.8和2 W，以此来模拟不同行为状态下的光照度。占空比为100%，70%，50%时的实际灯光调控效果如图6。

图6 LED灯调控效果Fig.6 LED lamp bead control effect

3.3.2 照明能耗分析

为分析基于乘客行为识别的照明控制方法的节能效果，采用DIALux evo软件对西安某地铁站台进行建模与节能分析。该站台为岛式站台，呈南北走向，站台总长度118 m，双侧屏蔽门间距为12 m，站台空间总高为5.5 m，月台高1 m，同时建模时选用功率为38.5 W的嵌入式LED灯具用于该站台的照明，共计110盏。站台空间建模如图7。

图7 站台空间建模Fig.7 Platform space modeling

通过对各分区不同时段的行为调研结果进行照明能耗分析。由于实验环境的限制，通过表1的调研结果选取7:30～9:30和13:00～15:00乘客行为调研数据进行照明模拟控制。为方便分析照明能耗，假设各分区内只有一种乘客行为，即边缘候车区为阅读手机的乘客，中间候车区为行走的乘客，两端候车区为坐立休憩的乘客。因此，只要将每个区域的LED灯组依照PWM控制思想设定单个灯具的输出功率分别为38.5，26.95和19.25 W，即可满足不同行为的最低照度需求。图8为分区照明控制模拟效果，通过照度等值图可以看出，边缘候车区和中间候车区的照度分别达到了200 lx和150 lx，满足乘客行为与照度匹配要求。

图8 分区控制模拟效果部分截图Fig.8 Partial screenshot of zone control simulation effect

由上述分析可知，通过改变灯具的功率即可改变对应区域的照度，表5为一般时间段(13:00～15:00)群控法与本文方法的能耗对比，能耗计算时间为每趟列车的间隔时间5 min。

表5 能耗对比Table 5 Platform space modeling

其中90盏灯以38.5 W的功率用于边缘候车区，10盏灯以26.95 W的功率用于两端候车区，10盏灯以19.25 W用于中间候车区。该方法相较于传统的群控法节电率可以达到6.6%。

4 结论

1)对西安某地铁站进行了实地调研，调研结果显示地铁站常见乘客行为有站立行走，手机阅读，乘坐扶梯，楼梯行走，坐立休憩，并建立了PADS乘客行为数据集。

2)融合深度可分离卷积与DenseNet网络结构的特点，构建了DSDNet网络，并与YOLOV3-Tiny网络嵌套用于地铁站乘客行为识别，在PADS乘客行为数据集上平均准确率达到97.472%，在处理过的公共数据集UCF-101上识别率可以达到93.1%；其次在RTX2080Ti上的处理速度可以达到335FPS，满足实时检测的性能。

3)使用OpenMv模块和LED灯模拟了灯光的实际控制效果，结果显示该方法可以较精准地调控LED灯的亮度；其次通过DIALux evo软件进行建模分析，结果显示该方法可以分区控制灯具的亮度，并在一定程度上达到节能的目的。