基于智能视频分析的乘客分流系统设计

刘小刚，秦 栋，赵航煜，高 帆，邓 旭

（北京京城地铁有限公司，北京 101300）

1 引言

随着城市轨道交通客流量的增多，车站站台、站厅时常出现人流拥挤的情况，伴随有可能发生诸如踩踏、争抢斗殴等影响公共安全的风险，从时空角度考虑，最大程度的优化相关空间利用率是提升乘客乘车体验的关键。经对车站实际场景客流分布研究发现，乘客极易聚积在距离电梯、楼梯较近的列车屏蔽门处，为避免乘客过分密集产生公共安全风险，通常情况下需要站台乘务人员进行引导并将其疏散至不同车厢对应的屏蔽门前，以均衡各车厢载客量，以提高乘客乘车的舒适度，同时降低公共安全风险。但这种情况下无疑会增加站台乘务人员的工作量，同时站台乘务人员的疏导大多基于经验，无法实现更大精度的精准引导，不可避免的存在站台乘务人员和乘客之间因为不理解造成的误会乃至冲突。基于以上情况，若候车乘客在乘车之前可以提前知晓下一趟进站列车各车厢内的客流分布情况，为了避开可能出现的单一车厢上下车拥挤客流从而提高自身上车的效率，同时增加自身乘车过程中的舒适度，会自发自动的前往载客量较少的车厢屏蔽门前进行等候及上车，这也将降低发生公共安全事件的机率，降低城市轨道交通运营单位公共安全费用的支出。由此，本研究提出一种基于智能视频分析技术的乘客分流系统设计方案，实现上述客流引导要求，同时结合首都机场线乘客大多数会携带行李的特性，通过车厢内摄像机感知及后台算法计算估计行李体积和空闲行李架位置，引导乘客去往适合的车厢，从而有效提升用户的乘车体验，降低公共安全风险。

2 乘客分流系统技术方案

2.1 摄像机布局

为节约成本及保证摄像机采集画面能覆盖到整个车厢，本方案采用鱼眼镜头摄像机对车厢进行监控及画面采集，鱼眼镜头摄像机垂直于地面方向安装于车厢顶部的中轴线上，每节车厢安装4 台，且保持间距相等。安装及视野覆盖区域如图1 所示。

图1 鱼眼镜头摄像机安装及视野覆盖示意图

2.2 相机标定和鱼眼校正

虽然鱼眼镜头摄像机的理论视野为180°，但其视野边缘区域畸变极为严重，最外侧区域图像数据几乎无法使用。为方便后续计算，需要对鱼眼镜头摄像机输出的原始图像进行畸变校正。本方案拟采用张正友棋盘格标定法，即在相机的不同视角和距离下拍摄多幅棋盘格的图像，通过角点检测得到棋盘格的坐标，再运用最大似然估计方法计算相机的内参和相对于棋盘格的外参，进而得到可用于后续计算的图像数据。

同时考虑到同一辆列车的车厢布局基本一致，且相机型号和安装位置相同，则可通过测量一节车厢的相机高度和顶部间距计算出相机外部参数中的平移向量，由于相机是垂直安装，因此相机的旋转向量与竖直方向z轴平行。

在已知相机内部参数和外部参的情况下，可以将鱼眼图像校正为透视视图的成像，在校正后的坐标系下，光路不经过折射，完全按照直线传播，从而实现相机标定和鱼眼图像数据校正。示意如图2 所示。

图2 经过鱼眼校正后的光路示意图

2.3 乘客坐标定位

在该坐标系下虽然可以计算成像平面上的每一个点所属的光线路径，但求解乘客的具体位置，还需要通过假设其他的约束条件来完成。

校正后的相机光路简化模型如图3 所示，人的头部被简化为一个半径为r2的球体，并在成像平面投影为一个半径为r1的圆，本方法中假设成年人头部半径一致，此处取r2=10 cm。经过头部检测算法，得到人头在鱼眼图像上的检测框，在对图像进行畸变校正的同时将检测框的坐标也转换到透视成像的坐标系下。由图3 可知在透视成像的坐标系下满足公式（1），其中图像中头部半径r1和头部中心点到图像中新的距离d1根据检测框可以得到，标定后可得到相机内参，即镜头到投影平面的距离f已知。由此可以计算出高度h。已知头部中心点的光路经过相机镜头即坐标系原点，还已知投影点在成像平面上的坐标以及f，2 点坐标已知即可得到光路直线方程。在已知光路直线方程以及头部中心点所在的水平平面方程后可以求直线与平面的交点，即可得到头部中心点的世界坐标，从而实现乘客的坐标定位。

2.4 行李体积估计

乘客在列车车厢内携带行李寻找座位的过程中，短距离内的行李姿态可以认为保持不变，因此人头部的位移和行李上每个点的水平位移相等，且没有垂直方向上的位移。因此可以用对比不同位置的行李边缘的关键点坐标来估算行李的实际体积。由于行李架和相机的相对位置固定，因此可以提前标定图像中行李架上固定间隔的点作为参照物，由目标检测算法得到行李的检测框是否遮挡标定点来估计行李架的空闲位置。

将该情况平移到三维空间则如图4 所示，由于要求解的坐标（x，y，z）包含3 个未知数，因此需要选择3个相邻的位置A、B、C，同时选择行李上的1 个关键点并设该点在A、B、C 3 个位置时分别为pA、pB、pC，并且对应的光路直线为LA、LB、LC。假设人由A 点走到 B点，再走到C 点，A 到B 的水平位移为由A 到C 的水平位移为；点pA的坐标为（x0，y0，z0），点pB的坐标为（x0+ox1，y0+oy1，z0），点pC的坐标为（x0+ox2，y0+oy2，z0），由于假设没有垂直方向上的位移，因此3 个点的z轴坐标均为z0。由此将pA、pB、pC坐标带入直线LA、LB、LC的方程，构建方程组：

图4 人与行李短距离平移情况下光路的变化

在该坐标系下，相机的镜头作为坐标原点（0，0，0），已知成像平面上的点坐标，即可计算直线方程，因此参数a0、b0、c0、a1、b1、c1、a2、b2、c2和偏移量ox1、oy1、ox2、oy2均为已知量，求解未知数x0、y0、z0。该方程组在光路直线LA、LB、LC不重叠的情况下有解，本方法中使用行列式解该线性方程组，此处不再给出解析解。

结合车厢的布局特点，乘客在进入车厢走到座椅区域的时候，人体和行李箱基本位于画面的中轴线位置，考虑到人拖拽行李的习惯，行李箱的边缘基本上是与坐标轴平行的，即行李箱的检测框在图像中基本与行李箱的边缘吻合，因此可以直接将检测框矩形4 条边的中点作为特征点,求出相对边上特征点的世界坐标，这2 点之间的距离基本上就可以代表行李的宽高，从而实现行李体积的估计。

2.5 乘客和行李的检测

目标检测是本系统中至关重要的一个技术环节，在本方法中选择YOLOv5 检测框架，用于检测行人和行李。YOLOv5检测算法框架结合前几代YOLO 的优点并加以优化，很好的做到了速度和精度之间的平衡，并且所用到的基础模块较为常见，多数推理框架对其有针对性优化，非常适合在移动嵌入式设备端部署。

本方法中主要涉及到的是人头的检测和行李的检测。人头检测模型由微软图像数据集（MSCOCO）训练得到，MSCOCO 数据集包含了80 个类别，只选择行人这一个类别训练单类检测模型，这样做可以压缩模型的体积，提高计算速度。人头检测使用拥挤行人数据集（CrowdHuman），该数据集下有大量拥挤场景的行人数据，并且标注头部区域，经过测试在车厢内的检测效果较好。为让模型精度进一步提升，在公开数据集的基础上加入了部分在车厢场景内采集的样本。行李检测的数据集一部分源自于MSCOCO 数据集的部分类别，如背包、行李箱等，另一部分则是由车厢场景内采集并人工标注得到。

2.6 系统流程

在列车进站之前，系统先对列车不同车厢内的乘客数量、行李架的空闲情况做出感知判断进而形成数据结果，该数据结果下发至列车即将到达的车站，由车站站台的显示系统将车厢内的乘客数量情况、行李架空闲情况展示给候车乘客，候车乘客可以根据自身情况提前赶往相应的车厢屏蔽门前等候列车到达，从而实现乘客分流的目的。在列车完成乘客上下车，关闭车门后，系统再一次对车厢内乘客、行李及行李架进行感知判断，根据行李架的当下空闲空间，将携带不同体积行李的乘客由语音引导至还有行李架空闲空间的车厢。

3 总结

本文提供了一套智能乘客分流系统的设计方案，该方案考虑城市轨道交通场景下相机内外参数固定的特点，估算出乘客的世界坐标和行李的体积，并利用深度学习检测模型估计车厢内行李架的空余情况，系统在列车到达下一站之前提前扫描车内情况，反馈给下一站的站台展示系统，并在列车完成乘客上下车，关闭车门后，根据所携带的行李体积和车厢行李架的当下空余情况将携带行李乘客引导至相应车厢。同时提供一种计算乘客在车厢物理空间内世界坐标的方法，该方法后期还可用于开发乘客轨迹拼接、车厢密度估计等其他功能。该设计方案可为城市轨道交通客流引导提供一种创新的技术解决手段。

乘客分流系统可以提高乘客的出行体验和满意度，降低因为拥挤、踩踏造成的公关安全风险，降低车站乘务疏导工作量，提升城市轨道交通运营单位的运营效率、运行质量和安全管理水平；通过实时收集车厢内乘客的图像信息，系统能够分析和预测乘客分布的变化和趋势，为将来运营单位优化列车运行间隔与智能调度提供数据支撑。综上所述，乘客分流系统可以提升乘客的出行体验，提高城市轨道交通运营效率，增强城市轨道交通安全管理水平，进而推动城市轨道交通行业的智能化发展。