全景图自动生成技术在地铁中的应用

于淑萍 李文锋

（南京铁道职业技术学院，210031，南京∥第一作者，教授）

地铁速度快、载客量大，其运营过程中的行车安全直接关系到人民生命财产和国家财产的安全以及社会安定等。因此，地铁的行车安全已越来越受到业界的关注。文献［1］、［3］、［4］对地铁行车过程中的安全影响因素进行分析，并针对性地提出相应的控制措施，提高地铁的行车安全。文献［2］从地铁应用系统出发，通过分析安全保障系统的结构和信息传输等关键技术 ，提出实现安全保障系统的方案。目前，地铁行车安全管理主要通过车厢内及车站的视频监控系统对列车进行实时跟踪。视频监控系统可以对地铁的行车视频信息进行实时保存，并在发生事故时，通过现场情景还原来分析事故原因。但是，这种方式仅能从一个角度去看现场（如摄像头是向下拍摄的，则只能看到俯视的监控画面），而且只有在有摄像头的范围内才能看到，这给行车安全事故的追踪带来了不确定性。

为了更好地调度列车和还原事故现场的情景，本文提出使用基于LTE（长期演进）的车载台拍照功能，利用全景图拼接技术，将列车运行过程中拍摄的各个方面的照片拼接成立体画面。调度人员通过可视化界面，可实时了解列车的位置及周边的情景；当发生事故时，可以通过多维度清晰观察现场情况。

1 全景拼图技术

全景拼图是一种应用较广的基于图像的绘制技术。全景拼图的主要思想是：利用离散的且有一定重合度的照片序列，对其边界进行定位和重合，形成一张照片，再对其颜色、亮度等进行校正，然后进行无缝平滑处理；如此依次拼接，最后形成水平方向360°环视的图像环境。全景图的生成包括图像配准和图像拼接两个最为关键的步骤。

1.1 图像配准

图像配准的目的是找出相邻图像间的重叠区域范围和位置，以便得到两幅图像间的相似度。图像配准被定义为两幅图像间在坐标位置和灰度级上的双重映射变换，由此，图像配准问题转化为寻找最佳空间或几何变换参数问题。设两幅待配准图像I1（x，y）和I2（x，y）分别为参考图像和匹配图像，f是二维空间坐标变换，g是一维的灰度变换，则双重映射变换可表示为：

基于相位相关度的图像配准技术的主要思想，是利用傅立叶变换式、小波变换式等先对图像进行变换，通过互功率谱直接计算出两幅图像间的平移矢量，然后将两幅待配准图像变换到频域。旋转和缩放在频域都有其对称性，可以先对图像计算旋转，而后计算平移，再利用变换后的图像的某些特性进行匹配。假定I1（x，y），I2（x，y）分别为两幅待拼接的图像，I2（x，y）是由I1（x，y）简单平移得到的。即：

根据傅立叶变换的性质可得：

式中：

F2（ξ，η），F1（ξ，η）——分 别 为I2（x，y）和I1（x，y）的傅立叶变换。

F2（ξ，η），F1（ξ，η）的互功率谱为：

假定I2（x，y）是由I1（x，y）以ρ为参数进行缩放后再逆时针旋转θ0后得到的图像，则其满足：

令I1p（φ，θ）和I2p（φ，θ）分别为I1（x，y）、I2（x，y）的极坐标形式，得到：

若对I1p（φ，θ）和I2p（φ，θ）沿ρ方向取对数，即：

则

从式（9）可以看出，I1pl（λ，θ）和I2pl（λ，θ）之间满足一种简单的平移关系。利用上述相位相关方法同样可获得λ0和旋转角度θ0，由此可获得缩放尺度φ＝eλ0。

1.2 图像拼接

图像拼接就是将两幅图像拼成一幅图像。如果两幅图像的重叠部分只是简单地取两幅图像进行叠加，会造成图像的模糊和明显的边界，因此需要采用一定的方法处理重叠部分。本文采用取平均值法。

令I1（x，y）、I2（x，y）、I（x，y）分别表示第一幅图像、第二幅图像和融合图像在点（x，y）处的像素值，则融合图像中各点的像素值按下式确定。

式中：

R1——第一幅图像中未与第二幅图像重叠的图像区域；

R2——第一幅图像中和第二幅图像重叠的图像区域；

R3——第二幅图像中未与第一幅图像重叠的图像区域。

2 全景拼接技术在地铁中的应用

利用全景拼接技术，首先需要遵循图像自动拼接的过程。即完成图像的获取、预处理、配准、拼接和图片的展示。将此过程统一集中到行车调度软件实现。行车调度软件用于行车调度员对在线运营列车的实时语音和数据调度，能实时以列表和图形化的形式显示列车。

2.1 软件架构

调度软件框架如图1所示。根据调度软件承担的功能不同，软件设计主要分为感知层、资源层、管理层和应用层。

感知层是信息源，负责获取语音、数据等信息。本系统中感知层有车载台、固定台及广播话筒等。资源层主要负责系统运行的一些资源调度，包括计算资源池、存储资源池、网络资源池等，通过本层可有效管理系统资源，提高资源的利用率。管理层主要用于管理系统运行过程中的一些用户、算法及安全审计机制。应用层提供各种应用的实现，如语音的呼叫、列车的图形化及列表显示、用户管理等。

2.2 软件的处理流程

调度软件的处理流程比较复杂，包括了信号系统、时钟系统及短信服务系统的交互处理流程。地铁线路的主要组成元素是固定的，不会发生变化，利用这些照片可以生成整个线路的全景图。另外，列车每个时刻的位置在变化，行车调度软件通过全景技术也可生成针对每列列车每一时刻的全景图。本文主要介绍与全景拼接技术相关的处理流程，如图2所示。

图1 调度软件框架

图2 图像拼接处理流程

流程主要涵盖了以下4个主要部分：

图像采集：图像采集功能主要由司机室安装的车载台上的摄像头实现。列车的左侧、正前方及右侧分别部署摄像头，分别采集列车左侧、正前方和右侧的图像数据。这些图片通过LTE网络发送到调度中心。

图像提取：行车调度软件可通过数据库直接访问调度中心保存的图片数据，提取这些图像的像素及灰度信息。

图像预处理：主要对图像进行几何畸变校正和噪声点的抑制，让参考图像和待拼接图像不存在明显的几何畸变。图像预处理为图像配准做准备，使图像质量能够满足图像配准的要求。

图像配准和拼接：图像配准是对来自不同传感器以及从不同时相、不同角度所获得的两幅或多幅图像进行最佳匹配的处理。图像拼接对图像进行缝合，并对缝合的边界进行平滑处理，使缝合自然过渡。由于任何两幅相邻图像在采集条件上都不可能做到完全相同，因此，一些本应该相同的图像特性（如图像的光照特性等）在两幅图像中也会表现得不完全一样。图像拼接缝隙就是由一幅图像的图像区域过渡到另一幅图像的图像区域时由于图像中的某些相关特性发生了跃变而产生的。图像融合就是让图像间的拼接缝隙不明显，拼接更自然。

2.3 软件的显示界面

软件实现后，能够将连续图片连成实际的地铁线路图，同时，能显示车辆所在区域的全景图。图3、图4分别为某一时刻车载台拍摄的两张图片，经过系统配准及拼接后，形成图5所示的线路全景图。

图3 车载台左摄像头拍摄图片

图4 车载台右摄像头拍摄图片

3 结语

图5 调度界面上全景地图

地铁是未来城市的主要交通方式，其安全性越来越受到关注。基于LTE技术的车载台能随时拍摄列车的周边场景，并实时传输到调度中心。应用图像全景技术，对车载台拍摄的图像进行处理，可形成地铁线路全景图，并以三维方式实时显示每列列车所在的位置。利用全景图自动生成技术为调度中心调度员提供可视化的界面，有利于提高其工作效率和调度命令的准确性。

［1］纪开权.关于影响地铁行车安全因素的思考［J］.黑龙江科技信息，2011（7）：45.

［2］崔艳萍，唐祯敏，武旭.地铁行车安全保障系统的研究［J］.城市轨道交通研究，2004（5）：23.

［3］陈丽艳.基于安全行为分析的轨道交通司机安全性评价研究［D］.北京：北京交通大学，2010.

［4］曾庆生.地铁行车安全事故预防［J］.科技风，2012（3）：122.

［5］蒋苏蓉，王松，冯刚.基于图像的全景视图的实现技术［J］.计算机应用，2002，22（6）：12.