龙门吊的360°环视影像

鲁明

摘 要：随着电子商务及基础建设的日益发展，商品运输、建材搬运的需求在不断增长，对于工程车辆的需求也在逐步增大。龙门吊是码头上常用的一种货物搬运工具，其载货量大，操作灵活，但在复杂的作业环境中，由于车身庞大，仅仅依靠操作人员肉眼观察很难确保車辆及操作人员的安全。360°环视影像技术是车辆辅助驾驶系统中的一部分，其主要采用六个摄像头采集实时景象，接着经过图像匹配技术与图像融合技术，拼接出车身周围的全景俯视图，用以消除驾驶者的视野盲区，保障了驾驶过程的安全性及可靠性。

关键词：龙门吊；环视影像；辅助驾驶系统；图像匹配；图像融合；

1引言

龙门吊是一种码头上常用的工程车辆，主要用于集装箱、货物的搬运。在实际作业中，由于工作环境复杂，车身庞大，驾驶员在行驶或作业过程中只能依靠后视镜等设备肉眼观察，导致视觉盲区的存在，因此机械设备和操作人员的安全难以得到保障。由于龙门吊的自身体积和重量大，一旦发生事故，往往产生严重的后果，对周边车辆或是工作人员都具有一定的威胁，因此很多施工单位有明确的作业时间限制以及安全规范，但是还是有安全事故频频发生。据统计，中国每年发生的和机械设备有关的事故均超过10万起，死亡人数超过两万人，稳居世界第一。因此，为重型工程车辆提供一种可行、可靠的辅助驾驶系统，保障生命财产安全是一项重要的使命。

本文基于全景视觉辅助影像系统，提出了龙门吊的360°环视影像技术，这项技术是工程车辆的辅助驾驶系统的一部分，其首先针龙门吊的实际参数，配备合适的摄像头，并寻找合理的位置安装摄像头；接着通过摄像头，进行龙门吊四周的实时图像采集，并将采集后的图像实时传送到处理器；然后，将采集的图像进行图像匹配、图像融合、图像拼接等处理；最后将处理后的360°环视影像显示在屏幕上。此项技术在图像的拼接以及实时呈现都取得了良好效果，且算法实时性强、可迁性强，能适用于其他工程车辆，能有效改善工程车量的安全性能，并为建设无人码头和无人驾驶系统做出铺垫。

2整体方案及流程

本设计在硬件上通过对龙门吊进行1：30的等比建模，并在龙门吊模型的前后横梁上均匀安防3个摄像头，共计六个摄像头，俯视拍摄出六幅不同区域的龙门吊周围的实景图，并将图像传送至处理机，获取图像处理后的360°环视影像，实时呈现在监控显示器中，供驾驶人员参考。

在图像处理中，通过检测特征点、描述特征点、匹配特征点、寻找映射矩阵、仿射变换、图像融合步骤，实现针对龙门吊的360°环视影像技术。

3 360°环视影像的图像匹配算法设计

图像匹配是全景图像融合算法中较为关键的问题，图像匹配算法的优越性将会直接影响到后续图像融合的效果。图像匹配的定义是将对同一场景，在不同角度或是不同情况下拍摄的图像进行处理，寻找到特征匹配点，并将待拼接的图像变换到同一基准图像坐标下。

在传统的环视影像系统中，由于所用的图像匹配算法，其复杂度高，时效性不良，所以在嵌入式系统中存在许多问题，难以达到对图像进行实时拼接的效果。传统的环视影像系统中，主要使用的图像处理的方法是标定两个点，通过点来寻找缝合线的，接着将输入的待拼接图像分割为梯形，最后沿着缝合线将图像拼接成一幅完整的融合图像。但这种方法存在着很大的弊端，即拼接缝较大，对拼接后的图像的美观及视觉感官有影像。本文根据实际工程特点，将SIFT算法应用在全景环视影像系统的图像匹配算法中，用以改善上述的时效性差、拼接缝大等问题。

3.1图像匹配原理

图像匹配被定义为通过一定的算法，在图像中检测特征点，并对特征点进行匹配与描述，接着在将图像中找到其相对应的特征点进行匹配，从而得到待拼接图像之间的位置关系。

图像匹配的本质是利用图像的空间与图像的灰度信息，因此图像匹配的实质是两幅待测图像之间的双重映射。

假设I1 （x，y） I2 （x，y），分别为图像I1，I2的灰度值，则I1 （x，y）， I2 （x，y）可表示为以下映射关系：

I1 （x，y）=g（f（I2 （x，y）） （4-1）

其中，g表示图像灰度的变换，f表示图像空间坐标的变换。由上式可以得出，图像匹配的本质是找到最优的坐标变换f和灰度变换g，一般情况下，图像匹配的过程只需要考虑坐标的变换，因此公式（4-1）可以减缓为下列形式：

I1 （x，y）=f（I2 （x，y） （4-2）

图像的集合坐标变换可以理解为将待匹配的图像变换到参考图像的坐标系中，利用齐次坐标可以建立上述变换的关系表达式

（4-3）

3.2.SIFT匹配算法原理

尺度不变特征转换（SIFT）是一种视觉算法，其算法的主要功能是图像的对局部特征进行描述。具体的描述的方式是通过在尺度空间中寻找极值点，接着提取极值点位置、尺度和旋转不变量。1999年British Columbia大学David G. Lowe教授对当时存在的基于不变量的特征提取方法做出总结，正式提出了此算法，并于2004年加以补充完善。该算法首先在待匹配图像中提取特征点，然后对特征点进行特征描述，最后比较两方特征点，找出匹配对，建立对应关系。

综合以上，本设计在图像匹配算法中，首先通过SIFT算法，进行特征点的检测，对图相中的每一个特征点赋予位置、方向和尺度等信息，其中特征点就是图像上的拥有很明显特征的像素点，比如明暗交界处，物体的边缘等等。其次，为了将匹配图像之间的特征点联系起来，还要对特征点进行描述，算法中，上一步已经找到了特征点，但还不能确定两幅图像中的特征点是不是相同或者相似的，找到相同的特征点对图像拼接有很大的帮助，这时就需要描述特征点，每个特征点都有自己的特性，如果两幅图中的某两个特征点的描述符非常相似，那么就可以说这两个特征点是匹配的根据上一步提取到的特征点来提取特征向量。最后需要对经过描述后的特征点进行匹配，找到两幅图像之间相互匹配的特征点。

4 360°环视影像的图像融合算法设计

图像融合被广泛应用于图像处理，其定义是对多幅含有相同信息或互补信息的图像进行图像处理，使图像更符合人们的视觉习惯。在图像融合的应用方面，这项技术涉及多个方向、维度和级别的处理，可用性十分强，如医学扫描、智能识别、人工智能等。

对于龙门吊的360°环视影像系统，其通过六个型号相同的设想有进行初步的图像采集，但由于摄像头之间仍存在细小的差异，加上拍摄画面的亮度等外界因素的不同，因此在采集的图像中，仍会存在亮度、色彩等。因此，对于已经完成图像匹配后的系统，仍需要采用一定的融合处理，以达到更精准、稳定的图像视觉效果。

本设计针对实际问题，采用的是一种加权平均法的改进融合算法，这种融合方法是基于平均法融合算法的一种改。相比较于传统的均值融合算法，加权平均算法采用的是对两幅或多幅图像先赋予权值，再根据权重进行图像的融合及处理。该算法的融合原理可由下式表示：

（4-1）

对比与传统均值算法，在改进算法的重叠区域像素灰度值的计算加入了权值w1和w2，此处的w1和w2分别表示图1和图2在重叠区域灰度值的权值，且满足w1+w2=1，0

5仿真与分析

根据上述理论知识与程序步骤，实际仿真步骤与结果如下所示：

（1）分别通过六个摄像头对龙门吊模型周围的实时情况进行视频的采集，并将视频传送至处理器。采集结果如图6-1示：

（2）将融合后的视频实时呈现在显示器中，供操作人员实时查看，融合后的结果如图6-3所示：