视频拼接技术下斗轮机无人值守的可行性研究

庞占洲

（1.太原理工大学，山西 太原 030024；2.内蒙古岱海发电有限责任公司，内蒙古 乌兰察布 013750）

0 引言

煤场运行时，需要利用视频监控系统获取煤场全貌图像。但传统视频监控系统只能监测摄像机附近一定范围内的图像，无法覆盖整个煤场，且视线相对狭窄；同时，要求视频观察人员对场景具有较高的熟悉度，工作人员需要频繁切换视线，但各个图像的相似度较高，导致工作负担较重，影响其工作效率，并无法清晰观察煤场全貌，可能会因无法及时发现安全隐患而导致安全事故的发生。斗轮机无人值守能够解决以上问题，因此斗轮机无人值守技术的研究和应用已经成为工业自动化领域的热门话题，其中视频监控系统是实现无人值守的重要手段。视频拼接技术是指将多段视频进行拼接，形成一个完整的视频，可以对斗轮机进行全方位的监控，提高生产效率和安全性。但是，如何解决视频拼接过程中可能出现的画面跳转、分辨率不一致等问题，仍需要进一步研究和改进。

现阶段，此研究领域专家利用多种方法已得到了较好的研究成果。文献[1]针对破碎站设计了一种无人值守监控系统，采用了视频分析技术以及物联网技术。该系统包括感知层、传输层、数据层、服务层和用户层。文献[2]提出了一种煤矿智能化主运输系统无人值守关键技术研究方法。

以上方法虽然可以对无人值守的视频画面远程监控，并且不需要人工参与，减轻了工作压力，但是无法实现空间层面大场景分割隔离与集成，因受到视频监控画面重叠影响，存在过度累积特征点的问题，无法获取全局监测信息，因而不具备充分的应用价值。为此，本文提出一种新的视频拼接技术下斗轮机无人值守的可行性研究方法。

1 拼接视频俯视投影变换

由于斗轮机通常是在矿山等露天场所进行作业，其操作区域较大，需要使用多个摄像头进行全方位监控，而不同的摄像头角度和位置不同，拍摄到的画面也存在差异，这就需要对拍摄到的视频进行俯视投影变换，使得各个摄像头拍摄到的画面能够拼接成一个完整的画面，从而实现全方位监控。只有经过俯视投影变换，才能够消除拍摄角度和位置带来的影响，使得拼接后的视频画面更加连贯和准确，提高无人值守的监控效果。

本节通过视频拼接融合技术实现煤场的全景展示，进而在多个图像同步展示与拼接的基础上，获取更高的工作效率[3]。由于在无人值班情况下，需要在地面上形成一个完整的俯视全景图，因此必须将影像投射在一个水平面上。利用单应性矩阵对侧视图展开顶视投影变换处理，将侧视图转化成俯视图，从而得到以水平地面为基础的立体图像[4]。

设左右两相机的核心坐标系分别为Z1、Z2，尺度因子分别为λ1、λ2，参数矩阵分别为E1、E2，基于此，计算空间中左右两相机下的像素坐标点，可表示为：

基于此，单应性矩阵可表示为：

单应性矩阵不只是描述同一平面的像素点之间的关系，更是同一个平面在任意坐标系之间都可以建立单应性变换关系，如图1 所示。

图1 拼接视频俯视投影变换示意图

投影转换是最常用的一种影像转换方法，可以用来描述包括平移、旋转、缩放等各种转换的情形，在这样的转换之下，转换之前和之后的平行线仍维持平行[5]。基于此，本文提出了一种基于矩阵线性的图像转换方法。仿射变换可以处理对象的一切与其位置有关的变化，但不能处理全部情形[6]。若被摄对象在三度空间中出现了转动，则该对象将经受一次投影转换。在这样的转换中，转换前后仍然是一条线，如此，二维向三维的转换就可以用其投影转换来表达[7⁃8]。

设a为平移矩阵元素，对于左右两相机核心坐标系z的点(x,y)进行投影变换映射后，得到的平面投影变换公式为：

结合图1 可知，投影变换存在8 个独立参数，对于该投影变换下的相应点均可通过公式（3）被唯一确定[9]。

2 视频无缝拼接的可行性研究

2.1 特征点提取

在一般情况下，常规的特征提取方法只能提取一张完整的图片，而且所提取的特征点也不能完全覆盖整幅图像。然而，在实际应用中，需要对交叠范围内的角点感兴趣[10]。对叠加部分图像的重叠区域或靠近重叠部分的外扩区进行检测，不仅可以降低计算量和缩短计算时间，还可以大幅度地减少检测到的角点数[11]。

为此，使用SIFT 算法确定特征点的候选点。该算法是通过图像金字塔形式来构建尺度空间的，在一幅图像中，基于平面投影变换结果，尺度空间的高斯函数可表示为：

式中：δ表示尺度系数，该值越大说明图像越模糊，反之则越清晰[12]。在确定尺度空间的高斯函数情况下，构建尺度空间：

式中：“⊕”表示卷积运算；Im(x',y') 表示输入的m个图像[13]。通过改变尺度系数能够获取图像金字塔不同尺度空间的图像。

为了对特征点检测区域进行限定，视频图像特征点检测区域的大小需要根据具体的应用场景来选择，通常不少于源图像的1/3，不超过源图像的1/2。先通过栅格法对特征点进行预处理，再对各个栅格中的图像进行检测[14]。用4×4 的格子将一幅图片分割成16 个小块，在此基础上，通过控制各栅格内所能探测到的特征点数目，防止特征点的过多积累。

2.2 图像融合

通过2.1 节的提取视频特征点，可以对斗轮机进行精确定位和跟踪，从而实现自动控制和无人值守。然而，在实际应用中，由于斗轮机作业区域较大，不同的摄像头拍摄到的画面也存在差异，因此需要对监控图像进行融合，消除不同摄像头之间的差异，使得监控画面更加连贯和准确。

在图像匹配时，需要考虑被匹配的2 幅图像之间存在较大的交叠区域，保证有充足的公共特征可供配对。本文提出了一种基于面积的图像拼接算法，该方法的加权平均法属于对直接平均法的改良，对重叠区域的像素值不再是简单叠加，而是先确定权重再叠加平均。

加权平均法的权重表达式如下：

式中：hi、gi分别表示输入图像的宽和高[15]。

将该权重表达式代入到如下公式，可得到融合后的图像中各点像素值：

式中：ω1、ω2分别表示待融合图像I1、I2的权重。加权平均法的优点是避免了重叠区域灰度值的直接叠加，从而使得重叠部分不会有明显的拼接痕迹。

2.3 拼接处理

对其中一路视频图像的关键帧选择的方式是：先选取视频图像的第1 帧作为关键帧，接着判断当前帧和上一帧图像的差值是否大于阈值，当差值大于规定的阈值后，即确定该帧为视频关键帧，并获取该帧的视频图像数据。然而，如果在一段时间内没有关键帧出现，则说明拼接的视频存在着画面卡顿的问题。为了防止这种情况的发生，提出了视频拼接技术下斗轮机无人值守的可行性研究方法，这样可以保证拼接的视频具有一定流畅度。融合视频图像的拼接处理流程如图2 所示。

图2 视频拼接流程

先确定是否为视频的首帧图像，如果为首帧图像，则对图像进行配准处理，求出单应性矩阵，并对图像加以融合；如果不是首帧图像，可对选中的关键帧用首帧图像运算出的单应性矩阵加以拼接，并通过融合算法进行融合。待选出的所有关键帧图像拼接完毕后，再将已拼接好的所有视频帧输出，从而产生视频流，实现斗轮机无人值守下的视频有效拼接。

3 可行性验证

3.1 实验样本图像获取

斗轮机无人值守的装备是4 个鱼眼摄像机和1 个视频图像采集卡，在对摄像机选取时，首先摄像机的视野要尽量开阔，视角越大，所蕴含的信息就会越多，对辅助煤场操作的安全也会更有利。在视频数据收集卡的选取方面，采用了一种能够实现4个信号的PCI总线的采集卡。

通过摄像头采集的图像如图3 所示。

图3 摄像头采集的原始图像

3.2 验证指标

设置匹配正确率为实验研究的重要指标。匹配正确率表示图像配准过程中正确匹配点对数目占全部匹配点对数目的百分比，计算公式为：

式中：N表示正确匹配点的数量；M表示全部匹配点的数量。匹配正确率的数值越大，表示正确匹配点对数目越多，则算法精度越高，性能越好。

3.3 验证结果分析

使用文献[1]提出的破碎站无人值守监控方法、文献[2]提出的煤矿智能化主运输系统无人值守方法以及本文方法完成对比实验。在性能验证中对比匹配正确率指标，对比结果如表1 所示。

表1 不同方法匹配正确率对比结果 %

由表1 可知，使用本文方法的特征点匹配正确率均高于95%，其余方法特征点匹配正确率均低于70%。

使用三种方法对比分析视频拼接结果的峰值信噪比，对比结果如图4 所示。

图4 不同方法视频拼接效果

由图4 可知，使用文献方法完成的视频图像拼接结果中不仅存在较大缝隙，而且图像拼接错乱，而本文方法的视频图像整体拼接效果更为理想。

4 结语

在本文研究的斗轮机无人值守系统中引入了视频拼接技术，实现了视频的无缝拼接与有效融合，增强了数据整合能力，并可实现数据动态分析，能够对大量视频信息展开实时处理。通过深度融合复杂视频信息，能够及时发现斗轮机运行故障问题，大幅提升斗轮机视频监控的质量及效率。