智能全景视觉传感网络目标跟踪方法设计

田维飞，夏志丽

(中北大学，山西太原030051)

1 引言

计算机视觉为智能视频的监控领域重要研究方向，其中大范围的场景中视景信息使用越来越广泛，现阶段计算机视觉的主要途径分为：全方位、多目、双目以及单目视觉[1]。其中，传统单目视觉的摄像头其视野较为有限，得到的大尺度和全局信息比较困难。

通过一定物质、材料或者技术的手法，完成的供人欣赏的艺术作品，包括雕塑、绘画以及摄影等，在摄影过程中几乎都是单目摄影，通过找寻一定位置、角度，拍摄出艺术作品，而一旦因为所需要拍摄的物体、风景等较大或较长，使用单目摄影便没有最佳拍摄位置，这时可以使用全景摄像的方式，将整体全部拍摄下来，形成一幅全景的艺术图像[2]。同样在采用单景视觉对目标进行跟踪时，因为视角的限制，导致无法对目标进行跟踪，或者存在遮挡物、物体颜色与背景相同等情况，都会令跟踪受到影响，导致跟踪目标丢失，或者无法进行跟踪，所以需要利用全景视觉对目标进行跟踪，而全景视觉系统在跟踪目标时，其最基本问题即为目标物体特征的检测，因为起始图像先要通过反射镜进行反射，接着再利用透视镜折射，最后成像[3]。基于此本文提出一种智能全景视觉传感网络目标跟踪方法，能够有效对目标跟踪，且能够避免单景视觉目标跟踪失误的缺点。

2 智能全景视觉传感网络下目标跟踪实现

2.1 全景视觉的传感成像模型

一个抛物面的发射镜与一个CCD(Charge Coupled Device)的摄像机就能够组成一个整体反射全景的成像系统[4]。在世界坐标系上存在一个目标X通过抛物镜面发射之后，将其透射至CCD摄像机内，这样即可在图像平面上构成一个像点u。而点F表示抛物镜面焦点，镜面坐标系与世界坐标系之间能够采用旋转矩阵tw和平移向量Rw完成转换。图像平面坐标系与镜面坐标系之间平移向量和旋转矩阵利用Rc、tc表示。

具体点x与u需要满足公式为

x=λ[Rw，-Rwtw]X，λ∈R，λ≠0

(1)

(2)

式中：K代表相机标定得到的内参矩阵，λ，a代表坐标间所变换比例因子。

如果已知图像上的点u，那么可知抛物镜面反射点x，b代表抛物线镜面的参数，具体公式为

(3)

其中

(4)

2.2 全景视觉传感的对极几何约束分析

因为全景图像主要是利用曲面镜所反射投影至CCD相机上获得的，其中对极线为曲线，并不是直线。此曲线形状和镜面种类相关。相对于抛物镜面，具体对极曲线为圆形，X为目标点。x、x′代表两个相机内像点，l、l′分别代表x′与x在相应另外一个相机视野内对极线。O、O′代表相机光心。e、e′代表极点[5]。

fd、fe代表两个抛物镜面焦点，所有的抛物镜面全有两个极点，它们分别为Cd1、Cd2与点Ce1、Ce2。x1、x2代表目标点X在抛物镜面上的反射点。两个镜面和极平面相交，从而构成两条对极曲线ld、le。

相对于二次曲面，具体要满足公式为

XTQX=0

(5)

式中：Q代表一个4×4矩阵，它取决于此二次曲面形状，相对于本文所采用的抛物镜面，具体公式为

(6)

式中：b代表抛物镜面的参数。

R与t分别代表两个镜面坐标系间实现坐标变换时的旋转矩阵以及平移向量[6]。若目标点X在两个抛物镜面内投影点分别是x1、x2，所有的抛物面全有两个极点，它们分别为Cd1、Cd2与点Ce1、Ce2。若目标点X和两个抛物镜面焦点F1与F2形成一个极平面，两个镜面和极平面相交从而构成两条对极曲线ld、le。而目标在图像的平面内像点分别标准成u1、u2。

若t=[tx，ty，tz]T，那么镜面坐标系F2公式为

(7)

式中：×代表向量乘积，在引入反对称矩阵S，具体公式为

(8)

即以上式(7)能够变换公式为

(9)

式中：E代表本征矩阵，能够获得公式为

E=RS

(10)

两个抛物面的全景成像系统，得到两张全景的图像它们间的对极几何约束，具体公式为

(11)

式中：A2(E，u1)代表E、u1与全景摄像头所标定的参数非线性函数。

具体二线曲线方程公式为

(12)

式中：Ax2=[x，y，1]T，x2=[x，y，z]T。

相对于抛物镜面F1，向量x1与t重新定义了极平面π，处于坐标系F1内，其极平面π法向量n1公式为

n1=t×x1

(13)

坐标系F2内，极平面π法向量公式为

n2=Rn1=R(t×x1)=RSx1=Ex1

(14)

式中：使n2=[p，q，s]T，那么极平面π处于坐标系F2内公式

(15)

即

(16)

式中：p代表右侧的抛物镜面q参数。

通过以上分析，只要两个成像系统拍摄的全景图像内相应匹配点集和已知的全景成像镜面参数，就能够通过计算获得两幅图像彼此之间对极的几何关系[7]。相对于一幅全景图像内随意的一个像素点，会在另外一幅相应的全景图像内寻找出一条对极曲线，且该像素点相应的匹配点，总会经过该条对极曲线[8]。

2.3 基于光流法检测目标

如果运动能够利用一系列的映射参数进行描述，相应的是三维运动与同样表面流量矢量，会存在映射参数的集合。利用存在相同映射的参数流量矢量分配成相同方法，实现光流分割[9]。

光流计算有两种假设分别为：图像平面红邻近点都是以相似方式所移动的；任何物体点观察到的亮度，都不会随着时间变化而变化。

设f(x，y，t)代表处于时间t与图像平面内(x，y)点上图像的灰度，把动态图像表示成关于时间以及位置函数，且允许代表一个泰勒的序列。具体公式为：

f(x+dx，y+dy，t+dt)=

f(x，y，t)+fxdx+fydy+ftdt+O(∂2)

(17)

式中：fx代表x方向偏导数，fy代表y方向偏导数，ft代表t方向偏导数。

具体dx、dy、dt公式为：

f(x+dx，y+dy，t+dt)=f(x，y，t)

(18)

若dx、dy、dt较小，那么公式为：

(19)

(20)

(21)

(22)

(23)

(24)

光流计算法主要基于Gauss-Seidel迭代算法，对于图像序列的光流方法，分别表示为：相对于全部点(i，j)，那么估计光流起始值为c(i，j)；使m代表目前图像的处理序列号，相对于大幅图像全部的像素。

利用光流法对目标进行检测，进行检测前需要采用效果较好的滤波对部分光流噪声进行清除，然后采用二值化分割目标，接着适当合并目标，主要是由于目标分割之后临近的目标块很有可能是相同目标。而具体步骤为：先对这些块形心进行计算，再对各块间距离进行计算，若各块之间距离要小于某值，那么需要对其进行合并，完成目标检测[11]。

2.4 目标的跟踪算法

跟踪一个目标的过程内，在某一帧目标周围查询下一帧位置，就是寻找物体时所倾向与物体小移动，以此便模拟了目标运动平稳性。

(25)

(26)

式中：X和Y为随机变量，都服从普拉斯的分布。此两个随机变量叙述了目标中心位置相对于目标大小变化。

而拉普拉斯的分布为一个连续概率的分布，能够看成是两个指数的分布情况背靠背拼接在一起。一共存在两个参数，分别是位置参数μ和尺度参数b。对于服从拉普拉斯随机的变量Z概率密度函数公式为

Z～Laplace(μ，b)

(27)

(28)

通过研究，随机变量X和Y都服从位置参数是，而尺度参数是0.2拉普拉斯分布的函数公式为

(29)

在除了目标的中心位置产生变化外，两帧间目标大小的变化也能够利用拉普拉斯进行建模，具体公式为

wt+1=wtP

(30)

ht+1=htQ

(31)

式中：P和Q代表宽度和长度尺度的变化因子，都服从位置的参数是1，参数的大小是1/15拉普拉斯分布，具体公式为

(32)

通过观察上述一系列的公式能够看出，边界框的中心位置移动，确保了目标较倾向起始位置周围较小的移动，而尺度变化则需要令边界框尽可能保持起始位置的附近[12]。

3 实验证明

3.1 实验环境

为了验证本文方法的有效性，实验平台使用移动机器人作为测试工具，机器人包括全景视觉系统、PC104控制器、传感器以及轮式行走机构等，计算机平台包含：CPU是Inter Core2 Dou E7400 2.80GHz，内存4GB，硬盘500GB，操作系统的Windows XP。以此对实验目标进行检测跟踪。

实验数据为上述全景镜头所采集到的户外场景，算法使用的C++语言以及OpenCV2.0的库函数编写，获得图像分辨率。

4.2 实验结果分析

目标的跟踪，主要是假定在初始化的检验上，此目标完全处于独立的状态，且没有人或者其它的物体对其进行遮挡，不过需要说明的是，在目标图像最开始跟踪时，必须准确的检测到目标存在，具体跟踪结果如图1所示。

图1 本文跟踪方法获得跟踪示意图

通过观察图1能够看出，其中为了便于观察目标，选择最前方较为明显的实验人员进行跟踪，通过对比图1(a)与(b)，在图1(b)中，很明显能够看到实验人员身上出现明显的矩形框，说明本文能够有效的跟踪目标。

为了进一步验证智能全景视觉传感网络目标跟踪方法的效果及可行性，选取两组参考方法作为对比方法，将智能全景视觉传感网络目标跟踪方法设定为评价指标，具体实验对比结果如图2所示。

图2 不同方法的传感网络目标跟踪效率对比结果

由图2可知，对三种方法的传感网络目标跟踪效率进行了对比分析，由于本文方法在实际应用的过程中对全景视觉传感的对极进行几何约束分析，有效避免故障的发生，全面提升建设数据中心基础设施管理效率，使本文方法的测试指标在三种方法中为最高，且呈现上升趋势，而参考方法1和参考方法2在测试中网络目标跟踪效率比呈现下降趋势。综上所述，本文能全景视觉传感网络目标跟踪方法具有较好的效果。

4 结束语

多目与双目视觉系统则使用的是多个或者两个摄像机配合，使视野范围扩大，不过在不同的坐标系内，目标匹配以及数据融合等方法复杂难度比较高，并且实时性较差。而全景视觉则是指将90度到360度场景全部展现在一个二维平面上，其中，全景一般表示人双眼正常的有效视角(约为水平90度和垂直70度)或者是双眼的余光视角(约为水平180度和垂直90度)以上，甚至是360度完整场景范围拍摄照片。而它的分类包含全景图片以及全景视频，主要是按照交互性又可以分成有交互信息全景与无交互信息全景信息，现阶段可以看到的全景还停留在图片的无交互信息全景阶段，主要在虚拟现实、远程控制以及移动机器人等领域获得广泛应用。本文提出的智能全景视觉传感网络目标跟踪方法，不但能够有效的对目标进行跟踪，同时不会因为其它外界干扰因素影响跟踪目标的效果。不过因为计算机视觉的使用越来越广泛，使用的场景也越来越多，所以本文还需要进一步对其进行研究，争取适用于各行各业，避免出现目标跟踪效果差的情况。