基于映射适应性卷积和等距投影的鱼眼图像畸变校正算法

马辉，朱琳，曾静

（四川大学计算机学院，成都610065）

0 引言

鱼眼镜头作为计算机视觉领域应用范围最广的光学镜头之一，具有焦距短、视角大的特点，并且可视角度甚至可以大于180度，因此通过鱼眼图像我们可以获得更多的图像信息。也正因为鱼眼镜头的这些有点，鱼眼镜头被广泛应用在三维重建、医学、视觉监控等领域。但是鱼眼镜头并非没有缺点，由于鱼眼镜头的光学特性，当鱼眼镜头的焦距越短，视角越大，鱼眼图像的畸变也越强烈。这种畸变不仅会导致视觉效果差，还会降低图像识别、图像匹配的效果。因此，鱼眼图像的校正算法一直是国内外众多学者研究的方向。

1 简介

随着近些年计算机视觉技术的不断发展，对鱼眼图像的畸变校正研究有很多，但是大致可以分为两种：一种是基于标定的鱼眼镜头的畸变校正方法，另一种是基于投影模型的畸变校正方法。

基于标定的鱼眼镜头的畸变校正方法[4]，是很具硬件设备获取特定空间点的坐标信息，然后通过数学建模，计算出鱼眼相机的相关参数，通过得到的参数，建立起鱼眼相机的多项式模型，拟合鱼眼相机的畸变模型，从而实现对鱼眼图像的校正。该类算法校正效果较好，但是对设备的精确度要求比较高，并且由于每个镜头的内部参数都不同，所以对于每个镜头都要进行单独校正。

但是上述的两种鱼眼镜头的畸变校正方法都没有解决鱼眼镜头畸变校正时的混叠问题。当图像中含有大量高频信息时，混叠现象也会越发明显。如图1所示，（a）图为认为构造的含有大量高频成分的原始图像，（b）图为模拟出的鱼眼镜头的畸变图像，（c）图为传统方法的校正图像，很明显我们可以看到在传统方法校正图像的四个角存在着十分明显的混叠现象。

图1 传统畸变校正算法后混叠效果模拟图

对于这种后混叠现象，常用的处理方式是在重采样之前，采用标准卷积核进行低通滤波。但是使用这种处理混叠的方式，又在畸变校正中又引入了混叠现象。如图2所示，（a）图为原始图像，（b）为模拟的畸变图像，（c）图为模拟处理混叠过程，使用低通滤波产生的畸变图像，（d）图为传统方法校正后的图像，在图像的四个角产生了类似光流的混叠现象。

图2 传统畸变校正算法前混叠效果模拟图

基于上述这些传统方法的缺点，本文提出了一种更好的畸变校正方法，基于映射适应性卷积和等距投影模型的鱼眼图像畸变校正的算法，很好解决了鱼眼图像校正时的混叠问题。如图3所示，在模拟实验中，对于上述中的前混叠和后混叠现象都有很好的抑制效果，成果还原出接近原始图像的信息。

此外对于真实鱼眼图像的畸变校正如图4所示，（a）图为原始图像，（b）图中为使用抗混叠的传统算法，图像的中心区域出现了严重的混叠现象，图像的边缘较为清晰，但也存在谢一些混叠现象；（c）图为使用了常规抗混叠的畸变校正方法，图像的中心区域获得了很好的抗混叠效果，但是在图像的边缘区域画质劣化严重，十分模糊；（c）图为基于映射适应性卷积和等距投影模型的鱼眼图像畸变校正的算法校正图，图像的中心区域具有很好的抗混叠效果，在图像的边缘即没有过分劣化和模糊，也没有出现混叠现象。

图3 基于映射适应性卷积和等距投影模型的鱼眼图像畸变校正的算法校正图

图4 真实鱼眼图像的畸变校正图

2 算法原理

2.1 等距投影模型

等距投影模型是鱼眼镜头畸变校正中最为常用的畸变校正模型，原理如图5所示，P为三维空间中的一点，P’为P投影在成像平面上的点，P1为P投影到球面上的点，P2为要校正的到的点。P1和P2到图像平面中心的距离等得都为rd，P点的入射角度为θ，ru为P’到图像中心的距离。

根据解析几何入射角和圆弧的关系，我们可以得到公式（1）：

根据三角形的正切定理，我们可以得到公式（2）：

老道看王祥一脸阴郁，隐约猜到了王祥的心思，接口说：“小伙子你也别灰心，卖古董，全凭一张嘴，只要你把这桩生意交给我，保管死的也给你说成活的。”

将公式（2）代入公式（1），我们可以得到等距投影模型的正映射公式，如公式（3）所示：

对等距投影模型的正映射公式求逆，可得到逆映射公式如公式（4）所示：

2.2 映射适应性卷积

映射适应性卷积解释了映射与卷积的关系，根据不同的映射，需要对相应的标准卷积核进行调整，以得到更好的结果，常用于图像映射、图像重采样等。

图5 等距投影模型示意图

图6 映射适应性卷积原理图

那么在标准图像I上，用标准卷积核G对其卷积可以得到公式（6）：

公式（7）的离散形式可以表示为公式（8）的形式：

2.3 改进的鱼眼图像畸变校正算法

基于等距投影模型和映射适应性卷积，本文提出一种改进的图像畸变校正算法。该算法的主要流程分为四步，分别为：正向映射、反向映射、低通滤波、插值。

首先对原始图像坐标通过公式（3）映射至标准图像平面，如图7所示，可以获得校正后的标准图像坐标的最大值和最小值，能够确定标准图像的大小。

图7 原始图像正向映射示意图

逆向映射是将标准图像的标准栅格通过公式（4）映射回原始图像平面，可以获得标准栅格坐标对应的原始图像中的坐标，也是需要插值的点坐标。

图8 标准图像逆向映射示意图

对于图像的插值我们采用的是B样条插值方法，如图8所示需要插值点附近的16个点进行插值。

图9 B样条插值示意图

由于图像的插值很受周围插值数据的影响，为了提高插值效果，我们对B样条的栅格步长采用了雅可比的倒数，并且保证是插值点附近最小步长，如公式（9）所示：

初始图像插值步长如图10所示。

图10 等距投影模型图像插值步长

根据公式（4）和（8）可以计算出原始图像平面上的映射适应性卷积核的大小和标准图像平面上的标准卷积核大小的比例如图11所示。根据图11，我们可以看出映射适应性卷积核的呈现出从中心到边缘逐渐小，这也符合鱼眼摄像图像的变化趋势，结合图10，鱼眼图像中心的梯度较小，可以采用较大的插值步长和卷积核，而鱼眼图像的边缘区域梯度比较大，应采用较小的插值步长和卷积核。

图11 映射适应性卷积核和标准卷积核大小比例图

确定好映射适应性的卷积核的大小后，只需要根据根据公式（7），计算出每个栅格点处的卷积核，然后用该卷积核和对应的局部图像做卷积，得到滤波后的点的值。特别注意的一点是，在获得具有映射适应性的卷积核后，最好对其进行归一化处理，否则可能会造成能量的损失。在低通滤波过后，只需要利用低通滤波后的栅格处的点对插值点进行B样条插值，即可获得标准图像上对应点的值。

3 实验与评估

本文实验采用了开源图片数据集Urben100[6]进行模拟仿真，实验流程如图12所示，首先根据公式（4）等距投影模型逆映射得到模拟图像，然后分别采用直接畸变校正、普通抗混叠的畸变校正，以及基于映射适应性卷积的畸变校正三种方法，得到校正后的图像后，对比校正图像和分析。

通过对比实验结果我们发现，数据集Urben100图片中的模拟结果表现出惊人的一致性，如图13所示，图像的高频部分经过图像的校正后，直接畸变校正的校正图像在该区域出现了严重的混叠现象，而普通抗混叠的畸变校正和本文提出的畸变校正算法的校正图像则表现出了很好的抗混叠效果，但是在图像的边缘区域，普通抗混叠的畸变校正的图像出现了严重的模糊，而本文提出的畸变校正算法的校正图像则相对清晰，这也与本文2.3小节提出的在原图像不同的位置使用不同大小的卷积核原理相呼应。

图12 对比实验流程图

这个规律同样体现在其他的实验结果中，如图14所示，直接畸变校正算法的校正图像中心区域和边缘区域都有严重的混叠现象，而普通抗混叠畸变校正算法的边缘区域又出现了严重的拖影模糊现象，而基于本文算法的校正图像则得到了很好的校正结果。

4 结语

本文提出了一种基于映射适应性卷积和等距投影的鱼眼图像畸变校正算法，根据映射适应性卷积原理，使低通滤波卷积核做到对鱼眼图像局部的自适应，相较于直接畸变校正算法和普通抗混叠校正算法，校正图像既能获得良好的抗混叠效果，又能保证图像的边缘不会发生画质劣化，具有很强的学术意义。此外由于图像的每个局部都是独立的，因此本算法还可以实现并行加速，可以大大提升运行速度，实用性强。

图13 房屋实验结果对比图

图14 建筑物实验结果对比图