全景图生成技术研究

田军　孙梅　王萍

【摘 要】与基于几何的VR建模相比，全景图具有更大的优势，其生成方式主要有全景相机直接生成法、大视角的镜头获取法、普通数码相机获取法。本文主要针对第三种方法进行了深入探讨，着重叙述了柱状全景图生成的原理和具体方法。本文结尾在图像采集、投影的算法、全景图漫游等方面的不足提出新的研究方向。

【关键词】全景图；全景图生成；柱面全景图；柱面投影算法

Research on Technology of Panorama Generation

TIAN Jun1 SUN Mei1 WANG Ping2

（1.College of Medical Engineering Technology， Xinjiang Medical University， Urumqi Xinjiang 830011， China；

2.Department of Sports， Xinjiang Institute of Education， Urumqi Xinjiang 830043， China）

【Abstract】Compared with the VR modeling based on geometry， panorama has more advantages. Its formation method mainly has the panoramic camera direct generation method， large angle of the lens and general digital camera method. This paper discusses the third method， emphatically describes the principle and specific methods of cylindrical panorama generation. In the end of this paper， some new research directions are proposed.

【Key words】Panorama；Panorama generation；Cylindrical panoramic image；Cylindrical projection algorithm

0 引言

全景图像（Panorama）通常是指图像的画面比普通正常水平视角（大约90度）大，其水平视角包含完整一周360度所覆盖的画面范围。与传统图像的信息组织模式相比，全景图的信息组织模式具有以下的特点，由于它涵盖了360度范围的图像信息，因而可表达出完整的四周环境信息，类似于某人原地转一圈所看到的景象。就观察者而言，全景图像具有立体的、多角度的图形环境特点。另外，全景图比基于几何的VR建模具有更大的优势，具有真实感强，运行速度快等特点。

图像的获取方式决定输入图像的不同，导致图像的拼接结果也不一样，因此，根据图像的获取方式将全景图的生成分为三类。

（1）通过全景相机直接形成，该方法生成速度快，自动化程度高，但设备要求高，价格昂贵且操作复杂；

（2）利用大视角的镜头（如鱼眼镜头）获得多张图像。由于镜头视角比普通镜头要宽广，因而需拍摄的图像数量较少，但该方法明显不足在于，拍摄图像存在较大变形，需在全景图生成之前进行合适的校正和变换；

（3）借助普通数码相机获取全景图的原始图像，是当前发展的一种趋势。它的图像素材获取方式比较简单，即普通数码相机原地旋转拍摄，或按一定的路线平行于对象拍摄，非常适用于数码产品灵活多样的拍摄。但难点在于拍摄图像的拼接，由于图像的拍摄过程中，相机的运动相当复杂。原地旋转拍摄相当于相机固定后旋转拍摄，旋转角度的控制与操作者的操作关系很大。按一定路线移动拍摄类似于平移拍摄，对于距离的控制和保持相同的成像平面也存在很大的困难。为了减少这些不利因素对全景图像成像质量的影响，可以通过增加拍摄图像的重叠度，来减小相机的旋转角度、平移距离，最终避免相邻拍摄图像之间的不连续程度。但是，通过普通数码相机采集图像容易管理，在很多情况下也很容易实施，特别是在一些安置三角架或滑轨非常困难的情况下，如果通过普通数码相机合理拍摄的话，同样能获得较好效果的全景图。本文主要针对第三种方法进行探讨。

1 普通数码相机获取全景图像的方法

普通数码相机主要采用以下三种方法获取全景图像：

1.1 利用数码相机旋转拍摄

利用数码相机旋转拍摄的基础是先将相机固定在某点，一般使用三脚架固定。进行拍摄时，相机固定在三脚架上，因此只能绕垂直方向的轴旋转，为保证最终得到的系列图像能完整拼接，要求两邻两次的旋转角度必须重合，即相邻两张图像必须有部分重叠，依次旋转一定的角度，最终获取一系列的图像。需要注意的是相邻两张图像的重叠区域大小是影响图像拼接关键因素，重叠内容越多，拼接就越容易。该方法实际操作中较易实现。

1.2 利用数码相机平移拍摄

利用数码相机平移拍摄是指相机在一个平行于成像平面的方向上平移。首先固定相机的焦距，将相机放置在一个与成像平面平行的滑轨上移动拍摄。影响图像拼接的因素是拍摄物体的大小和其与相机距离的远近。此种方法的不足是：由于拍摄的图像在同一平面，全景图像的空间感觉不如第一种方法效果好。

1.3 手持数码相机拍摄

手持照相机拍摄这种方法比较容易做到，手持照相机原地旋转拍摄，或者按一定的路线平行于对象拍摄。但是，拼接手持照相机的照片是很困难的，因为在拍摄过程中，照相机的运动非常复杂。原地旋转拍摄类似于固定照相机旋转拍摄，但是角度控制、旋转控制都很差。沿一定路线移动时，类似于平移拍摄，控制距离和保持相同的成像平面是很困难的。

本文图像的获取采用的是第一种方法。拍摄时相邻图像具有一定程度的重叠 （一般是30%～50%），以便于拼接而得到全景图像。另外，拍摄时还需特别注意天气和人员流动的影响，这样可能会导致拼接图像产生错误信息。尽量避免选择太阳光强烈或多云的天气（强烈的太阳光可能会使某些视点处采集的照片因逆光现象而不利于后期的处理；多云阴天时各视点处的照片容易出现亮度的较大变化），以及人员流动量较大（可能出现某个人在多处视点的照片中出现）等问题。

2 柱面投影算法

柱面全景图的正投影是指将平面照片投影到柱面形成全景图的过程；反投影是将柱面全景图在某个特定的观察区域投影到柱面的切平面上供屏幕显示的过程。有很多文献都给出了正投影与反投影的变换公式。

实景图像的柱面正投影算法是为了将多张实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。这样一方面消除了实景图像之间可能存在的重复景物信息，同时也得到了每张实景图像上的像素点在视点空间中的位置信息。

数码相机拍摄的一张实景图像I，P（x，y）是实景图像上的任意一个像素点。P在照相机坐标系下的坐标为：P（x-W/2，y-H/2，-f）其中，W和H分别是实景图像I的宽度和高度。 柱面正投影示意图如图1所示。

照相机坐标系原点与像素点P的直线方程可以表示为参数方程的形式：

图1 柱面投影示意图

u=t（x-W/2） （1）

v=t（y-H/2） （2）

w=t（-f） （3）

其中以数码相机的像素焦距f作为圆柱面的半径，t是参数。圆柱面可以表示为：u2+w2=f2

联立以上两个方程，可以求得：

t=■ （4）

u=■ （5）

v=■ （6）

（u，v，w）是像素点（x，y）在圆柱面上的投影点Q的参数坐标，把所有这样的投影点组合在一起便得到全景图像。但是，参数坐标是三维的，需要把它们转变为二维的图像坐标才便于存储。为了便于存储，将此三维坐标转换为二维图像坐标。根据以下方程，可以求得像素点Q的二维坐标为（x1，y1）：

x1=f * arctan■+f * arctan■ （7）

y1=■+■ （8）

显然同一条垂直线上的两个像素点P1（x，y）和P2（x，y1），它们在柱面全景图像上具有相同的横坐标x，那么它们正投影到柱面全景图上横坐标x，也必然相等，也就是说，柱面全景图中的景物在垂直方向上不会发生形变。

3 展望

本文所讨论的利用普通数码相机制作全景图的技术，虽然能够实现某一个区域的全景图像的生成，浏览的时候真实感，交互性都比较强。但是在全景图像的采集阶段受普通数码相机竖直视场角的限制，上方的部分图像采集不到，导致最后生成的全景图图像不太完美。在图像编辑阶段，由于投影算法的自身缺陷，导致图像有些地方有些轻微变形，在投影的算法上可以进行深一步的研究，如何得到广视场角并且没有形变的全景图像将是进一步研究的重点。为了达到全景图漫游的一种更强烈的真实感，需要开发出具有沉浸感、交互性、构象性的真实感强的实景全景图像。

【参考文献】

[1]施庆，郭欣.基于角点检测配准的全景图像拼接技术研究[J].微型电脑应用，2011，27（6）：18-21.

[2]田军，孟祥娟，王萍.全景图中投影模型与算法[J].计算机系统应用，2013，22（5）：126-132.

[3]殷润民，等.自适应柱状全景图拼接[J].中国图象图形学报，2008，13（6）：1191-1196.

[4]郭俊美.基于图像的柱面全景图生成技术研究[D].西安：西安科技大学，2010：18-21.

[5]彭红星，等.柱面全景图生成技术的研究与实现[J].计算机工程，2010，36（9）：208-211.

[责任编辑：丁艳]

本文图像的获取采用的是第一种方法。拍摄时相邻图像具有一定程度的重叠 （一般是30%～50%），以便于拼接而得到全景图像。另外，拍摄时还需特别注意天气和人员流动的影响，这样可能会导致拼接图像产生错误信息。尽量避免选择太阳光强烈或多云的天气（强烈的太阳光可能会使某些视点处采集的照片因逆光现象而不利于后期的处理；多云阴天时各视点处的照片容易出现亮度的较大变化），以及人员流动量较大（可能出现某个人在多处视点的照片中出现）等问题。

2 柱面投影算法

柱面全景图的正投影是指将平面照片投影到柱面形成全景图的过程；反投影是将柱面全景图在某个特定的观察区域投影到柱面的切平面上供屏幕显示的过程。有很多文献都给出了正投影与反投影的变换公式。

实景图像的柱面正投影算法是为了将多张实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。这样一方面消除了实景图像之间可能存在的重复景物信息，同时也得到了每张实景图像上的像素点在视点空间中的位置信息。

数码相机拍摄的一张实景图像I，P（x，y）是实景图像上的任意一个像素点。P在照相机坐标系下的坐标为：P（x-W/2，y-H/2，-f）其中，W和H分别是实景图像I的宽度和高度。 柱面正投影示意图如图1所示。

照相机坐标系原点与像素点P的直线方程可以表示为参数方程的形式：

图1 柱面投影示意图

u=t（x-W/2） （1）

v=t（y-H/2） （2）

w=t（-f） （3）

其中以数码相机的像素焦距f作为圆柱面的半径，t是参数。圆柱面可以表示为：u2+w2=f2

联立以上两个方程，可以求得：

t=■ （4）

u=■ （5）

v=■ （6）

（u，v，w）是像素点（x，y）在圆柱面上的投影点Q的参数坐标，把所有这样的投影点组合在一起便得到全景图像。但是，参数坐标是三维的，需要把它们转变为二维的图像坐标才便于存储。为了便于存储，将此三维坐标转换为二维图像坐标。根据以下方程，可以求得像素点Q的二维坐标为（x1，y1）：

x1=f * arctan■+f * arctan■ （7）

y1=■+■ （8）

显然同一条垂直线上的两个像素点P1（x，y）和P2（x，y1），它们在柱面全景图像上具有相同的横坐标x，那么它们正投影到柱面全景图上横坐标x，也必然相等，也就是说，柱面全景图中的景物在垂直方向上不会发生形变。

3 展望

本文所讨论的利用普通数码相机制作全景图的技术，虽然能够实现某一个区域的全景图像的生成，浏览的时候真实感，交互性都比较强。但是在全景图像的采集阶段受普通数码相机竖直视场角的限制，上方的部分图像采集不到，导致最后生成的全景图图像不太完美。在图像编辑阶段，由于投影算法的自身缺陷，导致图像有些地方有些轻微变形，在投影的算法上可以进行深一步的研究，如何得到广视场角并且没有形变的全景图像将是进一步研究的重点。为了达到全景图漫游的一种更强烈的真实感，需要开发出具有沉浸感、交互性、构象性的真实感强的实景全景图像。

【参考文献】

[1]施庆，郭欣.基于角点检测配准的全景图像拼接技术研究[J].微型电脑应用，2011，27（6）：18-21.

[2]田军，孟祥娟，王萍.全景图中投影模型与算法[J].计算机系统应用，2013，22（5）：126-132.

[3]殷润民，等.自适应柱状全景图拼接[J].中国图象图形学报，2008，13（6）：1191-1196.

[4]郭俊美.基于图像的柱面全景图生成技术研究[D].西安：西安科技大学，2010：18-21.

[5]彭红星，等.柱面全景图生成技术的研究与实现[J].计算机工程，2010，36（9）：208-211.

[责任编辑：丁艳]

本文图像的获取采用的是第一种方法。拍摄时相邻图像具有一定程度的重叠 （一般是30%～50%），以便于拼接而得到全景图像。另外，拍摄时还需特别注意天气和人员流动的影响，这样可能会导致拼接图像产生错误信息。尽量避免选择太阳光强烈或多云的天气（强烈的太阳光可能会使某些视点处采集的照片因逆光现象而不利于后期的处理；多云阴天时各视点处的照片容易出现亮度的较大变化），以及人员流动量较大（可能出现某个人在多处视点的照片中出现）等问题。

2 柱面投影算法

柱面全景图的正投影是指将平面照片投影到柱面形成全景图的过程；反投影是将柱面全景图在某个特定的观察区域投影到柱面的切平面上供屏幕显示的过程。有很多文献都给出了正投影与反投影的变换公式。

实景图像的柱面正投影算法是为了将多张实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。这样一方面消除了实景图像之间可能存在的重复景物信息，同时也得到了每张实景图像上的像素点在视点空间中的位置信息。

数码相机拍摄的一张实景图像I，P（x，y）是实景图像上的任意一个像素点。P在照相机坐标系下的坐标为：P（x-W/2，y-H/2，-f）其中，W和H分别是实景图像I的宽度和高度。 柱面正投影示意图如图1所示。

照相机坐标系原点与像素点P的直线方程可以表示为参数方程的形式：

图1 柱面投影示意图

u=t（x-W/2） （1）

v=t（y-H/2） （2）

w=t（-f） （3）

其中以数码相机的像素焦距f作为圆柱面的半径，t是参数。圆柱面可以表示为：u2+w2=f2

联立以上两个方程，可以求得：

t=■ （4）

u=■ （5）

v=■ （6）

（u，v，w）是像素点（x，y）在圆柱面上的投影点Q的参数坐标，把所有这样的投影点组合在一起便得到全景图像。但是，参数坐标是三维的，需要把它们转变为二维的图像坐标才便于存储。为了便于存储，将此三维坐标转换为二维图像坐标。根据以下方程，可以求得像素点Q的二维坐标为（x1，y1）：

x1=f * arctan■+f * arctan■ （7）

y1=■+■ （8）

显然同一条垂直线上的两个像素点P1（x，y）和P2（x，y1），它们在柱面全景图像上具有相同的横坐标x，那么它们正投影到柱面全景图上横坐标x，也必然相等，也就是说，柱面全景图中的景物在垂直方向上不会发生形变。

3 展望

本文所讨论的利用普通数码相机制作全景图的技术，虽然能够实现某一个区域的全景图像的生成，浏览的时候真实感，交互性都比较强。但是在全景图像的采集阶段受普通数码相机竖直视场角的限制，上方的部分图像采集不到，导致最后生成的全景图图像不太完美。在图像编辑阶段，由于投影算法的自身缺陷，导致图像有些地方有些轻微变形，在投影的算法上可以进行深一步的研究，如何得到广视场角并且没有形变的全景图像将是进一步研究的重点。为了达到全景图漫游的一种更强烈的真实感，需要开发出具有沉浸感、交互性、构象性的真实感强的实景全景图像。

【参考文献】

[1]施庆，郭欣.基于角点检测配准的全景图像拼接技术研究[J].微型电脑应用，2011，27（6）：18-21.

[2]田军，孟祥娟，王萍.全景图中投影模型与算法[J].计算机系统应用，2013，22（5）：126-132.

[3]殷润民，等.自适应柱状全景图拼接[J].中国图象图形学报，2008，13（6）：1191-1196.

[4]郭俊美.基于图像的柱面全景图生成技术研究[D].西安：西安科技大学，2010：18-21.

[5]彭红星，等.柱面全景图生成技术的研究与实现[J].计算机工程，2010，36（9）：208-211.

[责任编辑：丁艳]