全景视觉技术研究进展

熊哲源

摘 要：全景视觉技术在机器人、计算机视觉和虚拟现实领域有着重要的应用。实现全景视觉技术的主要方法包括图像拼接和折反射透镜。介绍图像拼接流程中的关键技术，包括图像配准和图像融合的几种主要算法。该文分析了单视点和非单视点折反射全景视觉技术的优缺点，概述近年来全景视觉技术的研究状况，最后分析全景视觉技术的研究动向。

关键词：全景视觉 图像拼接 折反射全景成像

中图分类号：G264 文献标识码：A 文章编号：1674-098X（2014）08（b）-0247-02

全景视觉是指一次获得大于半球视场（360°×180°）的三维空间的全部视觉信息[1]。与视场不够的传统的视觉环境感知系统明显不同，全景视觉可获得更大的视场、更全面的信息，在军用领域，与模式识别技术相结合，能够提供全局多目标信息以进行精准打击，提供丰富的视频图像信息以支持战场指挥决策；在民用领域，与计算机视觉技术相结合，能够为公安视频监控、智能交通和自然环境监测等起到积极作用。

1 全景成像的主要方法

在民用和军事领域的很多场合，需要同时观察大范围视场，以全面掌握环境信息。为高效获取全局信息，对监控场景中的运动目标进行定位、跟踪和识别，学者们提出了许多方法来获取全方位的视觉信息，主要应用的有以下几种。

（1）复眼技术+图像拼接。

使用多部摄像机同时从不同角度拍摄（即复眼技术），将捕获的图像进行拼接，组成一幅全局的图像。多摄像机的精确安装，以及多幅图像的无缝拼接是实现复眼技术的瓶颈。因此，一般应用在景物较少的场合，如视频会议和电视转播等。

（2）普通视觉传感器+旋转云台。

在云台上固定一个普通摄像机，通过云台的旋转获得实际场景旋转方向的全方位视觉信息，这种方法虽然安装简单、成本低、易于实现，但受到云台旋转速度的限制，所获得的图像存在延时，不适于快速移动目标的视觉信息获取。

（3）“鱼眼”成像技术。

按照鱼眼成像原理制造的鱼眼镜头视角很大，在170～230 °，但画面边缘的直线都被弯曲，只有通过中心部分的直线能够保持原来的直线状态。鱼眼镜头的多重透镜组合结构以及鱼眼成像的畸变。由于成像原理复杂，价格也非常昂贵，因此目前应用多限于艺术摄影。

（4）利用凸面反射镜+普通视觉传感器。

采用特殊加工的反射镜将周围景物反射至摄像机一次成像，瞬间获取整个场景信息。这种成像方式可提供大视场成像，虽然图像也存在畸变，但由于成像原理相对简单，价格低廉，易于变换为人眼视觉成像，目前是全景视觉信息获取的最佳方式。

2 基于图像拼接的全景视觉

图像拼接是指将两幅或两幅以上相邻图像间具有相同部分景物的图像进行无缝拼合，得到大视角的、高分辨图像或全景图像。图像拼接一般流程为：图像采集、图像预处理、图像变换、图像配准和图像融合。首先，待拼接图像要有30%～50%的重叠区域。然后，对图像的失真和变形等状况进行预处理，提高图像质量以保证拼接顺利。待拼接图像是在不同角度下拍摄，为保持实际景物的空间约束关系，须将图像统一投影到同一坐标系上。最后，提取特征信息，利用特征信息进行图像配准，将两幅图像变换到同一坐标系，对图像重叠区域进行融合，得到拼接图。图像配准和融合是图像拼接的两个关键技术[2]。

2.1 图像配准

图像配准是根据两幅图像间重叠区域的信息，寻找一种或一系列空间变换，根据找到的变换参数将两幅图像变换到相同的坐标系中，通过配准使得两幅图像对应点达到空间位置上的完全一致。图像配准算法可分成如下几类。

（1）直接处理图像像素。

一般用于卫星拍摄的固定视角图像上，由于卫星的特殊运行方式，使所捕获图像尺寸都相同，且各图像之间不存在旋转，一般只有朝某一个方向的位移，因此可根据各图像之间的拍摄时间差，来确定图像的位移，从而将全部的图像拼接成一幅全景图。

（2）对频域进行操作。

一般用于存在旋转、位移和缩放的两幅相关图像之间的配准。对两幅图像进行傅里叶变换，再用两幅图像的互相关系数作傅立叶逆变换，从而获得其绝对值，并在某个点的邻域内获得相类似脉冲的极值，而在其它的区域均为零值。

（3）运用高级特征。

首先，用角点检测算子提取特征点；然后，用特征点邻域灰度互相关法，对特征点进行匹配，得到伪匹配集合，用随机样本一致（Ransac）算法，将该集合划分为内点和外点；接着，运用 L-M算法，在内点域估算图像之间的点变换关系。

国内外都有相应图像配准算法的研究。杜威等提出一种应用于动态场景的全景图表示方法[3]，将视频纹理和全景图结合起来构造动态全景图。侯舒维等为提高图像拼接的精度和速度，提出一种图像快速自动拼接算法[4]，采用简单的边缘信息闭值法提取基准特征块，采用金字塔式分层搜索策略搜索。Shmuel等提出自适应的图像拼接模型[5]，根据相机的不同运动，自适应选择拼接模型，把图像分成狭条进行多重投影来完成图像拼接。

2.2 图像融合

图像融合是用函数对两幅图像重叠区域的像素进行融合，使得重叠区域灰度过渡自然，没有明显的接缝，按融合的流程可以分为三个类别：

（1）像素级图像融合。Achalakul提出一种谱屏蔽比例萎缩相结合（PCT）算法来融合超谱图像，并用PCT算法实现对CCD成像装置的图像分布式实时融合[6]；Tseng提出一种用整数Wavelets变换和主成分分析（PCA）算法，将低分辨的多谱图像与全彩色的图像进行融合，以生成高分辨、多光谱图像。

（2）特征级图像融合。主要包括聚类分析法、信息熵法、加权平均法、Neural Networks法、Dempster-Shafer推理法、表决法和Bayes估计法等。endprint

（3）决策级图像融合。常用方法包括Bayes估计法、Neural Networks法、模糊聚类法和专家系统等。由于输入为各种特征信息，而结果为决策描述，因此决策级图像融合的数据量最小，抗干扰能力强。

3 折反射全景视觉

根据反射镜的类型，分为凸面反射和凹面反射。为获得更大的视场信息，通常采用凸面反射镜。折反射全景成像系统利用折射和反射光学元件扩大视场，主要由三部分组成：（1）光敏元件，如CCD器件；（2）成像透镜，如常规成像透镜或远心透镜；（3）凸面反射镜，其面形为二次曲面，如球面、圆锥面、双曲面和抛物面，或高次旋转对称非球面，如图1所示。

折反射全景成像系统具有大于半球空间的视场、系统设计的柔性好、成本较低等优点，近来年发展较快，已应用于如监控、视频会议、机器人导航等需要大视场的场合。根据是否满足单视点成像约束，折反射全景成像系统分为单视点成像系统和非单视点成像系统。

3.1 单视点折反射全景视觉

单视点成像指光线在进入成像系统时交于一点。监控场景的3D重构应用要求获得透视图像，需根据单视点约束来设计系统，以确保其成像符合单视点模型。Nayar等设计了抛物面折反射全景成像系统，这是首个比较理想的、符合针孔模型的折反射全景成像系统，由抛物面反射镜和远心透镜构成[7]。这个系统成像质量较好，且结构紧凑，但远心透镜成本较高。还有学者设计了双曲面折反射全景成像系统，使用了透视投影成像模型，由双曲面反射镜和成像透镜组成。因为透视成像透镜成本低，使得双曲面折反射全景成像系统更加的实用。

3.2 非单视点折反射全景视觉

单视点折反射全景视觉必须对所采集的图像进行逆投影，来获得透视全景图像，因此计算量非常大。为满足实时应用需求，非单视点折反射全景成像直接获取近似透视全景图像[8]，使场景中的物点坐标与成像平面内像点坐标成线性关系，实现全景成像的水平场景和柱面场景空间无畸变。也出现了角放大率不变和分辨率不变的折反射全景成像系统。要确保水平场景无畸变，就要使场景中物点的水平坐标与相应像点的坐标成线性关系，而场景中物点的垂直方向坐标与相应像点的坐标成线性关系就能确保柱面场景无畸变。

4 全景视觉技术的研究方向

全景视觉技术作为光学、计算机视觉、电子、模式识别等的交叉学科，要将目前的理论研究的成果应用到实践中去，时机还不成熟，还要解决很多基础理论问题和关键技术问题，比如实时图像拼接、自动图像拼接、彩色图像拼接、3-D立体图像拼接、全景图像的无损解算理论算法、全景视觉目标探测与识别理论与方法等。

5 结语

全景视觉技术具有广阔的应用前景，越来越受到了国内外的广泛关注，其研究主要集中在基于图像拼接和折反射的全景视觉。该文介绍了图像拼接的特点，对图像配准和融合算法作了概述，分析图像拼接算法的研究动向。对单视点和非单视点折反射全景视觉技术的优缺点进行了详细分析，概述近年来全景视觉技术的研究状况，最后分析全景视觉技术的研究动向。折反射全景成像系统由于没有扫描部件，无拼接直接获得360 °的大视场，越来越受到重视，将会得到更为广泛的应用。

参考文献

[1] S. K. Nayar and A. Karmarkar. 360×360 mosaics. Proc. IEEE Conf. Computer Vision and Pattern Recognition， June 2000：388-395.

[2] 余宏生，金伟其.数字图像拼接方法研究进展[J].红外技术，2009，31（6）： 348-353.

[3] 杜威，李华.一种用于动态场景的全景表示方法[J].计算机学报，2002，25（9）：968-975.

[4] 侯舒维，郭宝龙.一种图像自动拼接的快速算法[J].计算机工程，2005，31（24）：70-72.

[5] S. Peleg， B. Rousso， A. Rav-Acha， A.Zomet. Mosaicing on adaptive manifolds[J].IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000， 22（10）： 1144-1154.

[6] T. Achalakul， P. Haaland， S. Taylor. MathWeb： a concurrent image analysis tool suite for multi-spectral data fusion. Proc. Sensor Fusion： Architectures， Algorithms， and Applications III， April 1999： 351-358.

[7] S.K. Nayar， Catadioptric omnidirectional camera. Proc. of IEEE Conf. on Computer Vision and Pattern Recognition， 1997：482-488.

[8] M. Brown， D.G. Lowe. Recognising panoramas[J].Proceedings of the IEEE International Conference on Computer Vision， 2003（2）：1218-1225.endprint

（3）决策级图像融合。常用方法包括Bayes估计法、Neural Networks法、模糊聚类法和专家系统等。由于输入为各种特征信息，而结果为决策描述，因此决策级图像融合的数据量最小，抗干扰能力强。

3 折反射全景视觉

根据反射镜的类型，分为凸面反射和凹面反射。为获得更大的视场信息，通常采用凸面反射镜。折反射全景成像系统利用折射和反射光学元件扩大视场，主要由三部分组成：（1）光敏元件，如CCD器件；（2）成像透镜，如常规成像透镜或远心透镜；（3）凸面反射镜，其面形为二次曲面，如球面、圆锥面、双曲面和抛物面，或高次旋转对称非球面，如图1所示。

折反射全景成像系统具有大于半球空间的视场、系统设计的柔性好、成本较低等优点，近来年发展较快，已应用于如监控、视频会议、机器人导航等需要大视场的场合。根据是否满足单视点成像约束，折反射全景成像系统分为单视点成像系统和非单视点成像系统。

3.1 单视点折反射全景视觉

单视点成像指光线在进入成像系统时交于一点。监控场景的3D重构应用要求获得透视图像，需根据单视点约束来设计系统，以确保其成像符合单视点模型。Nayar等设计了抛物面折反射全景成像系统，这是首个比较理想的、符合针孔模型的折反射全景成像系统，由抛物面反射镜和远心透镜构成[7]。这个系统成像质量较好，且结构紧凑，但远心透镜成本较高。还有学者设计了双曲面折反射全景成像系统，使用了透视投影成像模型，由双曲面反射镜和成像透镜组成。因为透视成像透镜成本低，使得双曲面折反射全景成像系统更加的实用。

3.2 非单视点折反射全景视觉

单视点折反射全景视觉必须对所采集的图像进行逆投影，来获得透视全景图像，因此计算量非常大。为满足实时应用需求，非单视点折反射全景成像直接获取近似透视全景图像[8]，使场景中的物点坐标与成像平面内像点坐标成线性关系，实现全景成像的水平场景和柱面场景空间无畸变。也出现了角放大率不变和分辨率不变的折反射全景成像系统。要确保水平场景无畸变，就要使场景中物点的水平坐标与相应像点的坐标成线性关系，而场景中物点的垂直方向坐标与相应像点的坐标成线性关系就能确保柱面场景无畸变。

4 全景视觉技术的研究方向

全景视觉技术作为光学、计算机视觉、电子、模式识别等的交叉学科，要将目前的理论研究的成果应用到实践中去，时机还不成熟，还要解决很多基础理论问题和关键技术问题，比如实时图像拼接、自动图像拼接、彩色图像拼接、3-D立体图像拼接、全景图像的无损解算理论算法、全景视觉目标探测与识别理论与方法等。

5 结语

全景视觉技术具有广阔的应用前景，越来越受到了国内外的广泛关注，其研究主要集中在基于图像拼接和折反射的全景视觉。该文介绍了图像拼接的特点，对图像配准和融合算法作了概述，分析图像拼接算法的研究动向。对单视点和非单视点折反射全景视觉技术的优缺点进行了详细分析，概述近年来全景视觉技术的研究状况，最后分析全景视觉技术的研究动向。折反射全景成像系统由于没有扫描部件，无拼接直接获得360 °的大视场，越来越受到重视，将会得到更为广泛的应用。

参考文献

[1] S. K. Nayar and A. Karmarkar. 360×360 mosaics. Proc. IEEE Conf. Computer Vision and Pattern Recognition， June 2000：388-395.

[2] 余宏生，金伟其.数字图像拼接方法研究进展[J].红外技术，2009，31（6）： 348-353.

[3] 杜威，李华.一种用于动态场景的全景表示方法[J].计算机学报，2002，25（9）：968-975.

[4] 侯舒维，郭宝龙.一种图像自动拼接的快速算法[J].计算机工程，2005，31（24）：70-72.

[5] S. Peleg， B. Rousso， A. Rav-Acha， A.Zomet. Mosaicing on adaptive manifolds[J].IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000， 22（10）： 1144-1154.

[6] T. Achalakul， P. Haaland， S. Taylor. MathWeb： a concurrent image analysis tool suite for multi-spectral data fusion. Proc. Sensor Fusion： Architectures， Algorithms， and Applications III， April 1999： 351-358.

[7] S.K. Nayar， Catadioptric omnidirectional camera. Proc. of IEEE Conf. on Computer Vision and Pattern Recognition， 1997：482-488.

[8] M. Brown， D.G. Lowe. Recognising panoramas[J].Proceedings of the IEEE International Conference on Computer Vision， 2003（2）：1218-1225.endprint

（3）决策级图像融合。常用方法包括Bayes估计法、Neural Networks法、模糊聚类法和专家系统等。由于输入为各种特征信息，而结果为决策描述，因此决策级图像融合的数据量最小，抗干扰能力强。

3 折反射全景视觉

根据反射镜的类型，分为凸面反射和凹面反射。为获得更大的视场信息，通常采用凸面反射镜。折反射全景成像系统利用折射和反射光学元件扩大视场，主要由三部分组成：（1）光敏元件，如CCD器件；（2）成像透镜，如常规成像透镜或远心透镜；（3）凸面反射镜，其面形为二次曲面，如球面、圆锥面、双曲面和抛物面，或高次旋转对称非球面，如图1所示。

折反射全景成像系统具有大于半球空间的视场、系统设计的柔性好、成本较低等优点，近来年发展较快，已应用于如监控、视频会议、机器人导航等需要大视场的场合。根据是否满足单视点成像约束，折反射全景成像系统分为单视点成像系统和非单视点成像系统。

3.1 单视点折反射全景视觉

单视点成像指光线在进入成像系统时交于一点。监控场景的3D重构应用要求获得透视图像，需根据单视点约束来设计系统，以确保其成像符合单视点模型。Nayar等设计了抛物面折反射全景成像系统，这是首个比较理想的、符合针孔模型的折反射全景成像系统，由抛物面反射镜和远心透镜构成[7]。这个系统成像质量较好，且结构紧凑，但远心透镜成本较高。还有学者设计了双曲面折反射全景成像系统，使用了透视投影成像模型，由双曲面反射镜和成像透镜组成。因为透视成像透镜成本低，使得双曲面折反射全景成像系统更加的实用。

3.2 非单视点折反射全景视觉

单视点折反射全景视觉必须对所采集的图像进行逆投影，来获得透视全景图像，因此计算量非常大。为满足实时应用需求，非单视点折反射全景成像直接获取近似透视全景图像[8]，使场景中的物点坐标与成像平面内像点坐标成线性关系，实现全景成像的水平场景和柱面场景空间无畸变。也出现了角放大率不变和分辨率不变的折反射全景成像系统。要确保水平场景无畸变，就要使场景中物点的水平坐标与相应像点的坐标成线性关系，而场景中物点的垂直方向坐标与相应像点的坐标成线性关系就能确保柱面场景无畸变。

4 全景视觉技术的研究方向

全景视觉技术作为光学、计算机视觉、电子、模式识别等的交叉学科，要将目前的理论研究的成果应用到实践中去，时机还不成熟，还要解决很多基础理论问题和关键技术问题，比如实时图像拼接、自动图像拼接、彩色图像拼接、3-D立体图像拼接、全景图像的无损解算理论算法、全景视觉目标探测与识别理论与方法等。

5 结语

全景视觉技术具有广阔的应用前景，越来越受到了国内外的广泛关注，其研究主要集中在基于图像拼接和折反射的全景视觉。该文介绍了图像拼接的特点，对图像配准和融合算法作了概述，分析图像拼接算法的研究动向。对单视点和非单视点折反射全景视觉技术的优缺点进行了详细分析，概述近年来全景视觉技术的研究状况，最后分析全景视觉技术的研究动向。折反射全景成像系统由于没有扫描部件，无拼接直接获得360 °的大视场，越来越受到重视，将会得到更为广泛的应用。

参考文献

[1] S. K. Nayar and A. Karmarkar. 360×360 mosaics. Proc. IEEE Conf. Computer Vision and Pattern Recognition， June 2000：388-395.

[2] 余宏生，金伟其.数字图像拼接方法研究进展[J].红外技术，2009，31（6）： 348-353.

[3] 杜威，李华.一种用于动态场景的全景表示方法[J].计算机学报，2002，25（9）：968-975.

[4] 侯舒维，郭宝龙.一种图像自动拼接的快速算法[J].计算机工程，2005，31（24）：70-72.

[5] S. Peleg， B. Rousso， A. Rav-Acha， A.Zomet. Mosaicing on adaptive manifolds[J].IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000， 22（10）： 1144-1154.

[6] T. Achalakul， P. Haaland， S. Taylor. MathWeb： a concurrent image analysis tool suite for multi-spectral data fusion. Proc. Sensor Fusion： Architectures， Algorithms， and Applications III， April 1999： 351-358.

[7] S.K. Nayar， Catadioptric omnidirectional camera. Proc. of IEEE Conf. on Computer Vision and Pattern Recognition， 1997：482-488.

[8] M. Brown， D.G. Lowe. Recognising panoramas[J].Proceedings of the IEEE International Conference on Computer Vision， 2003（2）：1218-1225.endprint