全景环视辅助泊车系统的研究

白永,关利海

(华晨汽车工程研究院,辽宁沈阳 110141)

全景环视辅助泊车系统的研究

白永,关利海

(华晨汽车工程研究院,辽宁沈阳 110141)

随着城市道路越来越拥挤，驾驶员行车和停车的环境也日益复杂，能否为驾驶员提供车辆周围全方位的可视监控信息是提高行车安全性的关键。为此，对一种全景环视泊车辅助系统进行了研究，该系统包括1个中央控制器、1个显示器和分别安装在车辆前、后和两侧的4个广角摄像头。4个摄像头分别采集车辆前、后、左和右4个方向的图像信息，传送给中央控制器，经过摄像头参数校正、镜头扭曲校正、鸟瞰视角转换、白平衡匹配和图像缝合处理，最终在显示器上显示一个可直观监视车辆周围环境的全景鸟瞰画面。

全景环视；视角转换；图像缝合；泊车辅助

0 前言

随着经济的发展，城市道路上的车辆越来越多，司机驾车和停车的环境越来越复杂。为此，能提高行车安全性的泊车辅助系统越来越受到人们的关注。因此各种汽车驾驶辅助系统应运而生，如超声波测距的倒车雷达系统、在车辆后方安装摄像头的后视影像系统等。这些系统都在一定程度上减轻了驾驶员的负担，但都有不够直观、存在盲区的缺点，比较理想的辅助驾驶系统应该能够提供车辆四周全方位、无盲区的监控信息[1]。因此，文中对一种全景环视泊车辅助系统进行研究，旨在为驾驶员提供直观的车辆周围环境信息，从而更大程度地提高行车安全性。

1 全景环视系统组成、原理

该系统由1个中央控制器、1个显示器和分别安装在车辆前、后和两侧的4个广角摄像头组成，系统结构如图1所示。

4个摄像头分别采集车辆前、后、左和右4个方向的图像信息，传送给中央控制器，经过摄像头参数校正、镜头扭曲校正、鸟瞰视角转换、白平衡匹配和图像缝合处理，最终在显示器上显示一个可直观监视车辆周围环境的全景鸟瞰画面，图像处理过程如图2所示。

2 摄像头参数与镜头扭曲校正

全景环视系统的复杂程度取决于使用摄像头数量的多少，为了降低系统实现的难度，就要尽可能采用较少的摄像头，该系统采用4个摄像，即车辆每个方向用1个摄像头进行监控。普通摄像头受到视野范围的局限，无法用单个摄像头监控车辆一侧全部的范围，因此该系统采用广角摄像头来采集车辆四周的图像。广角摄像头的引入，增加了摄像头的视野范围，同时也造成了图像的严重畸变，要反映实际景物，必须要进行摄像头参数校正和镜头扭曲校正。

2.1 摄像头参数校正

利用摄像头监控时，首先要进行的第一步是标识摄像头参数校正。对于尚未进行校正的摄像头而言，是无法辨别物体真正大小的，甚至相对大小都无法辨识。摄像头参数校正的目的是为了建立实际3D空间和图像投影平面的关系，如图3所示。

摄像头参数校正分为内部参数校正和外部参数校正。内部参数主要实现图像坐标和摄像头坐标之间的变换，它反映了摄像头的内部几何学成像原理，也就是如何从光学系统形成图像的过程，内部参数校正在摄像头安装到车辆上之前即可完成。摄像头外部参数实现实际3D空间坐标到2D图像平面坐标的变换，反映了摄像头在实际车辆上的安装位置和方向。这些与车辆相关的外部参数要在摄像头安装到车辆上之后，才能完成校正[2]。

2.2 镜头扭曲校正

广角镜头的一般定义为：镜头的焦距比CCD对角线的长度短的摄像头。由于广角镜头焦距短，虽然视角会增大，可是光学成像的特性会造成离镜头中心越远的影像，其形变越大，离镜头中心越近的影像，其形变越小，即所谓的扭曲失真[3]。光学成像特性如图4所示。

扭曲的影像必须要经过校正才能继续进行后续的处理，镜头扭曲校正的目的就是了为尽量减小3D空间中的物体映射到摄像头图像平面中所引起的图像扭曲失真。镜头扭曲校正的效果如图5—7所示。

图5 原始图像

图6 扭曲校正图像 图7 扭曲校正后的图像

3 鸟瞰视角转换与白平衡匹配

3.1 鸟瞰视角转换

由于安装在车辆四周的每个摄像头受到安装位置的限制，光轴与地面存在一定的角度，获取到的视频图像存在透视效果，而全景环视系统所要求的全景鸟瞰图，从视觉效果上要求是90°的俯视效果，因此需要对车辆前、后、左和右4个方向的视频图像进行逆投影变换，消除视频图像的透视效果，将视频图像转换为鸟瞰图。

为了得到视频图像的俯视图，需要建立生成的俯视图像与原始图像之间的像素映射关系，如图8所示，将俯视图中每个像素与原始图中的像素对应。视角转变后的效果如图9、图10所示。

图8 像素坐标对应关系

图9 原始图像 图10 视角转换后的图像

3.2 白平衡匹配

车辆在行驶中，车身周围的环境会受到光照、天气等因素的影响，视频图像的亮度、色彩和对比度容易降低，会影响对驾驶员的辅助功能。另一方面，车辆行驶过程中，每个摄像头所处的光照环境不同，所获取的图像亮度、色彩也不一致，并且随着车辆行驶，每个摄像头的亮度、色彩时刻都在变化。因此，为了使得到的全景鸟瞰图像亮度和色彩均匀、一致，必须对整个系统的白平衡参数进行匹配。

白平衡的匹配过程如下：首先需要根据环境条件，对每个摄像头的白平衡参数进行调节，确保每个摄像头的亮度、色彩良好，然后中央控制器会将4个摄像头的白平衡参数进行整合，重新均匀分配。这种调节是动态、实时进行的，从而使得车辆运行过程中，全景画面的色彩、亮度始终一致。

4 图像缝合

摄像头采集的图像，在经过扭曲校正、视角转换和白平衡匹配之后，要通过一种图像缝合算法，将4个摄像头的图像缝合成一幅完整的全景图像，如图11所示。

采用基于图像特征的图像缝合算法，对于不同特性的图像，选择图像中容易提取并能够在一定程度上代表缝合图像相似性的特征作为缝合依据。基于特征的方法在图像缝合中具有较强的适应性，根据特征的选择和特征匹配方法的不同，可衍生出许多具体的缝合方法。这些缝合方法的主要共同之处是首先要对待拼接的图像进行预处理，也就是特征提取的过程，再利用提取到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像之间的拼接映射变换。基于图像特征的拼接方法分为以下3个步骤：计算并提取图像的特征集；将这些特征作为控制结构，寻找两幅图像控制结构的映射关系；建立控制结构件的空间域的集合变换。通常利用最小二乘法原则建立一个二维多项式函数来对集合变换进行拟合。图像缝合后实际效果如图12所示。

图11 图像缝合示意图

图12 图像缝合效果

5 总结

针对道路行车环境日益复杂、人们渴望通过一种先进的辅助泊车系统来提高行车安全性，提出了一种全景环视辅助泊车系统。对整个系统的结构和工作原理进行了介绍，并对系统实现过程中的摄像头参数校正、镜头扭曲校正、鸟瞰视角转换、白平衡匹配和图像缝合等关键技术进行了分析和研究。相信文中对全景环视辅助泊车系统的研究将对汽车安全辅助系统的发展有一定的指导价值。

【1】 操虹.车载环视显示系统设计[D].合肥：合肥工业大学，2009.

【2】 TSAI T Y.An efficient and accurate camera calibration technique for 3D machine vision[C]//IEEE Proceedings of Conf on Computer Vision and Pattern Recognition,1980.

【3】 袁辉.鱼眼镜头视频图像实时校正算法研究与实现[D].广州:中山大学,2007.

ResearchonAroundViewMonitorSystemforParkingAssistance

BAI Yong, GUAN Lihai

(Brilliance Automotive Engineering Research Institute, Shenyang Liaoning 110141,China)

With the urban roads more crowded and the environment of driving and parking for driver more complicated, whether the driver can be provided the visible surrounding information of vehicle is the critical factor for improving the driving security. Therefore, a around view monitor (AVM) system for parking assistance was researched. This AVM system was composed by a controller, a monitor and four wide-angle cameras which were mounted in front, rear and both sides respectively. The complete surrounding image information in front, back and sides of vehicle were collected by cameras and sent to the controller. After the processing in camera calibration, lens distortion correction, bird-view transformation, white balance match and images mosaic, a complete surrounding bird-view picture which could be used to monitor the surrounding condition clearly was displayed on the screen.

Around view monitor; View transformation; Image stitch; Parking assistance

2013-10-23

白永(1982—)，男，本科，助理工程师，研究方向为探测系统及电气新技术。E-mail：yong.bai@brilliance-auto.com。