基于多视觉传感器的泊车辅助系统设计

郭剑鹰 周小兵 管西强

1、2 华域汽车股份有限公司 3 上海交通大学

0 引言

随着科学技术的飞速发展，汽车工业近年来面临着重大革新，自动驾驶已经成为各大汽车厂商和高校的研究热点[1-3]。根据自动驾驶技术分级，L1级别的辅助驾驶是目前最为可行技术方案。这其中，泊车辅助系统，已经逐渐成为各大汽车品牌在新产品中的标准配置[2]。然而，由于传统的泊车辅助系统方案中，车位感知主要通过超声波雷达进行。由于超声波雷达的工作原理的局限性，使得该方案对于车位场景的适应性较差，例如前后均无车的停车场中，该方案无法检测出车位，从而使得基于超声波雷达的泊车功能失效。此外，由于超声波雷达的抗干扰特性较差，对于车位尺寸及坐标的检测精度也较差，进一步削弱了该方案的适用性[4]。

为了提高泊车辅助系统的适用范围，本文基于传统超声波泊车辅助系统，提出一种更为精确的基于多视觉传感器的车位检测技术。相对于单摄像头方案[5, 6]，本文提出的多视觉传感器方案，不仅能够实现车位的检测成功率，还能通过多摄像头在泊车过程中对车位尺寸进行修正，再结合泊车控制器，实现高精度高成功率的泊车辅助功能。

1 泊车辅助系统架构设计

基于多视觉传感器的泊车辅助系统架构如图1所示。该系统主要由感知系统、中央控制器、执行机构和人机交互系统等组成，其中车位识别通过感知系统实现，中央控制器利用感知系统获得的车位及障碍物等信息，进行故障诊断、泊车控制和障碍物检测处理等，并通过CAN总线将显示信息和控制信号分别发送至人机交互系统和执行机构，通过人机交互系统对驾驶员进行选换挡、制动和停车的信息提示和报警提醒，利用执行机构对车辆的转向执行机构进行自动控制，最终实现车辆的泊车辅助功能。

图1 泊车辅助系统架构

Fig.1 Architecture of parking assistance system

该泊车辅助系统中的感知系统主要由超声波雷达和视觉传感器(即广角数字摄像头)两部分组成，考虑到传统超声波雷达的车位检测技术较为成熟，本文主要针对感知系统部分中的多视觉传感器技术进行研究分析，拟通过多摄像头对泊车过程中车位的尺寸进行修正，再结合泊车控制器，实现高精度高成功率的泊车辅助功能。

2 基于视觉的车位检测方法

基于视觉的车位检测技术[5, 7, 8]，其算法架构如图2所示。首先，在泊车辅助系统运行后进行摄像机内外参数读取、逆透视变换参数读取以及环视鸟瞰图参数的初始化。各参数初始化后，利用安装在车身左右的两路摄像机进行图像的在线实时采集，并同时进行去畸变图像矫正和逆透视变换，对生成的俯瞰图进行图像分割，然后通过设计的直线检测算法进行车位检测。

图2 基于视觉的车位检测算法架构Fig.2 Vision-based architecture of parking space detection algorithm

结合以上架构，本文对具体的算法步骤进行了详细的设计，基于视觉的车位检测与识别流程如图3所示。

3 车位检测关键技术

3.1 图像灰度化

灰度转化是常用的图像处理方法，在灰度化的情况进行图像处理不仅能够节省内存，而且还能提高后续工作的效率。为了最大程度上减少失去的原图信息，对彩色图像进行灰度转换，其公式表达为：

图3 车位检测与识别流程Fig.3 Parking space detection and identification process

Gray=a×R+b×G+c×B

(1)

式中，a、b、c分别是灰度图像中R、G、B三色通道的加权值。

车位线一般是黄色或白色的直线段，对于白色的车位线可采用传统的灰度化方法，但是对于黄色车位线，传统的灰度化方法并不能很好的将车位线与背景分离开来。因此，本文对灰度化中各通道的加权值进行了分析对比，最终得出当a=0.8,b=0.05,c=-0.6时能得到比较好的灰度图像。如图4所示，改进后的灰度化方法更能突出目标车位线有利于后续车位线提取。

图4 改进前后灰度化效果对比

Fig.4 Comparison of graying effect before and after improvement

3.2 俯瞰图生成

为了覆盖尽可能多的车位线、获取更加丰富的环境信息，采用了鱼眼广角摄像头，同时也带来了图像畸变，使得图像中的对象丧失其固有的特征，不利于后续的车位线识别。因此，需要对摄像头进行内参及外参标定，并通过畸变校正和逆投影变换将原始图像转化为相应的俯瞰图。本文采用张正友标定法[9]对摄像头进行内、外参标定，并利用得到的参数生成从畸变图像到俯瞰图的map图，用于实时的图像转化。如图5所示，经过畸变矫正及逆投影变换后得到的俯瞰图中的车位线特征更加容易检测，更好地反映了车位线为固定宽度的直线，车位线夹角为90°、60°、120°等特征。

图5 原始图像和俯瞰图中车位特征对比

Fig.5 Comparison of parking space features between original image and aerial view

3.2 直线对及交点提取

车位线一般由固定宽度的直线段组成，而固定宽度的直线对在Hough空间中是具有相同角度距离值的固定亮点对，如图6所示，图(a)中直线对L1和L2对应图(b)中的亮点对P1和P2。因此，原始图像中的直线对提取可以转化为Hough空间中的亮点对提取[10,11]。

图6 俯瞰图中的Hough变换

Fig.6 Hough transform in aerial view

为了提取Hough空间中的亮点对，本文设计了如图7及式(2)所示的一维滤波器，遍历Hough空间中的各点，其中的W代表车位线宽度，一般取为15 cm。

S(θ,ρ)=PH+PL-HS(θ,ρ)-HS(θ,ρ-W)-

HS(θ,ρ+W)

(2)

式中，PH、PL分别为上、下亮点邻域的Hough变换最大值，以便提高算法的鲁棒性。HS(θ,ρ)、HS(θ,ρ-W)、HS(θ,ρ+W)分别为亮点对中心、亮点中心上W和亮点中心下W处的Hough变换值。

图7 一维亮点对提取滤波器Fig.7 One-dimensional bright spot pair extraction filter

为了避免由于Hough变换值的不同，导致S(θ,ρ)基准值的变化，将其作归一化处理：

(3)

式中，L(θ,ρ)为亮点中心概率密度，越大的值代表该候选点是泊车位线的可能性越大。

对计算出来的亮点中心概率密度，设定阈值。当L(θ,ρ)大于该阈值时便认为是候选泊车位线，如式(4)所示。此外，为了消除光线、噪声等因素的干扰，检测出来的候选亮点对需进一步的聚类处理，具体为判断Hough空间里的候选点间的距离。

(4)

式中，C(θ,ρ)为该亮点对是否为候补泊车位线标志，L0为设定的判断阈值。

确定候选亮点中心的(θ,ρ)后，可通过式(5)确定候选的车位线交点。

(5)

式中，(θ1,ρ1)和(θ2,ρ2)为两个候选中心点，x、y为交点坐标。

3.3 车位线角点提取

虽然直线对检测可以提取出大部分的车位线，但是由于车辆泊车环境较为复杂，存在光线变化、邻车干扰、非停车位线等影响，往往会给车位检测带来干扰，出现如图8所示的误检测。为了消除这些干扰，需要对提取出来的车位交点作进一步筛选以获得真实有效的车位角点。一般平行及垂直车位的角点邻域是如图9所示的“T”字型或“L”字型特征区域，可通过对该区域特征的识别进行车位线角点的进一步筛选。

图8 可能的误检测

Fig.8 Possible error detection

对候补车位角点邻域通过Sobel算子分别取水平和垂直梯度值，并分别统计该邻域内的水平及垂直梯度总值。当该区域内的水平及垂直梯度均大于相应的阈值后，便认为候选角点为真实的车位角点，否则为误检测点，如图10和图11所示。

3.4 后摄像头修正

目前常用的基于摄像头的车位检测是根据侧向摄像头拍摄的画面进行车位检测，车辆距离车位线较远且多是在车辆以较高车速向前行驶时段，因此会带来一定的延迟。为了对减少标定、延迟等带来的误差，本文中对侧向摄像头得到的车位在车辆泊车过程中通过后摄像头对车位线坐标进行修正。此时后摄像头距离车位线较近且车速较低，检测得到的车位线坐标精度更高。

图9 实际车位线角点特征Fig.9 Characteristics of corner points of actual parking spaces

图10 真实车位线角点

Fig.10 Corner of real parking space

图11 误检测车位线角点

Fig.11 Corner of error detection

4 系统功能实车测试验证

实验平台如图12所示，包括4个鱼眼摄像头、轮速传感器、电动助力转向系统(EPS车辆自身配备)。

图12 实验平台Fig.12 Experimental platform

基于该实验平台，在不同车速和侧向距离下，对基于多视觉传感器的泊车辅助系统进行了水平和垂直泊车测试，如图13和图14所示。

相同的测试环境下，后摄像头修正前后的泊车误差统计如表1所示，从统计结果中可以看出修正后的泊车效果均方根误差更小、稳定性更好。

图13 基于摄像头的水平泊车

Fig.13 Horizontal parking based on camera

表1 后摄像头修正前后泊车误差

5 结语

本文设计出一种基于多视觉传感器的泊车辅助系统，并针对车位检测与识别过程及相关技术进行了详细的研究，提出一种泊车过程中利用车辆后摄像头修正车位检测精度的方法，并开展了相应的算法设计。

图14 基于摄像头的垂直泊车

Fig.14 Vertical parking based on camera

根据设计的基于多视觉传感器的泊车辅助系统架构，本文基于某型SUV车辆进行了实车改装和传感器的安装与标定。通过水平泊车和垂直泊车，对该泊车辅助系统进行了功能验证。在停车试验场地中，该系统能够对车位进行精确的检测与识别，通过中央控制器对驾驶员进行选换挡及制动等提醒，对车辆转向系统进行自动控制，最终实现高精度的泊车过程，使车辆能够准确地到达泊车位中心位置。