基于立体视觉的汽车安全车距预警系统研究＊

张凤静 王红阳 张 轩

（中国电子科技集团公司第28研究所 南京 210007）

1 引言

汽车安全车距预警系统作为智能交通的一个重要分支是近年来的研究热点，它是一种当本车与周围车辆或者障碍物距离较近时向司机预先发出报警信号的装置。立体视觉测距利用间隔固定的两个摄像头对前方同一景象拍摄，通过对两幅图像分析处理得到目标的三维点坐标。

相比于已有的超声波、激光雷达、毫米波雷达、红外线测距等，立体视觉测距的优点是：受环境影响小；可以获得汽车周围的图像信息，得到精确、丰富的道路信息；作为一种被动接受系统，不需向外发射信号，避免大量装备后各个车辆之间的相互干扰。

视觉系统在安全辅助驾驶方面的应用，国外典型的有意大利Parma大学研制的ARGO试验车，该车采用“GOLD视觉系统”［1］，利用双CCD摄像机构成双目视觉系统实现前方车辆的检测、识别和定位［2］。处于应用探索阶段的有梅塞德斯奔驰研制的智能汽车安全驾驶辅助系统，丰田汽车、富士重工等也推出了相应的用于展示的产品。

国内的研究起步较晚，目前有清华大学“移动机器人课题组”研制的智能车［3］，吉林大学的Jutiv系列智能车［4］，此外重庆大学［5～6］、南理工团队的研究［7～8］也颇有成效。相关专利有南理工的基于单目视觉的汽车巡航控制方法及其实现系统，上海世科嘉车辆技术研发的基于单目机器视觉的车辆距离测量方法，以及深圳先进技术研究院发明的一种基于机器视觉的防撞预警方法及装置。

从已掌握的国内外研究现状来看，基于双目立体视觉的车距预警系统在国内的研究较少，国内尚未推出此类产品，国外现有产品尚未大规模使用。本课题自主研发视频输入设备，基于DM642平台，开发出一整套视觉测距系统。

2 本文采用的系统框图

系统包括双目视频输入模块，视频图像处理模块和视频输出模块。其中视频输入模块由两台自主研发的摄像头构成，视频处理模块实现的功能包括对摄像机内、外参数的标定及车辆检测定位、距离测量，最后在视频输出设备中输出结果。

3 双目立体视觉系统

双目立体视觉系统的具体实现是用两台参数性能完全相同、位置固定的图像采集设备，获取同一景物的两幅图像，计算同一空间点在两幅图像中的视差，确定三维空间点的深度信息［9～10］。

3.1 双目立体视觉系统的模式

最基本的双目立体视觉的几何关系如图2（a）所示，称为双目横向成像模式［11］，它由两台完全相同的摄像机组成，两台摄像机的图像平面位于同一平面，光轴与Z轴重合，坐标系统对应的光轴精确地平行。其中B为基线距离，指两摄像机光心之间的距离，f为摄像机的焦距。

图2（b）所示为双目横向汇聚模式的系统，两摄像机光轴汇聚，放置在同一水平线上。本系统研究时最初采用的是图2（a）所示的系统，但由于实际操作中两台摄像机不可能完全相同，两台摄像机的光轴系统也不可能完全精确地平行，所以在考虑算法时采用的是图2（b）所示的系统，图2（a）的系统就是图2（b）所示系统两条光轴平行的情况。

图2 双目立体视觉系统模式

3.2 立体视觉系统的标定

空间物体表面某点的三维几何位置与其在图像中对应点间的相互关系是由摄像机成像的几何模型决定的，这些几何模型对应的参数称为摄像机的参数，摄像机标定就是为了得到这些参数进行的试验和计算过程［12］。

目前的摄像机标定方法有两类：传统标定方法和摄像机自标定法。张正友平面模板标定法［13～14］是一种介于传统的摄像机标定方法与摄像机自标定方法之间的算法，这种标定方法用摄像机对一个已知尺寸的棋盘格式平面模板在两个以上不同方位进行拍摄，摄像机和平面模板可以自由移动，不需要知道参数，操作简单灵活。

本系统采用的视觉系统有两个摄像机，标定时采用张正友平面模板标定法先对单个摄像机分别进行标定得到左右摄像机各自的内部参数和外部参数，通过计算得到两摄像机的位置关系。

设空间一点P在世界坐标系、摄像机坐标系C1、摄像机坐标系C2下的非齐次坐标分别为Xw，Xc1，Xc2。C1与世界坐标系之间相对位置的外部参数为旋转矩阵R1和平移向量t1，C2与世界坐标系之间的相对位置的外部参数为旋转矩阵R2和平移向量t2。这些参数有如下关系［15～16］：

进一步可得：

由式（2）可知摄像机C1和C2的位置关系用R和t可表示如下：

由式（3）可知，由左右两个摄像机各自的外部参数R1，t1和R2，t2，可以计算出两个摄像机之间的相对几何位置关系R和t。

根据对左右两个摄像头分别进行标定得到的结果，计算出双目立体视觉设备两个摄像头之间旋转矩阵和平移矢量如下：

旋转矩阵：

平移矢量：

试验结果如图3所示。

图3 标定板在双目标定中的外参数示意图

图3所示为标定板在双目立体视觉系统中不同位置的示意图。由标定结果可知，旋转矩阵R近似为单位矩阵，平移矢量Y轴和Z轴的平移近似为零，可以认为只存在平移不存在旋转，和实际情况很相符。平移矢量中X轴的平移为1127.2mm，与实际的基线距离1125.0mm非常接近，可见标定的双目立体摄像机结果是正确的。

4 双目立体视觉测距原理

对图4所示的两幅图片，采用检测车辆底部下边缘阴影的方法［17］检测出车辆在图像中的位置坐标，取检测起始点和终点的中点为计算目标车辆位置的特征点，图4（b）为右边摄像机所拍图片的检测结果，其中车辆位置坐标为（317 239）。用同样的方法检测出同一时刻左边摄像机所拍摄图片中车辆所在位置的检测结果为（332 224）。

图4 车距测量试验图

采用公垂线中点法计算出距离［18］。采用同样的方法选取100m内不同距离进行试验，试验方法及数据参见文献［18］。

5 基于DM642的系统硬件实现

图5 硬件系统原型图

本文硬件系统原型图如图5所示，图中设备包括：双目视频输入设备（图中4个摄像头中启用最左边和最右边一个），视频输出设备，基于DM642的开发平台，JTAG仿真器，TOSHIBA笔记本。其中双目立体摄像系统和基于DM642的开发平台是自行设计和开发的。

双目视频输入设备的主要芯片为两片OV7950芯片［19］。基于DM642的产品开发平台是整个系统的核心部分，该开发平台为一块基于DM642的核心板，以DM642芯片［20～22］为核心，由视频编码模块、视频解码模块、存储模块、电源模块、JTAG接口等组成。视频解码模块和双目视频采集板连接主要完成实时视频数据的采集，视频编码模块和显示器连接用于显示试验结果。

目前系统能够实现双通道图像采集、实时视频图像处理、视频输出等功能，应用于汽车安全车距预警系统，目前可以实现单帧图像的处理和显示，处理时间为0.1s。

6 结语

本文在双目立体视觉系统的原理的基础上，开发出基于DM642的系统硬件平台，对双目立体视觉系统进行了内外参数的标定，在公路上进行模拟试验，获得车在路面的图像，对图像进行处理，获取车辆在图片中的位置，采用公垂线中点法计算出车辆距摄像头的距离，最后显示输出结果。

当前双目立体视觉系统在安全车距方面的应用还比较少，本文的后续研究工作还有很多：1）检测车辆时车道局限于直的车道，可以扩展到弯车道，从算法上实现各种车道中车辆的检测；2）将摄像机标定算法固化到系统中，系统上电后即可自标定，采用可变焦的摄像头，提高测量的距离和精准度；3）优化硬件实现算法，提高速度和精度，减少运算量，增强系统的实时性和准确性。

［1］Massimo Be rtozzi，Alberto Broggi.GOLD：A Parallel Real－Time Stereo Vision System for Generic Obstacle and Lane Detection［C］／／IEEE Transactions on Image Processing，1998，7（1）：62－81.

［2］Massimo Bertozzi，Alberto Broggi and Alessandra Fascioli.The ARGO autonomous vehicle’s and control systems［J］.International Journal of Intelligent Control and Systems，1999，13（4）：409－441.

［3］郭磊，徐友春，李克强，等.基于单目视觉的实时测距方法研究［J］.中国图象图形学报，2006，11（1）：74－81.

［4］顾柏园.基于单目视觉的安全车距预警系统［D］.吉林：吉林大学，2006：1－143.

［5］谢毅，黄席樾.基于机器视觉的车辆对称中心检测［J］.重庆工学院学报（自然科学版），2007，21（4）：8－11.

［6］周欣，黄席樾，黎昱.基于单目视觉的高速公路车道保持与距离测量［J］.中国图象图形学报，2003，8（5）：590－595.

［7］周俊杰.基于单目视觉的夜间车辆和车距检测［D］.南京：南京理工大学，2007：1－54.

［8］马伟.基于单个摄像机的车辆检测与跟踪［D］.南京：南京理工大学，2008：1－80.

［9］马颂德，张正友.计算机视觉－计算理论与算法基础［M］.北京：科学出版社，2003：72－94.

［10］王润生.图像理解［M］.长沙：国防科技大学出版社，1998：46－74.

［11］章毓晋.图像工程（下册）图像理解（第二版）［M］.北京：清华大学出版社，2007：24－56.

［12］韩九强.机器视觉技术及其应用［M］.北京：高等教育出版社，2009：12：1－36.

［13］Zhang Z.A Flexible New Technique for Camera Calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，26（10）：44－48.

［14］Janne Heikkila，Olli Silven.A Four－step Camera Calibration Procedure with Implicit Image Correction［J］.Computer Vision and Pattern Recognition，1997：1106－1112.

［15］李洪海.一种简便的双目摄像机标定方法［J］.淮阴工学院学报，2009，18（3）：56－61.

［16］李洪海.基于移动机器人的双目立体视觉技术研究［D］.南京：南京航空航天大学，2007：17－47.

［17］张凤静，夏伟杰.双目立体视觉测距系统目标车辆检测算法研究［J］.重庆科技学院学报，2011（1）：161－164.

［18］张凤静，周建江，夏伟杰.基于双目立体视觉的汽车安全车距测量方法［J］.智能系统学报，2011（1）：79－84.

［19］OV7950Datasheet［M］.California，USA：Omnivision inc，2006：1－20.

［20］TMS320DM642Video／Imaging Fixed Point Digital Signal Processor［M］.Texas，USA：Texas Instruments，2004：12－47.

［21］王跃宗，刘京会.TMS320DM642应用系统设计与开发［M］.北京：人民邮电出版社，2009：23－34.

［22］李建科，黄席樾，杜长海，等.基于TMS320DM642的嵌入式实时图像处理系统设计及应用［J］.自动化与仪器仪表，2009，142（2）：19－22.