利用双目视觉方法的车身振动响应识别与分析

2021-12-14林文梁王晓佳李国兴贠星辰

重庆理工大学学报(自然科学) 2021年11期

林文梁，王晓佳，李国兴，吴通，贠星辰

(太原理工大学机械与运载工程学院，太原 030024)

随着无人驾驶车辆的出现，各国对汽车的主动安全方面提出了更高的要求，不仅限于环境的感知，车辆自身的状态监测也至关重要。统计数据表明：车辆悬架系统故障在所有故障中占比较大，如悬架弹性元件、阻尼器故障会减小车辆对路面激励的缓冲，导致车辆振动能量无法被耗散，不但会严重影响汽车平顺性，还可能导致车辆失控，造成严重交通事故。对于无人驾驶车辆，缺失了驾驶员对整车的状态感知和故障排查，一旦发生悬架故障，危害性极大。通过测量车辆受激状态的振动可实现对悬架系统的监测，从而实现车辆行驶的主动安全控制。

常见的振动测量方法有IMU测量、视觉测量以及电磁测量等。目前最常使用的IMU测量设备必须固定在被测物体上，同时仪器自身存在漂移问题，随着智能车技术的发展，基于机器视觉的双目视觉三维振动测量技术的优越性逐渐显现出来。视觉测量振动多是将摄像头固定于一个确定的世界坐标系点，通过识别被测物体或系统上的标志点，获取其位移、速度、加速度等振动信息。Avitabile等[1]通过对比不同振动测量方法的优缺点，提出了一种用视觉测量结构振动的方法；徐秀秀等[2]在柔性臂上安装光源标记用于振动测量，同时搭建了实验系统，可以实时在线地采集和处理图像，动态显示当前时刻振动位移，并对信号进行处理；黄鹏程等[3]利用双目视觉原理设计了一种多点三维振动测量系统，通过同时对多个设定好的标志点进行匹配实现三维测振；邱志成等[4]通过双目视觉对柔性臂上的多个特征点同时进行匹配，进而获取柔性臂的定点和旋转振动信号，并对振动信号进行模态分析获取柔性臂的振动特性，为抑制振动模块提供信息；臧旭等[5]通过视觉测量柔性太阳翼振动，获取其模态频率和振型；除了对特征点与试验结构进行研究，熊文等[6]在数字图像相关法(DIC)的理论基础上，提出了一种基于几何特征提取的连通域识别算法，提高了特征识别的准确性和鲁棒性。另有将视觉传感器布置于被测物体或系统上，通过识别位于空间固定点的标志，进而获取物体的振动信息；李田等[7]为测量轨道车辆运行时车体姿态变化，提出一种利用面阵相机和线激光组合的摄影测量方法，实现了在线检测车体姿态的目的。

本文将双目相机固定于车身上，对车辆施加特定的路面激励，通过连续高帧率拍摄序列照片，分析车辆前方固定特征点在相机坐标系中的三维坐标变化，进而获取车辆的受激振动信息。在车辆前方布置2个圆环标志物，通过左、右相机同步采集标志物图像，对圆环进行处理，获取圆环中心的像素坐标，利用双目测距原理和运动解耦方法，反推车辆的振动信息，将双目相机与IMU获取的信息进行对比，分析双目测量的有效性和准确性。

1 双目测量车身振动原理

1.1 双目视觉模型

双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的2幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息。

图1描述的是双目立体视觉测距原理。通过同步采集左右相机的图像，计算图像间视差，进而估计每一个共同视野内像素的深度。图2中OL、OR为左右相机中心，b为相机中心间距即基线，f为相机焦距，PL(xL,yL)和PR(xR,yR)分别为空间点P(X,Y,Z)在左右相机成像平面的投影点。通过相似三角形几何关系，可得到：

(1)

解方程(1)，可得：

(2)

式中：d为左右图像中横坐标之差(视差)。

由式(2)可知,只要获取标定后双目的内参、基线b以及视差，即可唯一地求出空间点P的三维坐标。

图1 双目立体视觉测距原理示意图

使用张正友标定法[8-9]对双目系统进行标定，以获得双目相机内外参数，用于图像畸变校正与双目测距算法输入。

1.2 车身振动测量原理

相机随车身运动由平移和旋转组成。康轶非等[10-11]将空间特征点分为远点(双目视差为零的点)和近点(双目视差非零点)2种。其中近点包含相机平移和旋转运动，远点仅包含相机旋转运动。通过相邻帧间的远点解算相机的旋转运动，获得旋转量后，通过近点估算相机平移量。此方法在远点容易获取的环境中性能较好，但在相机运动速度快和远点不易获取的环境中，性能有待提升。为精确测量车辆过减速带时的振动，本文在车辆行驶前方设置了特定标志物，将车辆分阶段简化为刚体运动，通过获取标志点的相对位移，解算相机平移和旋转运动。图2中分别描述了前轮与后轮受激下的车身俯仰以及图像中的标志物相对位移。分别分析2个极限位置点(前轮到达激励最高点与后轮到达激励最高点)处平移运动占标志物相对位移的比例，几何分析和实车测量表明，前者占比为14.05%，后者占比为6.08%。

图2 车身振动示意图

车辆行驶动力学分析时通常建立整车7自由度模型，虽然对真实的车辆而言，已非常简化，但考虑到低频路面激励下的左右轮运动轨迹相关性，高频路面激励只影响车轮跳动，对车身运动影响甚微，可将模型简化为4自由度半车模型[12]；在此基础上，对模型进行动力学等效处理，可将车辆进一步简化为2自由度模型(前悬架决定前轴处集中质量块的运动，后悬架决定后轴处集中质量块的运动)，前后部分之间相互影响很小[13]。基于此，可合理地将前、后轮过减速带时的单独激励进行分解。当车辆前轮通过路面激励时，将车辆简化为绕后轮轮芯旋转的刚体，当车辆后轮通过路面激励时，将车辆简化为绕前轮轮芯旋转的刚体，记录2次激励引起振动达到峰值的时间点，取两时间点的中点为切换点。简化模型如图3所示，其中L1表示相机光心距后轮轮芯距离，∠A表示其连线与水平位置夹角；L2表示相机光心距前轮轮芯距离，∠B表示其连线与水平位置夹角；Wb为车辆轴距。

图3 乘用车简化模型示意图

2次激励下求解车身俯仰运动过程如下：图4(a)中P1为车辆初始状态后轮芯位置,P2为车辆运动过程中t时刻轮芯位置。∠C为对应旋转角，相机射出的实线表示相机光轴，D1为标志点相对位移，D2为相机平移运动量，D3为P2时标志点对应深度。结合整车简化图，有：

(3)

式中: ∠A和L1由实车测量得到，D1由图像特征识别获得像素位移对应的空间真实位移，D3通过双目测距原理计算得到。规定逆时针方向旋转时，∠C为正值。求解方程组，可求得每一时刻对应的旋转角∠C。

图4(b)中P3为车辆初始状态前轮轮芯位置，P4为车辆运动过程中t时刻轮芯位置。∠E为对应旋转角，相机射出的实线表示相机光轴，D5为标志点相对位移，D4为相机平移运动量，D6为P4时标志点对应深度。结合整车简化图，同理，有：

(4)

式中： ∠B和L2由实车测量得到，求解方程组，即可得到每一时刻对应的旋转角∠E，其中逆时针方向旋转为正值。

图4 运动解耦原理示意图

由于受相机标定和像素误差影响，双目测得的深度信息波动较大，且波动随距离增加而增大，因此为了使深度信息更加可靠，增加了新的约束。通过设置已知中心间距为m的2个圆环标志，获取圆心像素坐标，获得像素差i，同时相机视场角±α以及图像分辩率(640×480)已知，因此，有式(5)：

译文： Some officials are not fulfilling their duties properly. They sidestep difficult problems and matters of public concern, argue and pass the buck, and tackle their responsibilities in a perfunctory manner…[2]467

(5)

式中：W表示标志点所在深度处相机的取景宽度，D为由视场角推出的标志点深度。

由此，得到了标志点的深度信息，过程中并未使用双目特征匹配，对相机双目标定精度以及特征匹配无依赖，可作为双目深度信息的约束。

2 目标识别系统

2.1 原理方法

图5描述的是目标识别系统。将成功标定的2个相机的内参、外参和畸变系数用于图像的立体校正和立体匹配，通过对视频抽帧生成序列图像，调用双目立体匹配算法获得视差图，进而获得图像各像素点的深度信息；同时对序列图像进行灰度和二值化处理，调用边缘检测算法对边界进行检测，使用Hough变换，调整相关参数，获得标志物2个圆环圆心的像素坐标，查询对应点处深度信息；记录帧间标志点对应像素位移，获取目标点相对三维运动，反推相机运动；使用1.2节中提出的解算方法，对相机平移和旋转运动进行解耦，求解得到相机俯仰角-时间关系；对IMU数据进行分析，获得俯仰角-时间关系；对2组数据进行对比，分析差异。

图5 目标识别系统框图

2.2 圆心像素坐标获取方法

由于在车辆行进过程中，标志物的投影随距离减小而不断增大，直接检测圆环将会导致出现较多‘假目标’的现象，因此针对标志点的圆心坐标获取，分别使用了Roberts算子、Prewitt算子、Sobel算子、Laplacian算子、Canny算子对标志物进行边缘检测。通过对比分析，Canny算子在低阈值设置为50、高阈值为150的情况下边界识别效果最好。同时Hough变换设置检测圆的半径范围，剔除误识别目标。

3 试验系统

基于车载双目视觉测量车身振动试验系统如图6所示，由测量模块、标志物、路面激励和车辆构成。其中测量模块如图7所示，由双目相机和IMU模块组成，自主搭建的双目相机最大分辨率为2 560×760，最大帧数为90 fps，基线可调节，试验中基线设定为120 mm，配备8 mm焦距镜头；IMU模块布置于相机中心处，试验前进行校准，最大采样频率为200 Hz；标志物为圆心等高的2个圆环，外径为400 mm，内径为300 mm，间距为580 mm；路面激励分为2种，截面分别为30 mm×350 mm和50 mm×350 m，长度为2 500 mm；所使用的车辆为小型纯电乘用车。测量模块水平固定于车辆前挡风玻璃上，选择一条平直道路，分别布置2种路面激励，在其10 m远处设计龙门形式的标志悬挂装置，调整悬挂高度，使圆环圆心与相机尽量保持等高。为了能够更加清晰地识别标志物，标志物背景选择白色，减小图像处理难度。为了保证相机高帧率抓取图片，需要有足够的光照强度。

图6 车身振动试验系统示意图

图7 测量模块

汽车行驶动力学中针对悬架设计的刚体动力学，研究频率范围一般为0.25～15 Hz，依据香农采样定理，为了不失真地恢复模拟信号，采样频率应该大于模拟信号频谱中最高频率的2倍。若要完整识别车辆的刚体运动信号，需要采样频率不低于30 Hz，本实验设备满足实际测量需求。

4 实车试验

4.1 试验设计

为论证双目测量方法的有效性和适应性，试验分为2部分,第1部分使用电动乘用车进行实车路试试验，第2部分使用方程式赛车进行试验。乘用车试验布置如图8(a)所示，图右侧为标志物，车辆前方布置了矩形激励，通过更换高为30 mm和50 mm的矩形路面激励，设置一系列等差序列车速[14]，匀速通过，相机帧率为60 fps，分辨率为1 280×480，IMU采样频率为100 Hz，同时侧方位布置一台帧率为120 fps的相机对整车进行拍摄，用于检验车辆模型的简化是否合理。赛车试验中将双目相机及IMU置于驾驶舱前横梁上，使相机光轴尽量保持水平，标志物置于车前10 m位置，调节标志高度，中心保持与相机等高。方程式试验如图8(b)所示,激励为阶段性踩踏车架横梁，使车身进行俯仰运动，相机帧率60 fps，分辨为 1 280×480,IMU采样频率为100 Hz。同时在已知赛车完整参数情况下，利用多体动力学仿真软件，设置同类型激励，参照王朝辉等[15]的方法，对赛车进行仿真，作为IMU与双目测量结果的参考。

图8 试验照片

4.2 数据分析

在不同试验条件下进行试验后，通过对序列图像的分析和运动解耦处理，分别得到2种测量方式测得的车身刚体运动曲线。图9为车辆以不同车速匀速通过高度为30 mm的矩形激励时的俯仰角-时间曲线[16]。

图9(a)中第一波谷是由前轮过激励激发，t=3 s之后的波峰为后轮过激励激发。由图可知，双目测量和IMU测量所得的曲线能够较好地贴合，最大差值为0.23°，双目测量所得曲线未进行滤波处理，整体存在较小波动，IMU由于内置了滤波模块，整体曲线较为光顺。纵向对比相同激励、不同车速下的曲线，随着车速的增加，俯仰角的幅度在减小，同时曲线的平滑程度在降低，2条曲线之间的贴合度变差。其中俯仰幅值的减小是由于所用的激励宽度为35 cm，而悬架压缩行程阻尼系数一般仅为拉伸行程的30%～60%，更大的速度下，悬架未及时回弹就已通过激励，因此峰值逐渐减小；同时更高的车速带来更大的加速度，会激发出更多接近采样频率的振动，对刚体振动测量产生噪声影响；车速越大，前后轮受激励的时间间隔越短，波形过渡越不明显。

图10为车辆以不同车速匀速通过高度为 50 mm矩形激励下的俯仰角-时间曲线。同理可知，幅值随车速的增加而减小，贴合度变差。图10(a)中对应高度为50 mm的激励，车速5 km/h，整体2条曲线的贴合度优于其他工况；横向对比图9(a)和图10(b)2个工况数据，车速相同，俯仰角峰值随激励高度的增加而变大，同时2个激励间的过渡，前者更加明显，这佐证了是由于减振器回弹不及时导致车速增加时过渡不明显。

表1中统计了5组试验的结果，平均差值表示IMU测量与双目测量差异的平均情况，最大差值表示2个数据间的差异最大值，IMU幅值表示IMU最大值与最小值的差值，比例表示平均差值占幅值的比例。数据显示，平均差值波动较小，比例均保持在7%以下。

表1 双目视觉与IMU数据

在此基础上，对悬架参数已知的方程式赛车进行试验，进一步探究了多次连续激励下双目视测量方式的可靠性和有效性。如图11所示，在连续多次踩踏激励下，双目视觉测量和IMU测量结果相比，幅值差异较小，贴合可较好，但IMU数据出现了明显的漂移，连续7次激励下，漂移量最大0.79°，同时双目数据也出现微小漂移。经过分析，双目数据出现的漂移是由于减振器的末端回弹不到位，多次振动后回弹改善，IMU数据的漂移是IMU自身漂移和回弹不到位的叠加作用导致，而IMU数据后半段的自纠正是由IMU模块内置算法实现[17]。仿真试验数据作为理想化的参考,为两者的比较提供了基准。由此表明，双目测量在改善IMU漂移问题上，效果良好。