基于姿态传感器进行感兴趣区域压缩的园区无人车图传

龚星衡， 吴肖伶， 张卫华

(四川大学计算机学院， 成都 610065)

1 引 言

随着工业4.0[1]的到来，无人车成为了最近研究的热点，在各种工业/物流等场景下应用无人车能够降低人工成本，提高生产效率.无人车现多用于承担工业园区的运输工作，但由于园区无线电规制，用于无人车图传的带宽可能受限，需要编码技术能够在码率较低的情况下对图像视频信号进行压缩[2],需要对视频编码技术进行改进，同时，考虑图传设备算力有限，采用的编码方法应尽可能的简单，保证不过多占用图传设备的算力，节约成本.

然而，园区无人车除了需要实时图像传输之外，还需要利用RTK进行解算GPS信息，故图像压缩的复杂度不能过高，同时园区无人车上的图像传输需要保持较高的实时性，在网络带宽有限的情况下，如何降低图像的数据量，同时保证图像质量能用于识别是急需解决的问题.本文为了同时满足有限网络带宽、压缩率高、低复杂度的要求，同时保证被压缩图像的质量，选用了H.264/AVC[3]作为基础方法.H.264具有较高的压缩率，同时，H.264的复杂度比H.265要低，容易满足低算力的图像采集设备.据此，本文提出一种基于姿态传感器和H.264/AVC视频压缩算法提取图像感兴趣区域，以感兴趣区域来分割压缩图像质量的算法，旨在利用有限带宽的情况下保证图像的可识别性.

地面无人车辆集环境感知、规划决策与多等级辅助驾驶功能于一体，是涉及到传感、信息融合、计算机、通讯、人工智能及自动控制技术等多学科多领域的高技术集合体[4].地面无人车又常被称为无人车、智能车、智能机器人等.凭借其灵活小巧的特性，其被运用于大量行业.

国外地面无人车辆研究主要集中在欧洲地区与美日等国；国内多家企业与高校针对无人车的研究取得一系列的成果，已广泛用于各个行业，如工业运送、物流、公共交通等.百度公司2013年开始研发无人驾驶车项目[5]，京东公司在2016年正式发布无人配送车，以自动驾驶核心技术为基础[6].

现在无线图像传输使用的压缩方法十分丰富，有使用JPEG[7]、MJPEG[8]直接对视频图像直接进行压缩的方法，优点是压缩速度很快，图像清晰，几乎不占用CPU计算资源，缺点是压缩率不高，图像传输带宽占用资源巨大；也有使用H.264[9]、H.265[10]对视频先进行一定压缩处理，然后再通过网络传输，优点是图像清晰、压缩率很高、图像传输带宽占用资源较小，缺点是需要使用一定的CPU计算资源、压缩需要一定的时间.

2 问题分析

无人车在园区移动的时候，需要关注的地方只有水平视场是否有人、车等可能出现妨碍驾驶的物体.无人车需要搭载图像采集设备用于检测行动水平视场的图像数据，但考虑到园区路面颠簸不平，水平视场是一个动态的状态，例如当无人车由于路面上仰的时候，无人车的水平视场大小会变小，同时水平视场所占图像中的位置会随之下降.为解决因路面不平出现的水平视场动态变化问题，本文利用姿态传感器用于计算无人车实时姿态，从而计算水平视场大小与水平视场所在图像位置.同时为了保证无人车所采集图像数据能够较快传输，并尽可能少占用传输带宽，以免控制无人车信号产生较大的延时，本文采用了将水平视场视为图像感兴趣区域，水平视场以外的地方视为非感兴趣区域，非感兴趣区域进行压缩扩大的压缩方法.

3 基于姿态传感器的感兴趣区域提取算法

3.1 ICM20948九轴传感器

实验所用无人车控制器采用RaspberryPi 3B实现，安装ICM20948九轴传感器，采集车的偏转角度.九轴传感器的灵敏度轴和旋转极性的方向如图1所示，其中，Z为偏航角，Y为翻滚角，X为俯仰角.

图1 灵敏度轴和旋转极性的方向

ICM20948九轴传感器包括了三组传感器，加速度传感器，陀螺仪与罗盘仪以用于计算姿态使用，如果直接使用三组传感器原始数据，会算出三种无人车姿态，简单的选取一个传感器计算出的姿态不够精确，本文选用卡尔曼滤波将传感器数据进行融合得到最终的车辆姿态，同时能够处理一定的噪声信号.如图2所示，利用RTIMULib库[11]可以方便的将使用卡尔曼滤波融合了三组传感器的角度数据提取出来.

3.2 感兴趣区域的提取

无人车在园区行驶时，可能出现的障碍物与目标标志物均贴近地面的情况，如果将贴近地面部分与天空部分进行同等码率的压缩，为了保留更多的细节，则接近天空那部分区域就极大的占用网络传输带宽.如图3所示，以贴近地面的那部分区域为感兴趣区域，如果园区无人车以相对水平的姿态前进的话，图像的上三分之一部分的可用消息很少，我们可以将其视为背景消息，将其的压缩比例变得比其他区域更大，且在保持感兴趣区域图像质量不变的情况下，使最终视频的尺寸更小.

图2 融合传感器参数，得到当前姿态

园区无人车在路面不平稳的情况下会发生颠簸，除因颠簸导致的车头左右偏移之外，车头上下俯仰与左右偏转对感兴趣区域的影响比较巨大.如前所述，只有贴近地面的部分为感兴趣区域，车头的俯仰会导致车头向上偏移或者向下偏移，摄像头采集到的画面随之上下偏移，当摄像头向上偏移的时候，拍摄到天空的部分会增加，感兴趣区域应该随之向下移动且减少；当摄像头向下偏移的时候，拍摄到地面的部分会增加，感兴趣区域随着向下移动且增加.设车的俯仰角度为△Ø，提出一种简单的线性关系如下式.

ROIpitch:{(x,y)|x∈φ0W,y∈(Ø0+△Ø)H}

(1)

其中，x与y是感兴趣区域的坐标点；Ø0是路面平整时感兴趣区域的宽度系数；W是图像的宽度；φ0是路面平整时感兴趣区域的宽度系数；H为图像的高度.

当车开始倾斜，传感器采集到翻转角度时，摄像头随之左右倾斜，当摄像头向左偏移的时候，拍摄到地面向左边偏转，感兴趣区域即随之左移；当摄像头向右偏移的时候，拍摄到地面向右边偏转，感兴趣区域即随之右移动.设车的偏转角度为△φ，感兴趣区域的集合如下.

ROIroll:{(x,y)|∂0Wtan△φ-xtan△φ-y≥0}

(2)

其中，∂0是人为的设定的，作为图像开始偏转的基础位置.当车同时遇到翻转与上下颠簸时，就需要将两种情况综合起来考虑，将式(1)和式(2)综合起来得到式(3)和式(4).

(3)

ROIpitch,roll:{(x,y)|f(x,y)≥0}

(4)

有上式即可在既有翻转又有俯仰角度的情况下进行感兴趣区域的计算.在完成感兴趣区域计算后，对感兴趣区域保留更多的空间细节.在H.264算法中，使用量化参数(Quantization Parameter,QP)来反应空间细节压缩情况.如QP小，则图像的大部分细节会被保留，随着QP值增大，一些细节丢失，码率降低，但图像质量下降.本文所用感兴趣区域压缩算法将兴趣区域的QP值设置为0，非感兴趣区域的默认QP值设置为10，之后再利用H.264/AVC技术把原始yuv视频压缩为mp4或者H.264裸流，方便通过网络传输.

在真实园区情况中，如果无人车遇到上坡直线前进或者上坡倾斜上行的情况，利用式(1)和式(3)即可算出无人车传回图像的感兴趣区域，图4为无人车分别在平坦路面，倾斜路面，倾斜向上路面行驶，并获得感兴趣区域的流程图.

图4 平坦、倾斜、倾斜向上路面感兴趣区域提取流程图Fig.4 The step that extract ROI of flat, inclined, inclined upward pavement

4 实 验

如图5，实验所用系统可简单分为视频采集端、姿态传感器端、视频处理算法这三个部分.其中，视频采集端为搭载无人车上的视频采集设备，对无人车行进道路进行原始视频数据采集.姿态传感器端为车上搭载的ICM20948九轴传感器，利用其对当前的姿态信息进行采集.视频处理算法主要是利用姿态传感器数据设计一种简单的感兴趣区域提取方法，使用H.264/AVC编码方式对视频感兴趣区域与非感兴趣区域设置不同的压缩比.

首先，测试姿态传感器姿势与角度的对应关系，通过将当前转动着的Rasberry Pi 3B的偏航角，翻滚角，俯仰角实时打印，来测试传感器姿势与传感器参数的关系；然后，模拟6种场景(平地、上坡、下坡、横向、斜向上和斜向下)，让无人车分别在这6种情况前进，并记录无压缩视频与传感器测出的无人车姿态角度；最后，将无压缩视频分别使用libx264压缩与本文所提方法压缩并对比两种压缩方法输出结果感兴趣区域的差别.

实验所用模拟无人车为ArduRover2.5,车上固定九轴传感器(sense-hat)与Raspberry PI Camera摄像头.实验设定第3节式(1)～式(3)的初始值为，φ0=1,Ø0=0.43,∂0=0.5.

图5 系统架构Fig.5 System architecture

4.1 姿态传感器实验

为测试传感器参数灵敏度，我们将以几个典型角度来测试传感器参数.实验结果如表1所示.

表1 灵敏度轴和旋转极性的角度对应传感器参数

由实验结果知，我们以图1所示的x轴坐标系为基准，按顺时针转动，传感器翻转角度与传感器数值正负相反，以转动180°为界，传感器数值变为正值.例如实际传感器转动了0°～180°的时候，传感器数值为0°～-180°的弧度值；传感器转动180°～360°，传感器数值为180°～360°的弧度值.我们以图2所示的y轴为基准，按顺时针转动，传感器翻转角度与传感器数值对应，传感器翻转角度超过180°后，数值从-180°开始直到0°.

由以上分析可知，姿态传感器能精确地反应真实世界的姿态,而且传感器翻转角度与现实角度的对应关系比较简单.传感器转动角度从使用场景与现实生活经验可知，车转动不会超过±90°，即转动有效角度为0°～ 90°，270°～ 360°，从实验结果来看传感器参数就是0°～±90°的弧度值.故真实转动角度与转动传感器参数转化也比较简单.

4.2 感兴趣区域压缩视频实验

为验证本方法可以用于改进无人车图像传输，本实验利用车上拍摄的多种分辨率的多个视频，进行本方法的压缩与原始H.264压缩的压缩信噪比进行比较，同时分别对感兴趣区域与非感兴趣区域进行两种压缩方法的压缩信噪比对比.本实验将对车的俯仰与偏转进行了单独测试与综合测试，首先考虑俯仰的情况，如图6(a)，在固定角度的坡上使无人车从下到上和从上到下运动，以模拟无人车俯仰的情况；然后考虑翻转的情况，如图6(b)，在同一个坡上以侧方向角度开动无人车，以模拟车翻转的情况；最后考虑车同时翻转与俯仰，如图6(c)，在同一个坡上以斜上角度开动无人车以模拟车同时翻转与俯仰的情况.本实验对上面的几种情况进行测试，如图6所示，无人车以三种的箭头所示方向前进为实验设计的6种情况.本实验把摄像头采集原始yuv2视频数据保存下来，将视频数据进行H.264压缩和按感兴趣区域压缩，并进行客观视频尺寸，质量对比.

图6 模拟无人车翻转俯仰实验示意Fig.6 Simulated unmanned vehicle rollover and pitch experiment

图7 libx264为原始H.264压缩方法，mask为本文使用方法的对应掩膜，ours为本文使用压缩算法

图像掩膜为用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程.本实验主要用图像掩膜来提取感兴趣区,根据传感器参数计算的感兴趣区掩模与待处理图像相乘,得到感兴趣区图像,感兴趣区内图像值保持不变,而区外图像值都为0.为了说明本实验的压缩质量，本实验选取了峰值信噪比作为视频质量的量度标准.峰值信噪比[12](Peak Signal-to-Noise Ratio，常缩写为PSNR)是一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值的工程术语.本实验在得到传感器翻转与偏移角度的通过，根据第3节的式(1)～所示的(4)得到的区间，图像在区间内的像素将其赋值为0，否则为255，则得到了该帧感兴趣区域的掩膜图像，通过感兴趣区域的掩膜将未压缩图像、libx264压缩图像与本文算法压缩图像进行分割处理，然后将分割保留部分进行PSNR计算，即为感兴趣区域的PSNR计算方法.

如图7，列举了以上情况的视频的某一帧，并计算了感兴趣区域的PSNR值与掩膜.由图7所示，本文算法将非感兴趣区域的压缩率设置的比较大，从图7可看到，非感兴趣区域比较模糊，但感兴趣区域中与H.264方法压缩的图像基本没有变化.本文这种压缩方法可以保持对感兴趣区域是否有汽车、人等特殊关注物体细节的同时压缩车所传输的视频体积，实时性更佳.

我们将以上情况所作实验进行整合，得到本文算法每帧图像的感兴趣区域的PSNR与libx264所压缩算法的每帧图像的PSNR，绘制为折线图如图8.

图8 6种情况下视频感兴趣区域的PSNR对比,除下坡情况(e)因感兴趣区域太小，非感兴趣区域占图片较大比例，明显比原图PSNR值低外，其余情况均和原始图像感兴趣区域的PSNR没有太大变化

图8中横坐标为视频的帧数，纵坐标为对应的帧的PSNR值和感兴趣区域的PSNR值.因H.264算法压缩视频采用了关键帧(I帧)，向前搜索帧(P帧)，双向搜索帧(B帧)的压缩方法[13]，不同的帧之间的PSNR值会有一定误差．从图8中可以看到，本实验压缩方法感兴趣区域PSNR值和改进前整体趋势符合预期，证明本文所述感兴趣区域压缩方法有效．

我们将以上情况所做的实验进行整合，得到结果如表2.

由以上实验数据得出，对于天空这种图片信息不丰富的地方，压缩比例提高对视频压缩大小有显著提升，而对于视频的感兴趣区域的平均PSNR值变化不是很大.我们可以得出结论：对于景区而言，对无人车所拍摄车载图像来说，视频上部分，压缩比增大，虽对观看视频有一定影响，但是对机器对感兴趣区域特殊物体识别几乎没有影响，同时对视频传输的网络资源更加友好.

表2 俯仰倾斜视频压缩实验，∂为俯仰角，φ为翻转角，表中PSNR为感兴趣区域与的PSNR

5 结 论

综上所述，针对无人车在园区行驶这种情况，利用姿态传感器提出一种计算感兴趣区域的模型，并利用该模型进行了视频分区编码压缩，从而明显地减少了视频的大小，同时PSNR值并没有有较大的损失，肉眼观察非感兴趣区域与感兴趣区域的清晰度并没有明显变化，满足园区无人车图传的要求.尽管如此，本文设计的无人车图传系统仍有不足的地方：(1) 当小车的运动速度过快，路面稍有不平，传感器的采集到的数值会出现一个抖动现象，本文所提算法没有对抖动现象有一个有效的处理；(2) 当路面颠簸程度较大，小车速度过快，会导致图传的实时性降低，本文所提方法不能很好解决这个问题.