基于5G通信和图像增强算法的交通监控系统设计

陈凌波，朱树先*，祝勇俊，吴鹏飞

(1.苏州科技大学电子与信息工程学院，苏州 215009；2.苏州振畅科技有限公司，苏州 215000)

现代交通迅速发展，同时也带来了提高交通效率，保障交通安全，加强交通管理等诸多问题。因此寻找有效的方法对交通道路实施高效准确的监控具有重要意义。采用更先进的通信技术和图像处理技术，就能够实现对交通流量的合理管控，预防交通事故发生[1]。

目前中国道路监控系统在信息传输方面，大部分采用的是有线传输的方式，有线传输虽然带宽大，但是布线和后期维护成本高。王轲等[2]采用无线通信的方式传输视频信息。但是由于带宽限制无法满足实时传输的条件，将降低对路况信息判断的准确性。随着5G技术的应用，无线通信的速率和稳定性都得到极大的提高[3]。同时，恶劣的天气条件影响交通监控图像的清晰度也会降低路况信息判断的准确性。王卫星等[4]提出了结合改进Retinex和分阶微分的雾霾公路交通图像增强，利用快速引导滤波来估计初始照射分量，采用初始分阶微分掩膜对反射分量进行增强。董炜等[5]提出了基于改进Retinex的城市交通图像增强算法，利用引导滤波求取输入图像的光照分量，对反射分量进行分数阶积分掩膜，将处理后的反射分量与照射分量相乘,得到最终的增强图像。以上算法均对雾天交通监控图像有良好的增强效果,但是在户外交通环境复杂，除雾霾外，光线不足也会对交通监控图像识别造成很大的影响。虽然红外相机以被广泛应用于监控领域[6]，但是红外相机的使用是有条件限制的，只有当物体温度高于环境温度，红外相机才能拍摄到物体。而传统的视频增强技术，例如直方图均衡化在视频序列的实时处理中效果并理想。

针对以上问题，提出一种交通监控系统，利用5G无线通信传输视频信息，并在服务器端采用改进单尺度Retinex算法获得去雾后的图像，通过反转图像利用大气散射模型对低照度图像的亮度进行增强，最后将去雾后的图像与亮度增强后的图像进行加权融合，降低雾霾和低照度对系统成像的影响，提高识别算法的准确性。

1 系统整体方案

本系统是由电荷耦合器件图像传感器(charge coupled device, CCD)、5G无线通信模块、服务器和客户端组成。

利用CCD采集交通视频信息，5G通信模块将采集到的视频信息传输到服务控制中心，在服务器端先对视频图像进行预处理，对雾天图像和低照度图像进行去雾和提升亮度的操作，提高对比度和清晰度并进行存储。接着采用交通事件识别算法对交通事件进行识别，最后将识别的信息发送到客户端进行预警。系统整体结构如图1所示。

图1 系统整体框图

2 终端系统设计

2.1 基于5G无线通信的无线传输

对于交通监控系统而言，信息的收集和分析是十分重要的。信息数据的收集效率越高，管理人员对各种交通事件做出反应的时间就越短。因此本系统采用5G无线通信的方式传输视频信息。实时高清视频流的传输需要带宽达到一定的大小并且能够保持稳定，带宽的波动会影响视频传输的稳定性。分别测试D1、720P和1 080P 3种格式的每秒15帧的视频流所占带宽大小，如表1所示。

表1 不同格式图像所占带宽

1 080P格式的视频的分辨率最高，因此视频监控图像的细节信息也最丰富，相应的1080P格式的视频所占带宽也最大。目前，中国4G网络理论下行速率是100 Mbps,上行速率是50 Mbps。而5G网络下行速率可达到1.4 Gbps，上行速率可达到284 Mbps[6]。在实际使用过程中单个设备能达到理论值的1/4，因此使用5G无线通信，能使1 080P的监控视频到达实时传输的要求。

2.2 终端硬件选型与设计

终端硬件主要包括CCD传感器、RK3399处理器和MH5000通信模组3个部分。

(1)CCD传感器：采用MV-EM510M/C型号的CCD相机。最高分辨率为2 456×2 058，最高帧率为15 fps。

(2)MH5000通信模组：MH5000是华为首款单芯多模5G工业模组，支持5G SA/NSA双模，上行速率可达230 Mbps，下行速率可达2 Gbps。

(3)RK3399处理器：RK3399具有强大的视像处理器，双图像信号处理(image signal processing, ISP)具有800 MPix/s的像素处理能力，支持双摄像头的同时数据输入和高级处理，能够流畅的实现H.264编解码的功能，能够同时进行两路视频编码和五路视频解码。并且拥有丰富的外围接口，支持RJ45千兆网口和USB3.0 Type-C双端口，为数据的高效传输提供了硬件基础。

CCD传感器通过网线与RK3399主板相连。在终端系统工作时，RK3399对CCD传感器采集的原始图像进行编码，将实时视频流通过USB3.0接口传输至MH5000无线通信模组，同时在存储设备内进行存储。终端硬件结构如图2所示。

图2 终端硬件结构图

2.2.1 千兆网口设计

本系统中用于连接CCD传感器的千兆网口设计采用了RTL8153-VB-CG低功耗USB 3.0-to-Gigabit Ethernet控制芯片，将RK3399的一个USB3.0接口转换为千兆网口。原理图如图3所示。

U5为RTL8153芯片；U5的第17和第18引脚为USB信号输入端，分别连接USB2_DM和USB2_DP两根数据线；U5的第1、2、4、5、6、7、9和10引脚为输出端，分别连接LAN1网口的R1～R4和R7～R10引脚

2.2.2 5G通信模组设计

5G模组包含4个天线接口(ANT0、ANT1、ANT2、ANT3)、一个USB3.0接口和高速串行计算机扩展总线(peripheral component interconnect express, PCIE)接口。5G模组硬件框架如图4所示。

ANT0为主天线；ANT1为辅助天线；ANT2和ANT3为MIMO天线

MH5000状态控制电路如图5所示，可以看出，本系统中MH5000状态控制可分为手动模式和自动模式。手动模式可通过按下按键PWRON，来拉低MH5000对应引脚的电位。自动模式下通过STM32输出一个控制信号，使得MOS管Q1导通，拉低MH5000对应引脚的电位，实现控制MH5000模组工作状态的功能。

R21、R24、R25、R27和R29为电阻；C36为电容；D49为二极管;GND为接地点；Q1为MOS场效应晶体管；VCC_EXT为电源电压

3 系统算法设计

本系统利用改进Retinex算法对监控图像进行预处理。降低雾霾和低照度对系统成像的影响，之后利用背景差分法提取道路的背景图像，对车流量进行检测，完成交通拥堵和违章停车事件识别。

3.1 图像预处理算法设计

本系统采用改进Retinex算法对交通监控图像进行增强。Retinex算法以颜色恒常性为基础。不同于传统的直方图均衡化这类的线性图像增强算法，Retinex算法可以在动态范围压缩、边缘增强和颜色恒常性3个方面达到很好的平衡[7-10]，因此该算法能够针对不同类型的图像进行增强，而交通监控图像会受到雾霾光照等诸多因素影响，导致图像质量下降。因此Retinex算法适合对交通监控图像进行增强，其表达式为

I(x,y)=L(x,y)×R(x,y)

(1)

式(1)中：I(x,y)为传感器接收到的图像；L(x,y)为入射光的光照分量；R(x,y)为物体固有性质的反射分量，是图片中体现细节信息的高频部分，需要从I(x,y)中获取R(x,y)。

为简化计算，通过最大值滤波求取光照分量，其计算公式为

(2)

式(2)中：R、G、B为3种颜色通道；LC(x,y)为C通道内的光照分量；IC(x,y)为原图像的C通道分量，反射分量可表示为

(3)

式(3)中：Q(x,y)为幺矩阵。

为防止增强后的R1(x,y)过饱和，因此引入一个常量ε。

针对交通监控图像中的低照度图像，本系统引入反转图像[11]对其进行增强。对原图像取反转图像1-I(x,y)。

利用大气散射模型对反转图像进行增强，可表示为

Q(x,y)-I(x,y)=[Q(x,y)-R2(x,y)]T(x,y)+

α[Q(x,y)-T(x,y)]

(4)

式(4)中：T(x,y)为透射率；α为大气光值。

本系统利用四叉树算法估计大气光值，将最小通道图像分为四等分，分别计算平均值，取平均值最大的继续进行四叉树分割，反复迭代，直至图像大小小于设定的阈值，本系统中图像大小阈值设定为20×20，取块内像素值最大的像素为大气光值。式(4)中，可利用暗通道先验理论[12]求取透射率T(x,y)，其计算公式为

(5)

将式(5)代入式(4)可得

(1-α)Q(x,y)

(6)

最后，对式(3)和式(6)进行加权融合，可得

R(x,y)=aR1(x,y)+bR2(x,y)

(7)

式(7)中：R(x,y)为经过预处理后的输入图像；权重a和权重b，满足a+b=1。

3.2 交通事件识别算法设计

本系统所能识别的交通事件分为交通拥堵事件和违章停车事件，先将输入的彩色图像转换为灰度图像，然后取前20帧的图像作为背景图像，将输入图像与背景图像做差分操作，获得差分图像，可表示为

E(x,y)=|R(x,y)-J(x,y)|

(8)

式(8)中：J(x,y)为背景帧；E(x,y)为差分图像。

3.2.1 交通拥堵事件识别算法

首先将差分图像转换为二值图像，可表示为

(9)

式(9)中：λ为设定的阈值，本系统中为70；W(x,y)为二值图像，由于实时采集的视频中一些微小的细节变化导致二值化图像出现噪声，因此本系统采用中值滤波去除干扰。接着采用图像膨胀和腐蚀使运动图像连续完整。

利用获得的二值图像判断交通是否拥堵，判断依据为：被标记区域的面积占图像总面积的占空比。

3.2.2 违章停车事件识别算法

当车辆经过检测区域时，在该区域的像素值会发生突变，当车辆驶离该区域时，该点的像素值又恢复之前的状态，但如果车辆停留在该区域，则该区域内在连续时间内像素值不再波动，而是维持在一个新的像素值，并且该像素值与原像素值不同。如图6所示。首先设定阈值，判断是否有车辆进入检测区域，表达式为

图6 不同状态下的检测区域像素灰度值

E(x,y,t)>λQ(x,y)

(10)

式(10)中：E(x，y，t)为t时刻的差分图像。

当t时刻的差分图像的像素值大于设定的阈值，则认为有车辆进入了检测范围内。并再连续的一段时间内持续检测差分图像的变化幅值，表达式为

U(x,y,t+1)=|E(x,y,t+1)-E(x,y,t)|

(11)

式(11)中：U(x,y,t+1)为差分图像变化的幅值。

当一段时间内的U(x,y,t+1)<ω(ω为稳定度，本系统为20)，则认为是达到稳定状态。达到稳定状态之后，重新计算当前输入图像与原背景图的差分图像，计算公式为

E1(x,y,t+k)=|R(x,y,t+k)-J(x,y,t)|

(12)

式(12)中：E1(x,y,t+k)为当前输入图像与原背景图的差分图像，当E1(x,y,t+k)>70时，则认为出现违章停车事件；R(x，y，t+k)为当前输入图像；J(x，y，t)为原背景图像。

4 系统仿真与测试

基于以上设计与分析，对系统功能进行测试，测试主要分为硬件测试与图像算法仿真。

4.1 硬件测试

终端硬件实物图如图7所示。将摄像头通过网线与主板上的千兆网口相连，通过5G模组将经过编码的1 080P的视频流上传至服务器。测试证明，本系统在面对1 080×1 920的高分辨率视频流，依然能保持视频的流畅和稳定。

图7 终端硬件实物

为了验证本系统的千兆网口的稳定性是否满足长时间运行的要求，对系统进行了Iperf测试，具体测试结果如图8所示。

由图8可得，本系统千兆网口的带宽最低达到143 Mbps，最高达到306 Mbps，丢包率最高为1.1%，完全满足1 080P格式视频流的传输要求。5组主板经过24 h测试，未出现断线情况，运行稳定。

图8 Iperf测试

4.2 图像预处理与识别算法仿真

本系统在对车辆进行识别前对图像进行预处理操作，降低雾霾和低照度图像对车辆识别的影响。分别针对雾霾和低照度情况下的交通监控视频进行测试仿真。采用北京某路段的真实监控录像进行测试。测试视频为1 920×1 080分辨率。

4.2.1 雾霾条件下的交通监控识别仿真

对雾霾天气条件下的监控视频进行测试，分别对没有进行预处理和进行了预处理的图像提取二值图像，最后进行对比，如图9所示，其中图9(a)和图9(c)为视频中的同一帧图像，图9(a)为未经过预处理的图像，图9(c)为经过预处理的图像，图9(b)和图9(d)为图9(a)和图9(c)对应的二值图像。

图9 雾天车流量检测

由图9可得，未经预处理的雾天监控图像，只能识别图像左下角的车流，右边车道的车流无法识别。经预处理后的图像，能够识别到右边浓雾下的车流，同时左侧车道远处的车流识别也更加准确。通过式(10)计算可得图9(b)中占空比为3.89%，图9(d)中占空比为11.29%，经预处理后的图像更能准确地反映车流量的大小。视频中部分区域像素灰度值变化如图10所示。

由图10可得，经预处理的视频，在车辆经过检测区域的时候，像素灰度值波动幅度较大，而未经预处理的视频，在这段时间内像素灰度值变化不明显，使检测算法造成误判。

图10 雾天监控视频像素灰度值

4.2.2 低照度条件下的交通监控识别仿真

对低照度条件下交通监控视频进行测试，同上文雾天监控视频测试类似，分别将未经过本文算法预处理的监控视频和经过本文算法预处理的监控视频提取二值图像进行对比，结果如图11所示。

图11 低照度下车流量检车

可以看出，未经预处理的监控图像，在右侧的车辆轮廓较为模糊，提取的二值图像也只能显示车辆灯光的变化。经过预处理的图像右侧车辆轮廓较为清晰，提取的二值图像也能更准确的反映车辆运动变化。其像素灰度值变化如图12所示。

由图12可知，未经预处理的图像整体像素灰度值偏低，并且当有车辆经过时灰度值变化幅度偏小，不利于识别算法的检测。经过预处理的图像整体灰度值更高，并且当有车辆经过时，灰度值变化明显，识别算法检测准确率更高。

图12 夜间监控视频像素灰度值

5 结论

针对现有交通监控系统面临的传输效率低，易受环境影响造成监控图像关键信息丢失，降低识别算法准确率等问题，设计了一款基于5G通信和图像增强算法的交通监控系统。利用5G无线通信传输1 080P的交通监控视频，采用改进的Retinex算法对交通监控视频进行预处理，利用背景差分法对车流量进行检测，判断是否出现交通拥堵和违章停车。实验结果证明，本系统数据传输实时性，稳定性良好，同时在面对雾霾和低照度的复杂场景下，都能准确检测车流。