“云端+深度学习”模式下的多传感器协同控制车灯系统

邹睿婕 王宪彬 赵宏达 常皓宇 焦 健

（东北林业大学，黑龙江 哈尔滨 150040）

0 引言

据公安部统计数据显示，有40%以上的交通事故是由驾驶人滥用远光灯引起的。当夜间行驶时，由于驾驶人不能及时切换汽车远近光灯，在视觉上使对向驾驶人瞬间致盲，周围行人的观察能力下降，从而引发交通事故，且当夜间行车时，后车往往难以判断前车的行车意图，也易引发交通事故。随着技术的发展，为减少夜间车辆事故的发生，融合LED 光源的汽车前照灯开始朝着智能化、多样化的方向发展，自适应前照灯系统（Adaptive Front-lighting System，AFS）和自适应远光系统（Adaptive Driving Beam，ADB）先后被提出，但这2 种系统结构较为复杂，设计难度大且制备成本高，市场占比少，无法真正改善大多数车辆的前照灯眩目问题[1]。该文旨在设计一种基于“互联网+”、图像识别、深度学习和多传感器协同的智慧车灯系统，并且使其具备“云端+线下”的双重工作模式。该智慧车灯系统利用树莓派和JETSON TX2 NX 开发板，从多维度出发，通过多模型、多算法在全过程实现车灯远近光灯的实时自动切换，同时结合百度AI 平台与特定传感器提高车灯自动切换的准确性以及装置的简易性，最大程度地保障车辆夜间行驶的安全。

1 智慧车灯系统设计

1.1 智慧车灯系统工作原理

智慧车灯系统以“云端+深度学习”相结合的方式采集道路车辆数目、车辆距离以及道路情况，并对采集到的信息进行处理，根据车灯的实时状态判断车灯是否需要进行切换。该系统的工作原理为信息采集模块采集道路车辆信息，从而将信息传递给信息处理模块，信息处理模块对车灯进行控制，同时在车内OLED 显示屏上显示车灯当前状态并进行语音播报，以提示驾驶人，驾驶人可根据需要选择是否转换为自动调节模式。智慧车灯系统的工作原理图如图1 所示。

1.1.1 云端控制模式

智慧车灯系统的控制模式包括云端控制模式和离线控制模式，离线控制模式主要基于“深度学习”技术来实现。

云端控制模式利用树莓派进行控制，主要包括车辆识别部分、车灯控制部分和数据传输部分3 个部分，其整体工作流程如图2 所示。

在车辆识别部分，首先，百度AI 借助车辆识别应用服务的权限认证，使树莓派与百度AI 服务器之间可以顺利通信。其次，利用cv2 库中的函数截取摄像头捕获的图片，将图片保存在文件夹中并上传百度AI 进行识别处理。最后，接收百度AI 返回的数据，并从中提取图片中车辆的数目以及与本车辆距离最近的车辆在图片中的位置信息。

在车灯控制部分，要获取前方车辆的数目。当车辆数目大于或等于3 时，表明此时车辆较多，来回调节远近光灯可能会对其他驾驶员产生影响，因此应将车灯亮度值调至近光灯亮度值，并保持不变；当车辆数目小于3 时，在符合使用远光灯的道路条件下，将车灯亮度值调至远光灯亮度值，但当两车会车时，考虑在远近光灯进行切换的过程中，车灯亮度的突变会造成对向车辆驾驶员的不适，因此，在该部分应根据本车与会车车辆的距离调节灯光亮度。车灯控制部分流程图如图3所示，即将车灯亮度值渐变为近光灯亮度值。数据传输部分主要是将此时的亮度值传输给STM32 开发板。直接调节的亮度值可直接传输，渐变的亮度值则随距离变化不断传输。

图3 车灯控制部分流程图

1.1.2 离线控制模式

智慧车灯系统离线控制模式主要基于识别的路况进行车灯变换并对驾驶人进行提示，也可以根据驾驶人需要进行手动调节。

路况识别部分采用光敏电阻模块、摄像头、超声波模块、加速度计和陀螺仪检测路况。第一步，检测系统是否使用自动调节功能，当通过按键切换为自动调节时，灯光亮度的判断须根据各个传感器。第二步，采用光敏电阻模块识别环境亮度，当环境亮度较亮时，关闭车灯；当环境亮度适中时，开启近光灯；当环境亮度较暗时，先开启近光灯，然后进一步确认灯光。第三步，当光线较暗时，通过摄像头（车辆识别部分）识别前方是否有车辆，有车辆可选择直接变换为近光灯或渐变为近光灯，无车辆时须进一步判断车灯状态。第四步，如果前方无车辆，可通过超声波模块检测前方是否有障碍物，前方有障碍物可切换为近光灯，前方无障碍物就须进一步确定灯光。第五步，如果前方无障碍物，那么可利用加速度计和陀螺仪来判断是否有坡道，有坡道须开启信号灯（远近光灯交替变化），无坡道且前方道路平坦须切换为远光灯。当切换手动或自动控制灯光和车灯自动变换时，该系统都会有语音提示。

车辆识别部分在双目相机采集图像信息的同时进行测距。由三角形相似定律可知双目相机的测距方法，双目相机成像原理如图4 所示。

图4 双目相机成像原理

由上述内容可得到公式（1）。

式中：x、y和z为物体的坐标值；xr、yr、xl和yl分别为P 的成像点在左右相机像素点的对应位置；f为相机焦距；b为左右相机基线。

由公式（1）可得到公式（2）。

式中：d为视差，即同一个空间点在两个相机成像中对应的x坐标的差值。

通过相机焦距f可以得到空间点p离相机的距离；通过编码成灰度图可反映距离镜头的远近，离镜头越近，灰度越亮。

由图5 可知，如果两个相机已经校正完成，即达到极线平行，两条光轴方向也平行，那么视差和物体深度的关系式如公式（3）所示。

图5 双目相机测距原理

式中：b为双目相机基线；XR、XT为P1、P2两个成像点在左右两个像面上距离图像左边缘的距离；Z为物体P在空间中的Z轴坐标；f为焦距。

由此可推导出公式（4）。

获得视差d的值就可求待测物体P的深度信息Z[2]。

信息处理模块是以Yolov5 目标检测算法处理检测前方车辆，将RGB 图与深度图进行匹配，对满足阈值条件的目标进行测距与坐标计算的[3]，具体流程如图6 所示。双目相机在获取图像后进行预处理，之后采用已训练好的数据集对车辆进行识别并进行测距。

图6 算法流程

在计算得到目标车辆的位置信息后，车灯控制模比对接收的信息，判断目前距离是否满足灯光切换要求。如果条件满足，就传递信号至电路控制处切换电路，调节远近光灯；如果未达到理想车距，就保持车灯原状态不变。基于“深度学习”这一技术对车灯进行的离线控制模式流程图如图7 所示。双目相机持续获得图像，并判断前方是否有车辆，如果检测到前方有车辆，就开始测距，同时传递位置信息至处理器，进而对远近光灯进行控制。除此之外，双目相机获得的图像还可检测前方是否有行人并根据检测结果进行语音提示。

图7 车灯控制流程图

2 智慧车灯系统内容

智慧车灯总体系统可分为环境感知系统、数据处理系统、决策系统、车灯控制系统和人机交互系统5 个子系统。该系统利用STM32、树莓派和JETSON TX2 NX 开发板实现对车灯远近光灯在线、离线2 种模式进行控制，这2 种模式的结合可以提高车灯切换的准确度与可靠度。智慧车灯系统5 个子系统的具体内容如下。

2.1 环境感知系统

光敏电阻模块、摄像头、超声波传感器、加速度计和陀螺仪多种传感器相结合可以判断复杂路况；同时，基于双目相机的立体视觉既拥有单目视觉识别优势，又具有激光雷达的点云测距优点，因此在该部分可以使用双目相机检测前方车辆和测量距离，并将采集到的图片信息传递至信息处理模块。

2.2 数据处理系统

在线控制部分将图片信息上传至百度AI 平台进行处理，提取车辆数量信息并且判断、框选距离本车最近的车辆；离线控制部分通过Yolov5 目标检测算法对目标车辆进行测距和坐标计算[4]。

2.3 决策系统

决策系统是智慧车灯系统的核心系统之一，可以对数据进行处理判断，对车灯的变化情况进行决策。该部分使用STM32 开发板，判断决策数据处理系统传递的信息并综合在线控制模式和离线控制模式的信息，最终选择最佳方式对车灯进行调节。

2.4 车灯控制系统

车灯控制系统主要接收决策系统传输的数据，环境光强检测模块采用由光敏电阻构成的环境光强检测电路。当光敏电阻检测到光线的变化时，可以使切换电路，开启车辆前照灯，同时启动车灯自动控制模块，根据决策系统传递的车灯控制信号对远近光灯进行自动切换，在特殊道路条件下，驾驶人可根据自身情况选择开启或关闭车灯自动控制功能[5]。

2.5 人机交互系统

人机交互系统可以及时将此时车灯的灯光状态或建议的灯光状态反馈给驾驶人；驾驶人也可以使用按键随时开启或关闭灯光自动控制功能。人机交互系统分为语音提示模块、液晶显示模块和主动按键自由控制模块。

语音提示模块提示驾驶人当前是否启用自动调节功能、当前的路况和此时的车灯状态。例如当摄像头检测到有对向来车时，语音提示模块进行提示“前方有车辆，渐变至近光灯”。

液晶显示模块提醒驾驶人当前的车灯状态和一些环境参数，同时显示当前的车灯控制状态为自动控制或手动控制。

在主动按键自由控制模块中，系统默认开启自动调节灯光功能，由一号按键（开启远光灯）、二号按键（开启近光灯）和三号按键（开启自动调节灯光功能或关闭该功能）3 个按键构成，可供驾驶人自主选择。

智慧车灯系统总体设计如图8 所示。

图8 智慧车灯系统总体设计

3 智慧车灯系统设计路线

该文设计积极响应我国“交通强国”的战略需要，从智能化、数字化和信息化方面开展创新性设计研究，结合互联网、深度学习等技术完善现有的车灯系统，建立智慧车灯系统，助力智慧交通的发展。其中，信息采集模块是车灯远近光灯得以自动切换的基础，需要摄像头和双目相机采集前方道路信息，以传递正确的指令；信息处理模块，即决策系统，是智慧车灯系统的核心系统之一，该系统在结合百度AI 平台检测前方道路情况的过程中，需要及时获取返回的信息并进行计算，最终实现对车灯的控制。人机交互系统中设置按键以及显示屏，用户可以通过按键选择车灯的控制方式，通过显示屏得知车灯状态与控制方式，实现人机的交互。除此之外，该系统还使用JETSON TX2 NX 开发板建立模型辅助控制车灯，实现云端控制和离线控制的结合，以提高车灯切换的准确性。

4 结语

智慧车灯系统的设计可以实现车灯远近光灯的渐变切换，不仅可以避免车辆夜间行驶会车时出现的眩光问题，还可以缓解直接切换远近光灯时灯光亮度突然变化而使司机致盲的问题，极大程度上提高了车辆夜间行驶的安全性；车灯也可根据路况信息进行灯光实时调节，驾驶人不用频繁操作灯光变换，避免了驾驶人的注意力分散。同时，在线和离线两种控制模式的结合提高了车灯切换的准确性和可靠性并且驾驶人可自行选择控制模式，有利于人机交互。该设计不仅积极响应我国“交通强国”的战略需要，还能有效推进车辆本质安全化的实现，可以在一定程度上避免灯光资源的浪费，有利于节能减排。