基于机器视觉技术的车主交互位置推介系统研究及应用

邹江华 刘杰丰 姜德宏 武英杰

（1.招商华软信息有限公司 广东省广州市 510640 2.招商局公路网络科技控股股份有限公司 北京市 100071）

1 背景

目前，全国各省高速公路仍主要采用ETC和MTC这两种收费方式，当中ETC在撤站过程中已得到长足发展，而MTC在智能化水平上仍相较落后。随着高速公路智慧收费的快速发展，具备“无人化、非现金、快速通行”的自助收费车道备受业主和车主青睐。但是目前所建的大部分自助收费车道，基本可划分为两大类：客车专道和全车型车道。前者只服务于客车交易，一般应用在如机场高速等特殊路段；后者则可支持全车型，但是目前在机器上基本都需要设置两个工位，但是这些工位只能固定设置，导致存在相同车型车主由于工位交互位置不佳且无法调适而需要车主解下安全带或开车门后进行操作，既影响现场过车速度，也造成不好的服务体验。为提高自助车道的应用优势，提升过车速度，减少现场人员干预，加强车主交互体验，有必要通过更强的自适应控制能力来提高车主交互位置的准确捕抓和推荐。随着AI智能图像识别技术的快速发展，基于机器视觉技术来辨识和提取物体的特征提取已有众多成功案例。本文提出的基于机器视觉技术的车主交互位置推介系统，可实现对车道通行车辆的车窗高度等特征信息的精准识别，助力高速公路无人化、少人化智能收费场景打造。

2 现状分析

车主交互位置准确辨识和推荐是高速自助设备提升车主交互友好性的重要手段之一，即是利用相关技术实现对通行车辆及车主交互位置特征的精确提取和准确识别，从而给出较佳的车主交互位置控制参数，支撑自助发卡缴费设备以此参数来控制相应的交互面板位移。目前，主要采用两种路线予以实现，包括有：通过车型预判高度和通过激光检测高度。前者是利用车型识别器识别车型后，通过模型训练预判车辆高度；后者则是连续拍摄车辆图像，并将车辆图像的信息数据拼接出带尺寸标注的整车图像，再通过高度测量雷达检测车辆高度。但是无论是车型预判，还是雷达检测都主要侧重于整车身高度，而车身高度又并不完全契合车主最佳交互位置。由此可见，现有技术未能很好满足车主交互位置的友好性需要，致使大多数情况，还是需要收费员介入协助车主进行收、取卡。

机器视觉则是通过工业相机代替人眼去摄取目标图像，再将目标图像传输至图像处理器进行处理，由其根据成像设备采集的像素分布、亮度等信息通过形形色色的算法提取出目标特征。它是将计算机和图像处理技术结合起来的一门科学，由于计算机本身具有高速计算能力，也造就当下很多机器视觉系统也具有精确性、重复性、效率高、客观性等优点[1]。

同时，机器视觉相较于光学或机器传感而言，在对于客观世界三维景物和物体的形态和运动识别，有更好的可适应性，也具有精度高、效率高、连续性好和灵活性高等性能优势。可见，依托领先的机器视觉技术优势可实现车辆高度特征值提取、特征值辨识等功能，再融合自助发卡缴费设备根据此高度切换收发卡位置将会成为技术发展的新趋势。[2]

3 系统介绍

车主交互位置推介系统与收费车道车辆全车型高精识别软硬一体机可共同集成在同一套设备载体上，主要功能是通过对通行车辆及车主交互位置区域特征的提取和识别，从而给出较佳的车主交互位置控制参数，支撑新一代智高速自助设备可以依据此参数来控制相应的交互面板位移到车主交互更为舒适的位置上。当中，系统内含有面向不同类型车辆的车主交互位置特征提取、计算和判别等多种配套AI智能识别算法，也具备计算结果合适度高、输出迅速等应用优点。

3.1 工作原理

车主交互位置推介系统主要是通过图像抓拍、图像采集、图像处理、交互位置区计算、结果输出这几大步骤来完成整项识别工作（见图1）。车主交互位置推介系统主要是基于AI智能识别算法实现对图像的解析、组拼和提取等处理，并且面向不同车辆的外廓特征、不同车主所处位置特征等进行计算、配对、判断，并最终形成满足最佳车主交互位置参数的精确输出。若图像处理后无法获取到车主交互位置推介或交互位置非最佳位置时，则系统可通过车主交互位置推介分类特征及关系所构建的模型库作为判断依据来辅助车主交互位置的研判和修正，从而实现车主最佳交互位置推介结果的精准输出。

图1：车主交互位置推介流程

3.1.1 图像抓拍

图像抓拍模块主要是指支持通过外接的触发源（如地感线圈、电磁等）进行信号条件触发，启动系统的图像抓拍控制功能，即是实现对相关的图像摄像单元对目标位置物体进行图像抓拍；并且支持多次抓拍处理，即是可对一次物体行为进行多张图像抓拍，以便为后续的图像处理提供充足的数据源。

3.1.2 图像采集

图像采集模块主要是对图像抓拍获得的图像数据进行本地的存储处理，并且为便于后续的处理检索，对这些图片或图片集（如触发多次抓拍动作）均会作出相应的标识，以便系统在执行相关的处理任务时，根据控制指令迅速定位系统中存储的待处理对象或对象集，提高整体的处理效率。

图像采集过程因图像噪声导致图片质量不佳时，需要使用滤波器对图片进行过滤。滤波器是将图像信号转换为能量信号，把低能量的噪声信号过滤掉，从而对图像中的噪声进行消除或减弱。[3]

3.1.3 图像处理

图像处理一般分为图像的预处理和特征信息的提取，车主交互位置推介主要使用的是特征信息的提取。图像处理是车主最优交互位置高精识别及自适应控制系统核心功能模块，当中的关键是机器视觉与AI算法的共同应用。机器视觉主要是借助计算机技术模拟人的视觉功能，先是从物理车道上抓拍车辆图像，再而结合相关的特征规则提取目标对象的特征信息，并加以分类；AI算法，则是借助一些智能基础算法（如神经网络、卡尔曼滤波等），围绕计算目标（如车辆外形、车主交互位置等）和条件约束（如光照强度、外界环境的变化、设备本身的精确程度、异常约束等），先是基于训练样本量不断地进行学习、训练，形成合适本场景应用的算法模型，再而协同机器视觉和其他处理手段达成最终识别目标结果。

在图像处理过程中，除了需要充分考虑处理的有效性、准确性之外。考虑到现场处理的实时性要求，还要充分研究当中的处理速度，希望最终结果能迅速得到收敛。对此，在研究中除了通过一些计算机手段的配备外（如合适算了的CPU，甚至GPU设备配置），还会对模型进行充分训练和调优。

（1）图像解析。图像解析主要是对目标图像进行解析和结构化处理，当中包含有一系列的预处理过程，如实现对一些噪声数据的识别和处理，包括：抛弃和补充；又如，支持对图图组拼中一些边缘、重叠区识别和处理。

（2）图像拼接。图像拼接主要是针对图像解析的结果，考虑到某些场景需要通过连续多帧图像来组拼构成另外一副图像的需要，如车身组拼等，支持同一物体、不同图像，通过衔接、去重等操作，将时间和空间元素关联得出目标图像。无疑组拼技术是图像处理中的一项难点，其需要对抓拍图像频率、组拼时点设置和组拼边界处理等有较高的要求，需要多次的训练方能达成，若有不足，会对组拼图像的质量有较大的影响。

（3）图像提取。主要是根据给定的特征对象，基于解析的图像、组拼的图像进行全图、局部的特征检索，并且对检索到的特征区再而进行特征的提取处理，并通过数字化的方式记录这些特征提取结果。相较于车型识别方面的应用，本系统算法中的特征不仅涉及车，还涉及一些物体和人像。

3.1.4 交互位置区计算

交互位置区计算是根据车辆上，车主可能选择的最佳交互位置区特征评价体系，结合上述的图像处理结果，针对用于研判车主多会选择的最佳交互位置区域特征进行搜索，如车门、车窗、车主人像等；再而，进行综合的分析、研判，锁定车主交互位置的最佳区域（如高度等），并通过数据的方式借助结果输出模块进行输出处理。另外，考虑到本结果会作为新一代自助发卡缴费设备的面板位置依据，对此，系统还会根据给定的控制逻辑对处理过程中的异常进行调适，确保不影响后续的自助发卡缴费设备控制作业。

车主交互位置自适应控制系统识别特征示意图如图2所示，收费车型及高度对应关系表如表1所示。

图2：车主交互位置自适应控制系统识别特征示意图

表1：收费车型及高度对应关系表

3.1.5 结果输出

结果输出模块主要是基于交互位置区的计算结果，按照给定的接口规范要求提供给自助发卡缴费设备系统，以便自助发卡缴费系统可以以此作为控制自助发卡缴费设备面板高度、伸缩距离的重要依据。

3.2 关键技术应用

3.2.1 基于机器视觉及智能算法的车主交互位置推介模型

采用机器视觉技术，结合不同收费车型车辆的分类特征，如对车辆、车主的图像、轮廓等综合特征进行识别，构建起对应的车主最佳交互位置推介模型库；再而，在实际应用中通过车辆图像解析和特征提取，再而套用识别模型来准确区分相同车型不同的交互位置。通过给出车主交互位置，控制升降高度自适应到车主车窗高度，并控制伸缩面板伸缩至车主方便操作位置，使得操作更具人性化，加快车主的适应能力，并降低车主的学习成本。预期，通过这样技术的应用，无论对于原双工位发卡缴费设备，还是对于支持工位升降调适的设备都有非常重要的作用。如前者，对于原有的因无法准确获知车主交互位置导致无法自动发卡，只能通过人工按键发卡的车辆，调整成根据车主交互位置自动匹配发卡工位进行发卡操作，减少入口发卡过车交易耗时，提升过车速度；后者则支持根据车主距离设备位置空在伸出面板位置外，还支持根据车主交互位置在高度移动（支持4个高度），方便车主进行取卡操作。在减少过车耗时的同时，提升了车主交互友好性。

3.2.2 基于判别失效的应急或辅助模型

识别提取车辆车牌、车型以及车辆特征信息等信息，并在规则推理和信息融合的基础上建立一套应急机制或辅助出发机制，在判别失效异常，如实现在“无值”等异常计算输出时仍可给出一个保守的交互位置建议数据，以便自助发卡缴费设备仍能正常操控运作。

3.2.3 基于自学习的修正识别模型算法

考虑到高速公路自助设备交易时入口可获取自动发卡位置及车主最终取走卡片位置，入口模式下自动发卡位置和车主最终取走卡片位置一致时，则车主交互位置是准确的。为此基于这些结果的应用，对于错误研判的车主最佳交互位置推介结果可以反馈到自学习算法中，重新对模型进行训练和自完善，从而提高模型的适用性。

4 应用介绍

4.1 设备安装

由于车主交互位置推介系统与收费车道车辆全车型高精识别软硬一体机共同集成在同一套设备载体上，为此，虽然支持“软硬一体化”应用，但是本质上会在“硬”体上支持复用，以提升系统实施的经济性。

基于机器视觉技术的车主交互位置推介系统设备主要安装在收费站车道岛面，对进入车道的车辆进行车主交互位置推介计算，将计算出的车主交互位置推介传给自助发卡缴费设备软件。一般在车道安装的布局如图3。

图3：车主交互位置推介设备布局图

为了更优的识别效果，车主交互位置设备安装位置建议如下：

（1）车主交互位置设备优先装在右边岛面，需要保持与收费亭（或自助发卡/缴费设备）同侧，设备离岛边缘750mm～800mm；若装在左边岛面或对侧，设备离岛边缘500mm；

（2）为覆盖所有长度车辆，车主交互位置设备需离收费亭（自助发卡/缴费设备）距离大于等于22m以上。一条物理车道多个收费亭（入口自助发卡/出口自助缴费设备）时，则以最后一个收费亭（入口自助发卡/出口自助缴费）设备为准。

（3）车主交互位置设备对齐线圈3后边缘

（4）车主交互位置设备正前方，岛边缘左右水平更方向与设备区域无遮挡，要求水平方向100度以内无遮挡，左右方向100度以内无遮挡

（5）车主交互位置设备必须要安装在岛外地面上。

4.2 系统功能

（1）以视频流方式触发进入高速入口车道及高速出口车道的车辆图像识别抓拍，采集车辆车头、车辆侧面、车辆尾部以及车窗等车辆图片信息，输出车辆图像信息。

（2）信息辨识及特征提取抓拍采集的车辆图像信息，并结合特征识别模型、车辆多类特征约束规则模型等综合研判，输出车主交互位置推介数据集，包括车牌号码、车窗高度、车辆类别等信息。

（3）将车主交互位置推介结果传输给自助发卡缴费系统或其他系统进行调取使用。

4.3 应用实例

车主交互位置推介系统硬件支持复用基于机器视觉技术的收费车型自动识别设备，故车主交互位置推介系统可在已安装收费车型自动识别设备的现场快速部署上线。由于基于机器视觉技术的收费车型自动识别已在全国十余个省份路段应用，故自2022年3月份以来，基于机器视觉技术的车主交互位置推介系统应用路段已有十几个。现场应用实例如图4所示。

图4：车主交互位置推介系统安装布设实景图

新自助设备安装在广东收费站，故选取广东收费站系统运行数据作分析。再另选湖南收费站的一代自助设备作为分析对比，自动发卡时，智能按键位置和取卡位置一致时则车主交互位置准确，两个收费站点的车主交互位置准确率均值都在99.6%以上。如表2所示。

表2：站点运行情况

5 未来展望

车主交互位置推介系统基于机器视觉、智能基础算法、神经网络分析技术等技术，实现了车主交互位置高精准识别，提升了高速收费领域车主交互友好性，为实现少人化、无人化自助收费场景打造打下了了坚实的基础。且随着机器视觉特征提取优化提升、深度自学习模型算法改进，将实现更精准、更全面的交互信息的识别。为先行后付、数字人民币高速运用等其他高速通行模式提供有效保障，对提高车主高速通行满意度、推动高速实现智慧收费建设具有重大意义。