基于机器视觉与物联网云平台的无人扫路车路径规划系统设计

2021-02-18周汉杰

中国工程机械学报 2021年6期

仝光，李解，徐飞，周汉杰

（1.上海电机学院机械学院，上海 201306；2.上海海关机电产品检测中心，上海 200120）

环卫行业越来越重要，现有环卫专用车不能适应城市建设要求。近年来，随着我国城市建设进程不断加快，城市生活垃圾以及道路机械化作业面积逐渐扩大，给环卫车辆驾驶员带来了更重的工作负担。作为特定环境下的低速扫路车，国内部分学者已经进行了无人驾驶技术的研究［1-4］，大多聚焦于基于数字地图的路径导航，这种导航方法导航精准度高，但对系统的处理能力要求较严格且成本偏高。本文针对扫路车的特定运行环境，提出了基于机器视觉与云端服务相结合的路径导航方法。

1 机器视觉系统设计

1.1 图像处理

图像处理作为机器视觉的关键，借助微处理器对图像进行分析。本试验中的图像处理包括图像灰度化、图像去噪、图像边缘提取和导航线提取［5］。

1.1.1 图像灰度化

一般彩色图像又称RGB 图像，每一个像素点都由R（RED）、G（GREEN）、B（BLUE）3 个通道组成。在RGB 模型中，如果R、G、B 3 个通道值相等，则为单通道的灰度图像。灰度化之后的图像处理运算量明显小于RGB 图像。考虑到路径规划对实时性的要求，需要对RGB 图像进行灰度化处理，提高运算速度减少处理时间［6］。

目前，有常用的3 种灰度处理的办法。第1 种为平均值法［7］：

第2种为最大值法，取R、G、B颜色通道的像素最大值作为灰度值：

第3 种为加权平均法。根据人眼敏感度，将3个分量进行加权。经过研究最符合人类视觉的R、G、B分量的系数分别为0.299、0.587、0.114［8］。图像灰度值的公式为

车道线灰度化结果如图1所示。

图1 车道线灰度化处理Fig.1 Graying processing results of lane lines

1.1.2 图像去噪

图像噪声是指存在于图像数据中干扰信息［9］，一般滤波消除噪声的方法有均值滤波和中值滤波［10］。均值滤波就是将临近的若干个像素点的值加起来取均值，赋给中心像素点的滤波方法，公式如下：

中值滤波就是对指定的一个像素点周围的像素点进行排序，将中值赋给中间的像素点［11］，其公式如下：

滤波处理效果也与模板有很大关系，为了验证两个算法的有效性，对灰度图像采用5×5 和 9×9 的模板分别进行均值滤波和中值滤波，结果如图2所示。

图2 灰度图均值滤波和中值滤波处理结果Fig.2 Processing results of mean filtering and median filtering of grayscale images

从结果可以看出：均值滤波后的图像不清楚，车道线边缘变模糊，噪声也没有完全去除；中值滤波既抑制了噪声，又保留了图片的道路边缘的细节。因此，选取中值滤波作为导航线图像滤波的处理算法。

1.1.3 图像的边缘提取

边缘就是像素值发生跃迁的地方，如图3所示。

图3 图像像素点分布函数Fig.3 Image pixel distribution function

在图3的标记处f（t）变化较大，即像素值发生跃迁的地方。对f（t）求导数，导数图像如图4所示。

从图4 中可以看出，在导函数取最大值时，灰度值变化最明显。所以对于图像来说，可以用微分表示图像灰度的变化率基本定义如下：

图4 图像像素点分布函数导数图像Fig.4 Image pixel distribution function derivative image

图像是一个离散的二维函数，η不能无限小。图像是按照像素离散，最小η就是1像素。因此，上面的图像微分又变成了如下的形式（η=1）：

式（7）是图像在（x，y）点处x方向的梯度，式（8）是图像在（x，y）点处y方向的梯度，图像的梯度相当于2 个相邻像素之间的差值。Sobel 算子是边缘检测中最重要的算子之一［13］。如果以I代表原始图像，Gx、Gy分别代表水平梯度和垂直梯度：

图像每一个像素总梯度为

设置一组高低阈值来输出二值图像，T1、T2为阈值，凡是高于T2的都保留，凡是小于T1都丢弃，从高于T2的像素出发，凡是大于T1而且相互连接的都保留。最终得到一个输出二值图像，如图5所示。

图5 边缘提取后的图像Fig.5 Image after edge extraction

1.1.4 导航线提取

提取车道线的中点，将提取出来的中点连接起来形成小车前进的导航线。然后测量出车道线实际的中心位置，计算提取出的导航线M与实际的中心位置的偏移量Δ：

采用两个直流电机控制扫路车的行进，采用差速转向的控制原理控制小车的转向。给两个电机不同的脉冲宽度调制（Pulse Width Malulation，PWM）占空比来控制它们的转速，Δ值主要用来确定给的PMW占空比大小。

1.2 二维码地标的生成与识别

二维码在一维码的基础上加上了另一维的码，用黑白矩形表示二进制数据［14］。二维码有纠错码，在二维码破损一定程度的情况下也能读出其内容。无人扫路车的工作环境大多是在户外，传统地标易磨损，采用二维码地标可以在一定程度上减少地标受损带来的意外情况。

1.2.1 二维码的制作原理

制作一个二维码首先要进行数据分析，确定编码的字符类型，选择纠错等级，进行数据编码。根据模式指示表，如表1所示将数据字符转换为位流。

表1 二维码数据编码模式指示表Tab.1 QR code data encoding mode indication table

二维码容错主要由纠错编码来实现，将码字序列分块，并根据纠错等级和分块的码字，产生纠错码字［15］。将每一个纠错码放到序列码的后面以用来纠错。如：D1，D12，D23，D35，D2，D13，D24，D36，…，E24，E46，E68，…［16］最后一步就是构造矩阵。一个普通二维码的基本结构如图6所示。

图6 二维码基本结构Fig.6 QR code basic structure diagram

把上面的完整序列填充到相应规格的二维码矩阵的区域中，最后形成的二维码，如图7所示。

图7 填充信息之后的二维码Fig.7 The QR code after filling in the information

为了可靠性，使用掩码图形让矩阵中的黑白色块比例接近1∶1 分布，最后将生成格式和版本信息放入相应区域内。数据位前2 位是纠错等级，纠错等级表如表2所示。

表2 纠错等级表Tab.2 Error correction scale

第3 到第5 位是掩码标识，然后根据纠错算法算出10位纠错码，加在5位数据位后面。

1.2.2 二维码的解码原理

二维码的解码其实就是二维码编码的逆向过程：第1步定位图形，根据黑白色块转成0、1组成的数组，确定一个阈值，用该值将图像转化为一系列深色和浅色像素；第2 步识别格式和版本信息；第3步去掉掩码；第4 步恢复数据码字和纠错码字，使用纠错码字进行错误检查并纠错；最后解码数据码［17］。流程图如图8所示。

图8 二维码解码流程图Fig.8 Two-dimensional code decoding flow chart

1.3 机器视觉系统实验结果

摄像头识别到直线时，扫路车沿直线行驶。当识别到导航线偏右时，右电机转速降低，左电机转速增加，扫路车右转。当识别到导航线偏左时，左电机转速降低，右电机转速增加，扫路车左转。当摄像头检测到不同的二维码地标时，扫路车分别执行前进后退、左拐和右拐。

2 数据上传至物联网云平台

在5G 时代，物联网领域将会得到极大的促进和发展［18］。在这样的背景下，提出在二维码中写入车辆的位置信息，在摄像头读取到二维码信息的时候，不仅能实现转向还可以将读取到的位置信息发送至物联网云平台，以便我们远程监测无人扫路车是否正常工作。

2.1 物联网平台的概念

物联网使物与物之间能够进行信息交换和通信。要想实现万物互联，物联网云平台就是关键［19］。一般情况下，一个物体无法和非同一个局域网下的其他硬件设备直接点对点通信，这种情况下就需要一个云平台作为“中转站”来实现两个或者多个远程的设备相连接。

2.2 数据上传

要将识别的扫路车位置信息上传至物联网云平台，首先要在物联网平台创建产品，在每个产品下可添加多个设备，每个设备有独立的三元组信息，如表3所示。

表3 产品的三元组信息表Tab.3 Triple information table for the product

通过程序编写对服务器进行配置，并通过协议将无人扫路车和云连接起来。为了以后程序可以移植到多辆扫路车上，本文最终将程序封装成一个动态链接库。程序采用C#语言来编写，连接协议采用http协议。物联网平台的配置主要包括：配置三元组信息，配置服务器，设置订阅和发布的Topic，对指定格式的数据进行编码，最后物联网平台才能接收到信息。

物联网平台中，服务端和设备端通过Topic 来实现消息通信，如图9 所示，Topic 就是无人扫路车信息传输的关键。