激光探测与测量视觉技术在堆取料机全自动控制中的应用

2020-06-23王旭修蔡有高时培领

水运工程 2020年6期

王旭修，蔡有高，时培领，陈煌，李祥，刘明

(华能(福建)海港有限公司，福建福州 350602)

堆取料机作为一种连续高效的散料输送设备广泛应用在涉及大宗散货储运的各行业中,在散货集疏运中发挥了重要作用。如何有效地降低人工成本、提高生产效率，是所有大型散货料场亟需解决的问题[1-2]。

近年来，随着传感器、视觉、图像技术的飞速发展，利用工业相机、激光扫描仪、摄像机等视觉传感器设备进行数据采集，实现目标定位、识别、三维重建来指导执行机构完成自动化作业的技术越来越成熟，通过对散货料场进行三维重建可以完成斗轮堆取料机无人化控制和料场的可视化管理[3]。我国基于Lidar(激光雷达)的视觉技术在堆取料机应用较晚，相关技术与发达国家还有一定的差距。依托福州华能罗源湾港区将军帽作业区一期工程堆取料机无人化操作自动控制系统，针对现代斗轮机的作业要求和特点，研发了一套基于Lidar机器视觉的散货料场堆取料机全自动控制系统。现场测试证明，系统具有环境自动感知、控制策略自动生成、安全可靠性高的特点，未来具有广泛的应用前景。

1 系统设计及原理

堆取料机实现全自动控制的一个重要前提是感知作业周边环境和作业对象形状，并根据作业料堆形状进行相关的作业规划和策略生成，最终控制设备按照预定规划路径进行作业。在作业过程中如果对象和环境发生实时变化，则进行动态自动调整。

为实现上述功能，系统配备了高性能的工业计算机作为核心计算单元，用来接收处理激光扫描仪的实时扫描数据、GPS系统的实时定位数据，并在线将实时扫描数据和定位数据进行拟合，实时料堆建模，生成作业指令，通过堆取料机的机载可编程控制器(PLC)下发各传动执行机构，指导堆取料机完成自动作业，系统架构见图1。

图1 系统架构

2 自动作业系统关键技术

2.1 坐标系建立及标定

激光扫描仪安装在堆取料机上，作业过程中激光扫描仪本身进行扫描运动，同时堆取料机进行臂架俯仰、臂架回转、整机走行运动。因此在将激光扫描仪扫描数据转换至料场静止坐标系下进行建模时，首先须根据堆取料机的运动特性建立相应子坐标系，包括成像设备(激光扫描仪)坐标系CLA、俯仰机构坐标系CLU、回转机构坐标系CSL和走行(轨道)坐标系CTR(因堆取料机的走行为在固定轨道上的一维运动，且轨道是静止的，因此也称全局静止坐标系)，各坐标系的建立见图2。同时，设矩阵R1、R2、R3分别对应CLA到CLU、CLU到CSL、CSL到CTR的坐标系变换关系[4-5]。因此扫描数据转换到全局坐标系进行堆形建模必须通过标定方法来确定R1、R2、R3这3个矩阵参数。

图2 各坐标系的建立

设备在运动过程中的俯仰、回转和走行姿态数据利用RTK-GPS计算后得出，输出俯仰角度(°)、回转角度(°)、走行距离(m)共3种姿态数据值。

采用标定球进行R1、R2和R3矩阵参数标定的方法，主要流程如下：

1)建立全料场全局坐标系，并在全料场确定3个及以上不共线的目标点(本文布置4个标定球)，测量标定球球心在全局坐标系下的值。

2)在堆取料机处于不同回转角度、俯仰角度下，采用激光扫描仪扫描目标物轮廓获得点云数据，提取球体表面的点云数据，根据式(1)对球体表面数据采用最小二乘法进行求解。

(x-a)2+(y-b)2+(z-c)2=r2

(1)

式(1)可以写成式(2)中的x、y、z，为采集的球体表面坐标值，a、b、c、r为待求的球心坐标和半径。

(2)

X=(A-1A)-1AB

(3)

在全料场点云数据中提取球体表面特征点，根据提取的特征点求解出35组不同位姿下的球心坐标中，表1中给出了部分数据。

表1 部分球心坐标计算

3)采用Rodrigues形式将R表示为R(k,θ),k1为回转轴、k2为俯仰轴、k3为扫描仪与大机安装位置的固定关系，θ为不同位姿下回转或俯仰轴所对应的角度值,μi,j为第i个位姿下第j个球的在扫描仪坐标系下的坐标值，t为与k对应的平移量，Gcj为第j个球在料场坐标系下的坐标值，矩阵M为扫描仪坐标系转俯仰坐标系、俯仰坐标系转回转坐标系的一个综合表达式，全局标定归结为如式(4)所示的优化问题，采用列文伯格-马夸尔特(LM)算法进行优化。

(4)

F(k1,k2,k3,t1,t2,t3)=

(5)

采集35组不同位姿的扫描仪数据进行分析，目标球的全局坐标见表2。

表2 标定球全局坐标值

根据采集的数据计算出不同位置下的球心在扫描仪坐标系下的值，采用LM算法进行参数优化，解算结果为：

k1=[-0.024 132 235 657 823 0，-0.008 487 429 298 749 68，-1.003 458 402 126 93]，

k2=[-0.006 986 397 116 652 64，1.004 044 115 515 83，-0.006 878 217 490 527 25]，

k3=[0.442 325 868 464 691，0.884 651 736 929 383，0.147 441 956 154 897]，

t1=[89.448 745 222 113 3，600.106 793 609 578，14.585 922 738 912 8]，

t2=[-4.960 648 574 857 26，125.966 577 019 193，-32.508 919 304 048 5]，

t3=[14.404 003 528 372 4，-126.590 439 618 449，-13.593 962 074 243 8]。

根据标定结果对球心进行误差反算，见图3，在100 m处其结果偏差为8 cm，满足精度控制要求。

图3 标准球反算误差

2.2 全料场数据的拼接

三维激光发射方式是沿直线方向的，不能一次将目标扫描重建，在扫描过程中可能需要在几个不同的方向和角度上扫描同一个物体，每个不同的位置其局部坐标系都不一样，将多个坐标系下的料场数据还原到同一坐标系中，完成全料场点云数据的拼接，实现料场的可视化控制与管理。

想要求出两组点云的变换关系，必须要找到两站点云中3对或3对以上的特征点，在三维点云拼接算法中，最经典的算法是ICP(iterative closest point)算法[6-7]，该算法是由Besl P.和McKay N.提出，ICP算法原理是利用最小二乘来实现最优变换，本文采用基于奇异值分解(SVD)迭代点云配准算法对两组点云的变换关系进行优化求解。

将两组点云P和Q中的点之间的关系描述为：

q′i=Mp′i+T+Ni

(6)

式中：pi和qi分别为P、Q中的点；M为两组点云的旋转矩阵；T为平移量；Ni为对应的误差。将匹配问题转换为目标函数求极小值，建立误差函数：

(7)

采用计算3×3的矩阵

(8)

对矩阵H作奇异分解：

H=UΛVT

(9)

计算：

M=VU-1

(10)

T=p-Rq

(11)

重复上述过程进行多次迭代计算，设第m次迭代后的旋转矩阵Mk、平移矩阵为Tk，令pk+1=Mpk+Tk，然后计算下一次的Mk+1和Tk+1。迭代终止的条件为：

(12)

数据拼接效果见图4。

图4 数据拼接效果

2.3 作业路径预测

目前常见的斗轮堆取料机控制系统，大多利用PLC主从站、变频器、继电器、终端显示等，采用总线技术实现联合逻辑控制，并可以完成半自动和手动控制，由于PLC很难实现复杂的智能控制，难以解决无人值守操作，为此本系统采用了基于Lidar的机器视觉技术，依据堆取料机作业工艺特点[8]，提出了一种基于视觉图像处理算法的作业路径规划算法，能够提前对设备的作业路径进行规划，并能利用视觉系统采集的料堆数据进行实时分析，实现路径的实时更新。

路径规划算法流程：1)扫描目标作业区域获取点云数据。2)对非料堆区域数据进行去噪，降低干扰数据对目标区域的影响。3)将料堆的三维点云数据的X、Y、Z值转换为图像中的像素点，X、Y为图像中的位置，Z为图像的灰度。4)为降低小区域凸起和空洞对全局规划造成的影响，采用5×5的卷积核对料堆的图像膨胀腐蚀处理后，再采用Canny算子进行边界识别，求出料堆的边界。5)根据作业模式(堆料或取料)、作业方式(新堆、续堆、覆盖堆、分层分段取、分层整取)、识别出的料堆边界、安息角等参数，计算出每次臂架的回转折返点的控制线，如果在取料路径中发现有空洞会快速跳过该区域，在堆料路径中发现有料会造成碰撞将提前进行避让。图5为续堆和覆盖堆在设备作业前生成的作业路径，图中弧线为轨迹规划结果。