山地果园链索运送装备运动传感系统设计

李 君，薛坤鹏，杨 洲，许坚聪，张倩倩

(华南农业大学 a.工程学院；b.南方农业机械与装备关键技术教育部重点实验室，广州 510642)



山地果园链索运送装备运动传感系统设计

李 君a,b，薛坤鹏a,b，杨 洲a,b，许坚聪a，张倩倩a,b

(华南农业大学 a.工程学院；b.南方农业机械与装备关键技术教育部重点实验室，广州 510642)

为获取山地果园链索运送装备工作过程中的牵引链索运动状态，采用混合滤波算法设计了一种基于图像实时采集技术的运动传感系统。利用两组高速工业相机对轴向运动的牵引链索进行捕捉，通过Cortex-A9控制板融合混合滤波算法与自适应阈值二值化对图像进行处理，实时识别牵引链索的空间位置变化。试验结果表明：所设计的运动传感系统可以快速准确获取链索运行状态，图像采集与处理的运算速度能够满足链索实时控制的要求。本研究为链索类运送装备的运动采集与数据处理提供了参考。

山地果园；运动链索；图像采集；混合滤波算法；自适应阈值二值化

0 引言

链索运送装备在复杂地形条件下铺设灵活，能够满足山地丘陵果园货物运输的需求，得到广泛应用[1-4]。但牵引链索在轴向行进过程中处于非稳态，会不可避免地产生横向周期性激振，进而可能造成果品和农资脱钩、系统部件机械损伤和撞击加剧等现象[5-6]。为了对链索纵横向振动进行特性研究和控制，利用传感技术实时获取链索的振动状态具有重要的意义。Moon和Wickert[7]用激光干涉测量手段研究了传动带的偏心振动。李滨城[8]等利用OptoNCTD2000型激光测振仪分析了机床带传动装置的横向振动特性及影响因素。时彧等[9]用激光位移传感器研究了稀土永磁体辅助金属带的非线性受迫振动。随着计算机和图像处理技术的发展，机器视觉技术的研究和应用已扩展到农业工程领域，发达国家在农业生产自动化方面已经使用机器视觉技术来实现对作业对象的识别和管理[10]，国内一些科研院所基于机器视觉开始在农产品分级、农业机器人动作规划、植物生长参数检测和播种机排种性能测试等方面展开了研究[11]。虽然果园货运链索与传动带都具有类似柔性行进弦线的结构特征，但链索结构特征及激励条件与传送带不同，链节的空心环状结构及宽跨度链索的大振幅都会使链索脱离点状激光测振仪的探测范围，相比较而言图像采集技术更适合用于链索的运动特性捕捉。本文利用工业相机对山地果园链索运送装备的牵引链索进行定点拍摄，通过Cortex-A9的单片机控制板对拍摄的图像进行处理，获取链索的空间位置，进而得到运动链索的运动参数信息，以期为货运链索的振动特性分析及运行控制提供一种可靠的数据采集方法。

1 传感系统设计

果园链索运送装备运动传感系统由两个高速工业相机和Cortex-A9的单片机控制板组成，如图1所示。系统选用大影数字工业相机Z30A，数据采集速度为150帧/s，图像分辨率为640×480像素。工业相机采集的图像通过USB接口输入到iTOP-4412开发板(北京迅为电子有限公司)的Cortex-A9图像处理器中，处理器核心单元为嵌入式四核处理器Exynos4412(三星公司)。

图像处理环境为基于Cortex-A9微处理器硬件平台上搭建的嵌入式系统，先构建产生目标代码的arm-linux-gcc交叉编译环境，再移植合适的Bootloader以及Linux内核，建立根文件系统Rootfs。高速工业相机的驱动程序需根据大影数字工业相机Z30A对现有的LinuxUVC进行改编并加载到Linux内核里。当需要驱动工业相机时，上层图像处理应用程序通过V4L2图像采集接口函数来调用驱动程序来获取工业相机状态信息、设置工业相机参数并进行图像采集。

货运链索轴向行进过程中，两个工业相机分别将链索水平和竖直方向上的振动图像通过USB发送给基于Cortex-A9的图像处理器；图像处理器分别对两个工业相机的图像进行处理，获取链索的像素偏移量并进行对比计算，从而获取链索的实时位置信息，存储下来或者发送出去以供使用。

图1 运动传感系统Fig.1 Motion sensing system

2 图像处理算法

图像处理上层应用程序需对工业相机采集到的每一帧彩色图像转化为灰度图像，然后进行混合滤波计算和自适应阈值二值化处理，最后在二值化处理后的黑白图像中识别到链索并进行位置计算。具体过程如图2所示。

图2 图像处理流程Fig.2 Flow chart of image processing

由于中值滤波可以消除图像中的奇点，而自适应阈值二值化处理需要对图像进行均值滤波，因此本文提出将中值和均值进行混合的滤波算法。

若待处理灰度图像的宽、高分别为W和H，Pi,j表示位于图像第i行第j列的像素点，滤波核的行宽、列高分别为M、N，则Pm,n点的滤波核Km,n如图3所示。

W、H.图像的宽和高 Pi,j.图像第i行第j列的像素点M、N.滤波核的行宽和列高 Pm,n位于滤波核中心图3 Pm,n点滤波核Km,n示意图Fig.3 Filtering kernel Km,n at Pm,n point

传统算法里，中值滤波需对滤波核中所有像素点的灰度值进行相互比较和排序，然后取中间值作为该像素点的灰度值，单个像素点的计算复杂度为O((M×N)×(M×N-1)/2)。均值滤波要求滤波核中所有像素点灰度值的算术平均值作为该点的灰度值，单个像素点的计算复杂度为O(M×N)，所以传统算法的效率会随着滤波核尺寸的增加而降低。

为提高运算效率，本文设计的中值-均值混合滤波算法采用核分解方法，把滤波核分解成长度为N的列向量，如图4所示。

图4 列向量示意图Fig.4 The column vector scheme

进行中值滤波时，先对每个列向量中像素点的灰度值进行大小排序，把每列的中值和排列顺序分别存储到长度为W的缓存数组Buff_a和N×W的二维缓存数组Buff_b中，然后再对该点滤波核每列所对应Buff_a中的灰度值进行大小排序并存储到长度为M的缓存数组Buff_c中，且取中值作为该像素点的灰度值；对下一个相邻的像素点进行滤波时，根据滤波核沿行滑动时与相邻核之间的递归关系，只需对新加的列向量的中值进行排序存储并更新Buff_c即可得到相应滤波值；下一相邻行的滤波运算利用滤波核换行时邻行缓存数组间的递归关系，剔除Buff_b中不属于新行像素滤波核的元素，只对新加入的元素进行排序计算，重复上述运算即可得到该相邻行的滤波值。

当均值滤波计算时，对Buff_b对应像素点的灰度值进行求和并存储到长度为W的缓存数组Buff_d中，然后再对该滤波核对应Buff_d中灰度值进行求和后再除以滤波核的尺寸即可得出该点的滤波值，见式(1)；对下一个相邻的像素点进行滤波时，根据滤波核沿行滑动时与相邻核之间的递归关系，设计出滤波核对应均值的递归公式(2)，再利用滤波核换行时邻行缓存数组间的递归关系，设计出缓存数组更新递归公式(3)，从而完成均值滤波过程。

(1)

Buff_d(n+1+a)

(2)

Buff_d′(j)=Buff_d(j)-Sgi-b,j+Sgi+1+b,j

(3)

其中，m,i=0,1,…,H-1；n,j=0,1,…,W-1；Dagm,n为Pm,n的滤波值；Sgi,j为Pi,j点的灰度值；Buff_d(j)为第j个列向量中所有像素点灰度值之和；Buff_d’(j)为计算下一行滤波值时更新后的Buff_d(j)；a=(M-1)/2；b=(N-1)/2。

中值-均值混合滤波算法的数组更新示意图和算法流程如图5所示。

图5 混合滤波算法Fig.5 Hybrid filtering algorithm

整个图像中值滤波算法的计算复杂度C1为

N×(N-1)/2×W+(N-1)×W×(H-1)

=(M+N-2)×W×H+(M-2)×

(M-1)/2×H+(N-2)×(N-1)/2×W

≈(M+N-2)×W×H

(4)

由式(4)可知：中值滤波算法对单个像素点的计算复杂度为O(M+N-2)。

整个图像均值滤波的计算复杂度C2为

C2=(W-1)×H×2+H×N+W×N+

W×2×(H-1)≈W×H×4

(5)

因此，中值滤波算法对单个像素点的计算复杂度为O(4)。

单一滤波算法和混合滤波算法的复杂度进行比较，如表1所示。

表1 不同滤波算法复杂度对比表

与单一滤波算法相比，混合滤波算法大大减少了计算步骤，算法效率得到提高，运算速度加快，且其效率不随滤波核尺寸的增加而变化。中值计算时，选取每一列中值再进行排序得到的滤波值不一定是所有滤波核中像素灰度值的中值，选取的滤波值会存在一定的概率，则

(6)

其中，Φ(x)为偏差值为x时的概率值。当滤波核的宽M和高N无穷大时，a×b会趋于无穷，Φ(x)会成为正态分布函数。

若M、N均为5，可选取的中值范围和概率如图6所示。由图6可知：本文提出的中值滤波算法得到的值为所有滤波核像素灰度中间一定范围内的值，且越靠近准确中值被筛选到的概率越大，达到了消除奇点的目的。

图6 中值滤波算法结果概率分布Fig.6 Probability distribution of median filtering algorithm

二值化处理是将灰度图像每个像素点的灰度值设置为0或255，即将整个图像呈现出明显的黑白效果。因环境影响，链索在图像的不同区域亮度不同，从而会有不同的二值化阈值，如图7所示。

图7 图像灰度受光照影响Fig.7 Effect of light on image gray level

若整个图像用单一的阈值进行二值化处理，容易导致链索特征信息缺失，如图8所示。

图8 单一阈值处理的二值化效果Fig.8 Image binarization with single threshold

因此，本文采用根据局部亮度来划分阈值的自适应阈值二值化算法。为了提高运算速度，减少比较运算，图像二值化运用了查表法，步骤如下：

1)根据估计的初始阈值制作阈值查表list[]；

2)将灰度图像的灰度值与均值滤波后的灰度值作差，并加上255，作为阈值表的查表序号；

3)把查表结果赋值给二值化图像。

灰度图像进行自适应阈值二值化后，图像中灰度值大于滤波值的像素点视为局部前景，灰度值小于滤波值的像素点视为局部背景，从而将图中不同亮度的索链与背景分离出来。

由于链索为长条形状，均值滤波过程中滤波核的宽M和高N会对链索的处理效果产生影响。若滤波核的宽与链索的长度方向平行，当M×N分别为11×3和3×11时，未经过中值处理的灰度图像进行自适应阈值二值化效果如图9所示；经过中值处理的灰度图像在M×N=3×11时，处理效果如图10所示。

图9 均值滤波的图像自适应阈值二值化处理结果Fig.9 Results of image binarization with mean filtering using

different filter kernels

图10 混合滤波后的图像自适应阈值二值化处理结果Fig.10 Image binarization with hybrid filtering

对比图9(a)、(b)可知：当滤波核尺寸较长方向的与链索长度方向垂直时，均值滤波后图像二值化的效果比较好。对比图9和图10可知：中值滤波可以消除链索边缘的毛刺。

混合滤波与自适应阈值二值化算法配合使用消除了光照对链索局部亮度的影响以及链索边缘的毛刺，使图像的二值化达到了理想的效果。

3 链索空间位置计算

图像坐标系统中图像的左上角为坐标原点，横坐标从左到右递增，纵坐标从上到下递增。

图像中的链索横向放置，设置若干纵向的采样线，对每条采样线从两端向中间逐个判断像素的灰度值是否为黑，分别取上下两边第1个识别到的黑色像素坐标值作为此采样线处链索的边缘位置，再对这两个边缘的坐标值取平均，得到此采样线位置链索中点的坐标值。若遇到链索的挂钩或者挂载的货物时，该采样线上下边缘坐标值之差会比较大。对于垂直方向的图像，需要通过计算该图像其他采样线处链索的宽度像素值，将此采样线位置上边缘的坐标值加上链索宽度像素的1/2即可估算出链索中点的坐标值；对于水平方向的图像，需要判断货物两端位置处链索的中点位置，对其求平均来估算该采样线位置链索中点的坐标，处理方法如图11所示。

分别对两个工业相机拍摄的图像处理得到链索在水平和竖直方向上的位置，由于两个工业相机垂直放置，建立描述链索位置的坐标系如图12所示。图12中，高速工业相机1、2分别位于图中y轴和x轴。

图11 挂载货物处理方法Fig.11 Position recognition of chain with cargo

图12 链索空间位置参考坐标系Fig.12 Refference coordinate system for chain spatial position

由图12可得

(7)

其中，n1、n2分别为链索在x轴和y轴方向上的图像位置；k为工业相机的比例系数，若工业相机与拍摄目标之间的实际距离为l，k表示一个像素点对应实际长度与l的比值，其值可通过标定得出。

求解d1和d2，即链索在水平方向和竖直方向的实际位置。

4 运动传感系统试验

为检验所设计运动传感系统的使用效果，选择搭建在华南农业大学工程学院的链索货运样机系统作为试验对象。结合果园货运生产实际，设置空载、负载及周期性外界激励等3种试验工况，运动传感系统采集处理得到的链索横向位移如图13所示。

图13 运动传感系统试验结果Fig.13 Experimental results of motion sensing system

试验结果表明：果园运送装备链索运动传感系统能够准确采集不同工况下链索空间位置的实时数据，采集处理速度能满足行进链索的振动特性分析及运行控制的运算需求。

5 结论

1)设计了一种基于Cortex-A9嵌入式处理器的山地果园链索运送装备运动传感系统，该系统能够准确采集不同工况下链索空间位置的实时数据，可以满足行进链索的振动特性分析及运行控制的运算需求，且体积相对较小，便于携带和安装。

2)当滤波核尺寸较长方向的与链索长度方向垂直时，均值滤波后图像二值化效果比较好，中值滤波可以消除链索边缘的毛刺。根据行进链索的条状图像特征，本文提出了一种中值-均值的混合滤波算法。混合滤波算法与自适应阈值二值化方法对亮度不同的链索图像二值化的处理效果与滤波核的选取有关；与单一滤波算法相比，混合滤波算法在运行的效率和速度上具有明显优势。

[1] 洪添胜，苏建，朱余清，等.山地橘园链式循环货运索道设计[J].农业机械学报，2011，42(6)：108-111.

[2] 文韬，洪添胜，朱余清，等.山地果园索道张紧调节自动控制装置的设计[J].农业工程学报，2011，27(6)：128-131.

[3] 文韬，洪添胜，苏建，等.山地果园链式循环货运索道张紧力检测装置[J].农业机械学报，2011，42(8)：80-84.

[4] 李震，卢加纳，洪添胜，等.山地果园钢丝绳牵引货运机超声波避障系统[J].农业机械学报，2011，42(10)：116-120.

[5] 刘学涛. 轴向行进索的振动和稳定性分析[D].大连:大连理工大学，2006.

[6] 李君，李雪平，杨洲，等.果园链索系统横向运动共振条件及频率分析(英文)[J].农业工程学报，2014，30(23)：50-57.

[7] J. Moon, JA Wiekert. Non-linear vibration of Power transmission belts[J].Jounral of Sound and Vibration,1997, 200(4): 419-431.

[8] 李滨城，Hrisch，Andreas，等. 机床带传动装置的横向振动及其影响因素[J]华东船舶工业学院学报：自然科学版，2004，18(6)：66-70.

[9] 时彧. 稀土永磁体辅助金属带传动的非线性动力学研究[D].长沙:中南大学，2010.

[10] 刁智华，王会丹，魏伟.机器视觉在农业生产中的应用研究[J].农机化研究，2014， 36(3)：206-211.

[11] 李晓斌，郭玉明.机器视觉高精度测量技术在农业工程中的应用[J].农机化研究，2012，34(5)：7-11.Abstract ID:1003-188X(2017)06-0079-EA

Motion Sensing System of Chain Equipment for Hilly Orchard

Li Juna,b, Xue Kunpenga,b, Yang Zhoua,b, Xu Jianconga, Zhang Qianqiana,b

(a.College of Engineering, South China Agricultural University; b.Key Laboratory of Key Technology on Agricultural Machine and Equipment, Ministry of Education, South China Agricultural University, Guangzhou 510642, China)

To obtain the motion features of axial moving chain for hilly orchard, a motion sensing system based on the real-time image acquisition technology was developed. Two high speed industrial cameras were used for the image capture of moving chain. The Cotex-A9 control board was implemented to process the captured images using a hybrid filtering method and adaptive threshold binarization. The real-time spatial position of moving chain can be recognized and calculated. The experimental results showed that the proposed image acquisition system can quickly and accurately obtain the motion features of moving chain. The processing speed of image acquisition system can meet the requirements of real-time control for moving chain. This study provides a reference for the data acquisition and processing of orchard ropeway and chain system.

hilly orchard; moving chain; image acquisition; hybrid filtering; adaptive threshold

2016-05-09

国家自然科学基金项目(51205139)；农业部农业科研创新团队项目(农办人[2015]62号)

李 君(1978-)，男，湖南永州人，教授，博士，(E-mail)autojunli@scau.edu.cn。

杨 洲(1972-)，男，山西襄汾人，教授，博士，(E-mail)yangzhou@scau.edu.cn。

TP391.41 S229+. 1

A

1003-188X(2017)06-0079-06