水稻插秧机路径追踪设计——基于SOPC嵌入式视觉导航

谢忠华

(武汉职业技术学院，武汉 430074)



水稻插秧机路径追踪设计
——基于SOPC嵌入式视觉导航

谢忠华

(武汉职业技术学院，武汉 430074)

针对水稻插秧机路径追踪问题，利用SOPC嵌入式和视觉导航技术，以FPGA为硬件核心，利用3×3窗口模块、中值滤波、Sobel边缘检测和Hough变换进行移动路径图像信息处理，并结合齐次变换法将图像位姿信息转换到空间坐标系中，为插秧机进行路径导航。同时，通过人工设置标志线对水稻插秧机进行路径导航和追踪试验，结果表明：该系统在一定干扰环境下，水稻插秧机移动路径最大偏差为18cm，平均偏差为6.9m，基本达到预期目标，实现了路径追踪功能，而且可以根据偏差自动进行调整，具有精准度高、灵活性强等优点，应用前景非常广阔。

水稻插秧机；路径追踪；视觉导航；SOPC嵌入式；Hough变换

0 引言

随着计算机技术、半导体技术、集成电路和微电子技术的快速发展，FPGA在工艺流程和性能方面都获得了非常大的发展。随着百万门级的集成芯片与多功能集成的嵌入式核开发平台不断涌出，企业甚至个人都能够使用SOPC平台进行电子领域中可编程系统的设计。本文以SOPC嵌入式为硬件平台，采用3×3窗口模块、中值滤波、Sobel边缘检测和Hough变换等图像处理算法，对水稻插秧机的运动路径进行优化追踪，并根据相应状况重新调整移动方向。试验测试表明：该插秧机具有较强的路径识别与追踪能力，对水稻插秧机的路径规划研究具有重要的现实意义。

1 SOPC嵌入式平台的整体设计

SOPC是基于FPGA芯片, 采用可编程逻辑将微处理器、存储设备、输入输出I/O口和LDVS等模块集成到一块硅片上，实现整个系统的逻辑功能，来进行嵌入式系统的研究和设计。SOPC作为一个可编程逻辑系统，设计灵活高效，设计人员通过对系统的裁剪、扩充、升级等软硬件编程操作来满足设计需要。SOPC系统架构如图1所示。

在设计过程中，为了尽量简化系统外围设计，提高设计的灵活高效性，降低整个设计的成本，建立了如图2所示的水稻插秧机路径追踪系统硬件平台。

图1 SOPC系统架构图

图2 水稻插秧机路径追踪系统硬件平台

该系统平台采用最新的SOPC技术来实现水稻插秧机路径追踪系统,为视觉导航提供了新的设计方法。其可将视频采集、图像处理、移动路径的检测和识别、远程检测、插秧机的实时控制都集成在一个系统平台上。另外，SOPC嵌入式控制器FPGA芯片工作时钟在百兆以上，实时处理图像的能力非常强大。插秧机的运行速度和方向控制通过由μC/OS-II操作系统来实现，提高了视觉导航的实时性和及时性。

2 视觉导航与移动路径图像处理

2.1 水稻插秧机的视觉导航

基于SOPC嵌入式和视觉导航的路径识别与追踪是水稻插秧机视频导航系统的关键技术。考虑到整个系统的经济性和实时性，为了节省成本，减少开发难度，本文选择单目CCD视觉技术。水稻插秧机视觉导航设计方案如图3所示。

为了确保系统的有效性和精准性，保证研究工作的顺利开展，设计了集静态和实时图像采集于一体的硬件系统。图像采集系统包括CCD摄像机、图像采集卡、嵌入式控制系统和计算机等部件。水稻插秧机视频导航系统的工作流程如图4所示。

图3 水稻插秧机视觉导航结构图

图4 水稻插秧机视频导航系统工作流程

工作时，道路视频图像先由CCD摄像头采集和视频解码器进行解码后，将数字图像传送给图像处理模块；图像处理模块将图像进行中值滤波，然后利用Sobel检测技术获得路径信息，再通过Hough变换对路径信息进行进一步处理，将路径离散值描绘成线；最后，把处理后的路径信息传送给处理器，控制系统通过路径识别算法获取并锁定移动路径和方向，实时控制水稻插秧机沿着路径中心线作业。

2.2 移动路径图像处理

为了确保视频导航系统的精准性，加快路径识别和追踪的实时性，该系统采取中值滤波方法对图像噪声进行处理，结合Sobel算子技术对路径进行边缘检测，并采用Hough变换拟合道路边线。另外，为了使系统可以同时进行中值滤波、Sobel边缘检测和Hough变换，特地引进了3× 3窗口模块，这些模块都采用硬件描述语言集成于FPGA片内。

1)3 × 3窗口模块。3× 3窗口模块主要是在接收一系列的数据后，通过FIFO进行缓存，形成3路可以完全进行独立处理的数据。系统包含7个触发器(D1—D7 )、2个FIFO移位缓存器和1个控制器。该模块的功能使系统可以同时进行中值滤波、Sobel边缘检测和Hough变换，供后续系统的特殊处理。3×3窗口框架如图5所示。

图5 3×3窗口框架图

2)中值滤波。中值滤波是一种能明显降低信号噪声的处理技术，基本原理是将数字图像中一点的对应值用该点的邻域中各点的中值覆盖，使该点周边的像素值更加逼近真实值，进而消除孤立的噪声点。在设计中，为了提高系统整体精准性和实时性，对中值滤波采取一定的改进措施，其进行过程如下：

设系统在某一时刻取出的为3×3窗口模块，如图6(a)所示；采用图像处理算法对全部数据进行排序，获得如图6(b)所示的数据；然后，再次排序后得到如图6(c)所示的数据。

图6 改进中值滤波排序流程图

设采用中值滤波算法进行滤波后的中值为

g(x,y) :g(x,y)

= mid{M3max_min,M2mid_mid,M1min_max}

(1)

则窗口实现了理想的结果，即分别出现3列的最小值M3max_min、中间值M2mid_mid、最大值M1min_max的中间值。

3)Sobel边缘检测。要实现图像处理的边缘检测，首先要进行水平和垂直两个梯度算法的完成，然后结合两者，与门限值进行比较，结合时需要计算出水平和垂直梯度两者的平方和，则

mag(f)=Gx2+Gy2

(2)

水稻插秧机在进行作业时，可能会因为天气情况，或者其他环境因素的影响导致固定阈值下对比度大幅下降。为了解决上述问题，系统在采用Sobel边缘检测时，先进行自适应阈值分割设置，尽量减小某一固定阈值对同一移动路径带来的梯度差异性，进而对后续的路径追踪产生偏差。在Sobel边缘检测中加入自适应动态阈值方法，在开始时先设定一个阀值，再根据检测结果对阀值进行调整，直到检测结果符合设计要求，即结果中有边缘在估计范围内时，就设定新的阈值。

4)Hough变换。在图像处理过程中，进行Hough变换时，量化角度和极径非常重要。在角度量化中，需要采用Hough变换单元完成角度上直线的极径，同时，对角度的量化决定了变化过程中单元和存储器的数量，存储器深度的程度则取决于极径量化个数。在本系统的图像处理算法中，图像分辨率为360×480，角度范围为0°～180°，极径值范围为-180～300。设计中，在控制精度和逻辑单元进行平衡处理后，设定角度精度为10°。Hough变换原理如图7所示。

图7 Hough变换原理框架图

累加控制模块的作用是读取输入值，当该值为1时，计算获得的ρ值与存储单元对应，将ρ值加1后重新存储到RAM中；在开始时对存储单元进行初始化，为变换累加做准备； FIFO控制器作用结束一帧图像处理后，将RAM数据写入至FIFO中，并提示系统已经处理完毕，让Nios II与FIFO进行数据交换。

3 路径追踪导航模型的建立

为了更好地研究水稻插秧机路径追踪系统，建立了路径追踪导航模型。假设机器在在接近路面的地形上行走，则可以认为路面为一平面。以水稻插秧机坐标系体建立空间坐标系，机器重心垂直下方Ow为坐标原点，yw轴垂直路面向上，zw轴为车体前进方向，xw垂直于yw轴和zw轴组成的平面；Oc为摄像机位置点，该点与路面之间的距离为oc，oc=H，zc与地面之间的倾斜角为Φ(Φ>0)，xc与xw方向相同，yc与xc和zc组成的平面垂直，如图8所示。

图8 水稻插秧机路径追踪导航示意图

根据图8以及定义，可以写出插秧机与摄像机之间的齐次变换矩阵为

(3)

直线L是水稻插秧机路径追踪导航模型下的被跟踪路径，即机器跟踪行走路径要路过的CCD摄像机形成的图像，如图9所示。

图9 跟踪导航路径在坐标系中的图像

图9中，直线L在图像平面中可以表示为

(4)

因此，可以得到在像素平面中xy上点的表达式为

(5)

由插秧机与摄像机之间的齐次变换关系及视频图像成像模型可以得到，xcoczc平面与地平面之间交线的为图像中的X轴，则L与X轴之间的交点Dc(xw0,yw0,zw0)为

(6)

假定图像平面中直线L是地面上点Dc直线Lw的投影，则Lw可以表示为

(7)

因此，坐标系中的对应坐标(xc,yc,zc)通过齐次变换能够得出

(8)

根据式(6)～式(8)，结合图像处理算法可得

(9)

4 试验结果与分析

为了验证水稻插秧机路径追踪系统可行性和有效性，对该系统进行实际应用试验，验证对水稻稻田非机构化环境的适应性。试验前对待插秧局部有水的场地进行泡田、平地操作。试验方法是由作业工人将水稻插秧机驾驶至与待插秧苗行平行，开启路径追踪系统。水稻路径追踪轨迹如图10所示。

水稻插秧机开始工作后，在SOPC嵌入式和视觉导航组成的路径追踪系统的控制下沿着水稻秧苗方向前进。在这段路径移动过程中，插秧机先沿着待插秧苗路径前行，在前行至0.6m时开始产生偏离；然后系统进行调整，插秧机慢慢朝着正确路径靠近；在2.4m处与再次偏离水稻秧苗方向，在3.2m时偏离大约为10cm，插秧机再次对移动方向进行调整，在4.8m处再次与水稻秧苗行相交；在5.8m时偏离高达6cm，在6.7m处再次与水稻秧苗行相交。整个插秧过程中，水稻插秧机移动路径最大偏差为18cm，平均偏差为6.9m，基本达到预期目标。同时，系统在移动过程中能够自主根据偏差进行方向调整，精准度高，实用性强。

图10 水稻路径追踪轨迹

5 结论

利用SOPC嵌入式和视觉导航技术，以FPGA为硬件核心，集成图像预处理、路径识别，利用3×3窗口模块、中值滤波、Sobel边缘检测和Hough变换技术进行路径图像处理，结合齐次变换法将图像位姿信息转换到空间坐标系中给插秧机进行路径导航，并对水稻插秧机进行了路径识别和追踪试验。结果表明：该系统在一定干扰环境下，水稻插秧机移动路径最大偏差在可控范围内，基本达到预期目标，实现了路径追踪功能，且系统具有较强的适应性和灵活性。

[1] 张丽新.数字图像高密度脉冲噪声的中值滤波算法研究[D]. 上海：上海交通大学,2009.

[2] 李硕.基于FPGA的SOPC嵌入式系统设计技术的研究与应用[D].北京：北京工业大学,2012.

[3] 李月静.基于视频的实时运动目标检测与跟踪系统研究[D].上海：西华大学,2012.

[4] 唐泽华.基于机器视觉的步行插秧机自主导航关键技术研究[D].杭州：浙江理工大学,2013.

[5] 逯沛龙.基于FPGA的双目视觉图像预处理系统设计与实现[D].南京：南京理工大学,2015.

[6] 李建科,黄席樾,杜长海,等.基于TMS320DM642的嵌入式实时图像处理系统设计及应用[J].自动化与仪器仪表,2009(2):19-22.

[7] 周培园.面向多处理器SoPC的片上网络的设计与实现[D].南京：南京航空航天大学,2012.

[8] 林冠西.基于动态目标检测的移动机器人路径规划研究[D].武汉：武汉科技大学,2014.

[9] 马超.基于FPGA的多通道视频图像采集预处理系统设计[D].长春：中国科学院研究生院(长春光学精密机械与物理研究所),2014.

[10] 黄海波,蒋伟荣,刘勇,等.基于SOPC的智能车辆道路识别与跟踪[J].仪器仪表学报,2012(2):321-326.

[11] 迟德霞.水稻插秧机视觉导航系统设计与路径追踪试验[D].沈阳：沈阳农业大学,2015.

[12] 黄晓峰.基于SOPC的视觉轮式移动机器人的控制系统[D].长沙：中南大学,2009.

[13] 文君.机器人动态路径规划与协作路径规划研究[D].杭州：浙江大学,2010.

[14] 辛江慧.探测车自适应障碍识别与路径规划研究[D].南京：南京航空航天大学,2009.

[15] 龚爱平.基于嵌入式机器视觉的信息采集与处理技术研究[D].杭州：浙江大学,2013.

[16] 王栋.基于RFID的学生家校路径追踪定位系统设计与实现[D].重庆：西南交通大学,2014.

[17] 王杰,周永年,刘金锋.基于sweep法的自动引导车路径追踪调节器设计与仿真[J].安阳工学院学报,2008, (4):25-30.

[18] 陈立彬.动态未知环境下移动机器人路径规划方法研究[D].哈尔滨：哈尔滨理工大学,2007.

[19] Hamza Khan, Jamshed Iqbal,Khelifa Baizid, et al.自主轮式移动机器人路径追踪的纵向与侧向滑动控制[J].Journal of Zhejiang University-Science C(Computers & Electronics),2015(2):166-173.

[20] 赵龙海.六足步行机器人自然地形下全方位运动规划策略研究[D].哈尔滨：哈尔滨工业大学,2013.

[21] 朱晓荣.移动机器人嵌入式系统设计与路径规划算法研究[D].青岛：中国海洋大学,2004.

[22] 周华鹏.视觉导航中局部路径规划方法研究及嵌入式实现[D].南京：南京航空航天大学,2009.

Path Tracking Design of Rice Transplanter—Based on the Embedded Visual Navigation of SOPC

Xie Zhonghua

(Wuhan Polytechnic, Wuhan 430074, China)

In view of the rice transplanter path tracking problem, by using SOPC embedded and vision navigation technology, using FPGA as the core hardware using 3 x 3 window module, median filtering, Sobel edge detection and Hough transform mobile path image information processing, and combining with the homogeneous transformation will pose information of image conversion to space coordinates to rice transplanter navigation path. Through the manual set the flag line on the rice transplanter path navigation and tracking test. Test results show that the system under interference environment of rice planting machine moving path of maximum deviation of 18 cm, the average deviation is 6.9 m, basically reached the expected target, the realization of the path tracking function, and according to deviation is automatically adjusted with precision high, flexibility is strong wait for an advantage and application prospect is very broad.

rice transplanter; path tracking; visual navigation; embedded SOPC; Hough transform

2016-07-06

湖北省自然科学基金项目(2014CFC1079)

谢忠华(1964-)，男，湖北京山人，副教授，(E-mail)whtc_xzh@sohu.com。

S233.91；TP242

A

1003-188X(2017)10-0213-05