云-雾-边-端协同的农业装备数字孪生系统研究

2023-11-23郭大方杜岳峰栗晓宇李国润宋正河

农业机械学报 2023年10期

郭大方杜岳峰栗晓宇李国润陈度宋正河

(1.中国农业大学工学院, 北京 100083; 2.中国农业大学现代农业装备优化设计北京市重点实验室, 北京 100083)

0 引言

数字孪生是多种信息技术加速碰撞、融合而催生的全新理念,能够打通物理世界与数字空间形成综合决策,为现实事物提供全生命周期服务[1-3]。数字孪生正逐步成为新一轮科技革命和产业变革中,各行各业特别是制造业加快数字化转型的重要力量。在农业装备领域开展数字孪生研究,有利于提高我国农业装备水平,有助于加速推进农业机械化和农业装备产业转型升级。

近年来,科研人员不断推进智能化设计[4]、智能测控[5-6]、物联网、大数据[7]和人工智能等数字孪生使能技术在农业装备领域的落地实用,并积极促进农业装备与智慧农业、无人农场[8]的建设快速融合发展,国内农业装备企业的研发模式、研发手段、数据管控和设计制造管理水平也日益提高,已初步具备开展数字孪生研究的必要条件。然而,农业装备数字孪生仍面临着不可忽视的挑战,农业装备及其作业过程复杂导致模型开发难度大,国产农业装备电气化、信息化、智能化总体水平滞后,农机物联网、大数据中心等新型基础设施不完善,传感采集、信息通信、数据存储等重要环节尚未形成统一标准等,都为农业装备数字孪生的研究与应用增加了困难。特别是数字孪生具有多元性的特点,需要多维度、小粒度的实时数据作为支撑,对系统架构的合理性要求更加严格。在结合数字孪生与农业装备特点的同时,如何实现系统各要素的有效部署,是农业装备数字孪生首先要解决的问题。

目前,农业装备领域内的主流研究仍集中在建模仿真、智能测控和人工智能等关键使能技术,极少直接面向数字孪生本身。在检索到的文献中,ZHANG等[9]提出大功率拖拉机数字孪生的构建方法和运行机制,开发了用于改善拖拉机机耕作业质量的数字孪生系统,并通过试验验证了方法的有效性。NEMTINOV等[10]提出了一种建立复杂农业装备数字孪生模型的方法,HOODOROZHKOV等[11]基于Matlab可视化编程为轮式拖拉机开发了高精度数字孪生模型,但未能将模型部署至数字孪生系统中。总之,农业装备数字孪生研究尚处于萌芽阶段,农业装备数字孪生缺乏实用化的系统级解决方案和典型应用案例。然而,在机床[12]、智能汽车[13]、移动通信[14]等领域中,云计算和移动边缘计算等技术逐渐兴起和应用,云-雾-边-端高效协同工作可以提供超低时延和高带宽的服务环境和云计算能力,这为农业装备数字孪生的实用化提供了参考。

针对上述需求与问题,本研究旨在探索农业装备与数字孪生结合的方式,面向实际落地应用提出云-雾-边-端协同的农业装备数字孪生系统架构,并以籽粒直收型玉米联合收获机为对象,以降低脱粒过程中的籽粒破碎率为目标,开发一个原型系统,实现模型预测、模型更新、实时监测和优化决策等功能,并在田间作业环境中验证系统的有效性,为数字孪生或类似的信息物理系统在农业装备领域中的应用提供参考。

1 系统架构

1.1 数字孪生框架

农业装备数字孪生旨在为农业装备建立实时数据驱动的高保真虚拟模型,并利用信息技术的分析处理能力实现虚实同步演化与交互融合,从而洞察农业装备的属性、状态与行为,建立综合决策能力,解决农业装备全生命周期中的复杂性和不确定性问题。

根据GRIEVES[15]提出的三维模型和陶飞等[16]提出的五维模型,农业装备数字孪生系统中包括物理实体、虚拟模型、连接、孪生数据和服务5个核心要素,如图1所示。其中,物理实体是具备感知与执行功能的农业装备。虚拟模型是农业装备的高保真虚拟模型。连接是实现系统各要素之间信息交互的基础。孪生数据是系统中所有数据的集合,包括实时感知数据、模型仿真数据、虚实融合数据和孪生服务数据等。孪生服务既包括维持系统运行的功能性服务,也包括解决实际应用需求的业务性服务。

图1 基于五维模型的农业装备数字孪生框架Fig.1 Framework of digital twin for agricultural machinery based on 5D model

农业装备数字孪生系统的运行机制如下:①虚拟模型在数据驱动下精确追踪和同步农业装备状态。②孪生服务评估农业装备的运行状态,利用虚拟模型仿真开展优化决策,并交由农业装备执行。③孪生服务利用数据对自身和虚拟模型进行校验和更新。④系统运行所积累的模型和数据可以在农业装备全生命周期中发挥作用。

1.2 云-雾-边-端架构与机制

研究实践发现,构建农业装备数字孪生系统面临以下问题: ①数字孪生系统需要高效处理海量数据和运行大量复杂的模型和算法。②数字孪生对数据和运算准确性、时效性要求很高。③农业装备在田间移动作业,必须通过无线通信接入系统。④农业装备对安全性、稳定性、低时延要求很高。⑤农业生产的季节性强,系统在作业季压力巨大。

云-端架构物联网的数据传输距离长、系统弹性差,很难满足上述需求。移动边缘计算通过在网络边缘部署计算和存储资源,能为移动网络提供超低时延和高带宽的服务环境和云计算能力[17-18],为解决上述问题提供了思路。利用云服务器、雾服务器[19]、边缘设备和农业装备组成云-雾-边-端协同的异构计算系统,将琐碎的低算力数据处理任务和高实时性需求的孪生服务向农业装备一侧倾斜,有利于缓解时延大、稳定性差和安全性低等问题,有助于实现数字孪生系统的快速部署、高效运行、云端协同和有机统一。

图2展示了云-雾-边-端协同的农业装备数字孪生系统的概念原型。其中,“端”指农业装备;“边”指安装在农业装备上的嵌入式边缘设备,一方面能够实现本地数据处理,缓解服务器压力,另一方面可以部署与测控相关的智能算法,提升农业装备的能力;“雾”指放置在背靠农场通信基站的机房中的雾服务器,分担“云”端压力,实现数据算法、虚拟模型和实时孪生服务的高效运行,同时协同“云”端服务;“云”指部署在远程机房中的云服务器,具备强大的计算存储资源和可扩展性,用于部署高算力、准/非实时的孪生服务。具体地,农业装备与边缘设备通过现场总线通信,边缘设备与雾服务器通过4G/5G网络通信,雾服务器与云服务器通过光纤宽带网络通信。

基于云-雾-边-端架构的农业装备数字孪生系统的运行机制如图3所示。首先,农业装备感知“人-机-物-环境”的运行状态。边缘设备处理数据后上传至雾服务器。雾服务器利用数据和虚拟模型开展实时业务服务,将决策结果下发至边缘设备与农业装备。运行过程中,雾服务器在数据的驱动下定时评估虚拟模型并进行小版本的模型参数更新,同时向云服务器反馈运行情况。云服务器依据所有雾服务器的反馈数据对虚拟模型和算法进行大版本的迭代和优化,然后下发并部署至雾服务器。

图3 系统的运行机制Fig.3 Operating mechanism of system

根据上述架构、概念原型和运行机制,图4给出了一个理想化的农业装备数字孪生系统在云、雾、边、端方面的细节,可以作为系统实现的参考。

2 系统实现

大型玉米籽粒直收联合收获机融合机、电、液等技术,可以一次完成摘穗、剥皮、脱粒、清选、收集和还田等工序,能够降低农民劳动强度、提高农业生产率和减少粮食损失,是复杂农业机械的典型代表。因此,以联合收获机为对象开发原型系统具有广泛的参考价值,并且对农业装备精准化、智能化作业具有重要的意义。

本研究针对玉米联合收获机作业过程中籽粒破碎率高这一关系到粮食损失的重要问题,选择五征4LZ-8型玉米联合收获机,参考图4开发一个简单的数字孪生原型系统,验证所提出架构的可行性。

2.1 农业装备(端)

五征4LZ-8型玉米联合收获机的感知与执行功能如图5所示,检测了谷物产量Q、发动机负载率η、行驶速度v、脱粒滚筒转速n、凹板间隙δ和籽粒破碎率Zs总计6个参数[20-21],还开发了v、n和δ的PID闭环控制系统。

图5 玉米联合收获机的感知与执行功能Fig.5 Sensing and executive function of corn kernel harvester

2.2 边缘设备(边)

基于研华UNO-3000G型工控机开发了边缘设备原型机(图6)。该边缘设备安装在联合收获机的驾驶室中。其中,工控机是中央处理单元,通过PCle-CAN卡和4G路由器分别实现总线通信和移动网络通信。设备能够实现CAN报文和JSON格式的双向转换,并且内置了防脉冲干扰平均值滤波算法

图6 边缘设备原型机Fig.6 Prototype of edge device

(1)

式中N——采样数,N>2,取10

xk——所有采样数据按照由小到大排列后的第k个值,即x2≤…≤xk≤…≤xN

x′——滤波后数据

2.3 雾服务器(雾)

在配置如表1所示的戴尔T7920型工作站上开发了雾服务器,实际部署有物联网平台、虚拟模型、模型更新服务和实时业务服务4部分。

表1 雾服务器配置Tab.1 Configuration of fog server

2.3.1物联网平台

物联网平台是雾服务器的数据中心和连接中心,集成有通信服务器程序和MySQL&Redis数据库,实现雾服务器与边缘设备、云服务器之间的通信,以及数据存储。为了方便用户管理接入雾服务器的农业装备,开发了Web服务器程序和页面(图7),包括新增设备、设备管理、数据管理等功能。

图7 物联网平台Web页面Fig.7 Web page of IoT platform

2.3.2虚拟模型

理论分析、试验分析和数据分析是构建虚拟模型的3种主要手段。数据模型相较于试验模型和理论模型[22-23],具有结果准确、时效性高和使用便捷的特点,因此采用基于数据的建模方法。

在联合收获机脱粒“作物-机械”系统中,Q、η、v、n和δ是系统输入,Zs是系统输出。选用多层感知机(Multilayer perceptron,MLP)神经网络构建描述输入量与输出量间关系的虚拟模型(图8)

图8 基于MLP神经网络的虚拟模型Fig.8 Virtual model based on MLP neural network

(2)

式中X——MLP神经网络输入

H(i)——第i个隐藏层输出,i∈(0,imax]

W(i)——第i个隐藏层权重,i∈(0,imax]

b(i)——第i个隐藏层偏置,i∈(0,imax]

σi——第i个隐藏层激活函数

Y——MLP神经网络输出

W(imax+1)——输出层权重

b(imax+1)——输出层偏置

在关于构建联合收获机神经网络模型的现有研究[24-25]中,为了避免过拟合,一般采用隐藏层数量小于等于3个和单层神经元数量小于等于10个的“小”模型。但是,数字孪生要求虚拟模型具有通过更新来适应物理实体最新状态的潜力,同时模型的更新机制可以改善过拟合问题,所以应设法得到一个较“大”的模型。因此,为了使模型尽可能学习到更深层次的规律,采用了迁移学习中的“预训练-微调”方法[26]。首先,利用来自不同机型、时间、地域的数据得到粗糙的预训练模型。然后在预训练模型的基础上,利用来自目标联合收获机的数据继续做针对性训练,最终得到一个精度满足训练要求且具有更新潜力的模型。

表2展示了训练数据的来源,其中数据的采样频率为0.5 Hz。在数据预处理中,首先采用双线性插值法填补缺失数据,再通过

表2 训练数据来源Tab.2 Source of training data

(3)

式中xj,k——第j个输入特征xj的第k个值

μj——xj中所有数据均值

σj——xj中所有数据标准差

将每个输入特征标准化,最后分别对预训练和微调训练两个阶段的数据集按照7∶3的比例划分训练集和验证集。

籽粒破碎率Zs通常在5%左右。在模型训练中,若直接采用均方根误差(RMSE)作为损失函数训练模型,会导致训练损失很快收敛到一个很小的范围,从而影响训练效果。为了避免这种情况发生,使模型训练更多地考虑相对误差,采用先将真实值和预测值各自取对数后再求RMSE的方式计算模型损失,计算式为

(4)

式中yk——模型第k个输出量真实值

M——模型输出量个数,取1

L——模型损失值

采用初始学习率为1×10-3,学习倍率为0.9的Adam梯度下降算法[27]训练模型。经过反复尝试,训练得到隐藏层个数imax为5,隐藏层神经元个数依次为10、15、15、10、4的MLP神经网络模型。

2.3.3模型更新服务

在大部分情况下,一个适应能力强、更新潜力大的虚拟模型无需改动自身结构,仅通过模型更新服务微调即可适应物理实体实际变化。

图9展示了模型更新服务的运行流程。T1为每相邻两次模型更新服务的时间间隔。若不考虑外界因素导致突发状况,“作物-机械”系统的变化是一个持续而缓慢的过程,模型更新服务的工作频率无需太高,这里取T1为1 200 s。首先,获取T1内的监测数据,并整理为数据集D。然后,将D作为测试集,评估当前模型在D上的损失L。取阈值Lt为0.01,若L

图9 模型更新服务的运行流程图Fig.9 Running flow chart of model update service

2.3.4实时业务服务

为了降低籽粒破碎率,提出基于数字孪生的控制决策优化方法,并开发相应的业务服务。利用实时数据和虚拟模型实现对v、n和δ控制目标值的优化决策。

图10 优化决策服务流程图Fig.10 Process of decision-making service

此外,为了直观地展示机器运行过程,基于Unity3D开发了农业装备数字孪生服务平台(图11)。其中,交互界面分为运行参数监测区域和几何模型动态展示区域。几何模型动态展示区域定义了机器尤其是脱粒系统关键部件的运动关系,模型的动作和姿态可以在实时数据的驱动下与物理实体保持一致。

图11 农业装备数字孪生服务平台交互界面Fig.11 Interactive interface of digital twin service platform for agricultural machinery

2.4 云服务器(云)

在配置如表3所示的阿里云GPU服务器部署了系统管理平台和模型迭代服务。

表3 云服务器配置Tab.3 Configuration of cloud server

2.4.1系统管理平台

系统管理平台用于实现雾服务器与云服务器间的网络连接、实时通信、数据存储和设备管理,为其开发了具有设备管理、设备监测和系统配置等功能的Web页面,帮助管理人员维持数字孪生系统的正常运转。

2.4.2模型迭代服务

模型迭代服务是从原理架构的角度上彻底更新虚拟模型,其工作频率相对模型更新服务更低。通过集成来自所有雾服务器的反馈数据,扩充数据集或优化模型结构开发和训练新一代数据模型,经过验证后将新模型部署至雾服务器运行。

当前系统仍处在原型验证阶段,仅有一台联合收获机和雾服务器接入,所以模型迭代服务中仅提供了一个定向部署虚拟模型的接口。数据分析、模型开发、模型训练等工作需要人工手动进行。待系统进一步完善后,将有更多的联合收获机接入系统,届时将考虑以自动化方式[29]实现模型迭代。

3 试验验证

2022年10月在山东省日照市五莲县采用五征4LZ-8型玉米联合收获机开展田间试验。采用五点法测量试验区域内玉米籽粒含水率为29.36%。试验参照GB/T 21962—2020《玉米收获机械》中的方法开展,图12展示了试验现场具体情况。

图12 田间试验现场Fig.12 Field test situation

3.1 虚拟模型预测效果验证

为了验证虚拟模型的预测效果,将联合收获机设置为手动控制模式,待驾驶员按照正常收获操作规程作业1 h后,从模型更新记录中查询模型更新的具体时刻,导出更新前后的籽粒破碎率真实值和虚拟模型预测值,如图13所示(时间取负值表示更新前,时间取正值表示更新后)。

图13 模型预测效果Fig.13 Prediction effects of model

为了评估虚拟模型的准确性与模型更新方法的有效性,利用式(4)计算模型更新前后各200 s内的损失值,如表4所示。

表4 模型损失值Tab.4 Loss of model

试验结果显示,在模型更新前,虚拟模型对籽粒破碎率的预测损失值均大于0.01,达到模型更新阈值。在模型更新后,模型预测值损失降低,预测效果明显改善。试验结果表明,虚拟模型的更新潜力和适应能力良好,模型更新服务能够正常触发和运行,改善了模型的预测效果。

3.2 控制决策优化效果验证

通过与联合收获机的其他脱粒控制方法/模式对比,验证本研究中基于数字孪生的控制决策优化方法,评价该方法对降低籽粒破碎率的有效性。

试验采用3种模式交替的方式完成同一地块的玉米籽粒收获。其中,模式Ⅰ为手动控制模式,由具有作业经验的驾驶员通过手动调整作业参数完成收获作业。模式Ⅱ为反馈控制模式,依据籽粒破碎率的反馈值,按照预设控制策略,逐一调节滚筒转速、凹板间隙和作业速度,保证籽粒破碎率始终满足预设条件。模式Ⅲ采用本研究中基于数字孪生的控制决策优化方法。每次试验中,联合收获机分别采用3种模式纵向穿越整个地块各1次,取每次/每种模式试验中籽粒破碎率传感器检测结果的平均值。为了减小随机误差,重复对比试验10次,试验结果如图14所示。

图14 籽粒破碎率试验结果Fig.14 Test results of broken grain rate

通过图14可以看出,采用模式Ⅰ收获作业时,籽粒破碎率开始时较高,然后逐渐下降,最后趋于平稳,这是由于驾驶员逐渐熟悉田间情况并作出了适应性调整。采用模式Ⅱ收获作业时,籽粒破碎率总体低于模式Ⅰ,且更加平稳。采用模式Ⅲ收获作业时,籽粒破碎率低于模式Ⅱ,远低于模式Ⅰ,且比模式Ⅰ和模式Ⅱ的波动更小。

根据试验结果,计算10次试验中每种模式下籽粒破碎率平均值和方差如表5所示,可以得出:模式Ⅲ下的籽粒破碎率平均值最小,相较于模式Ⅰ降低24.24%,相较于模式Ⅱ降低15.78%;模式Ⅲ下的籽粒破碎率方差也最小,相较于模式Ⅰ降低0.036,相较于模式Ⅱ降低0.01。因此,基于所开发的数字孪生系统,利用实时数据驱动的虚拟模型优化调控机器的运行参数,能够稳定地降低玉米联合收获机脱粒时籽粒破碎率,有效改善粮食的收获质量。