免耕播种装备PDM系统影像资源管理研究

2023-03-07刘宏新周丽丽张一鸣赵一健解勇涛

农业机械学报 2023年2期

刘宏新周丽丽张一鸣赵一健解勇涛

(1.东北农业大学工程学院，哈尔滨 150030；2.宿迁学院机电工程学院，宿迁 223800)

0 引言

免耕播种装备是保护性耕作的典型机具类型，可在未经翻耕的、秸秆覆盖和保留根茬的土壤条件下进行精量播种作业，对改善土壤结构、防止水土流失、减少空气污染、达到蓄水保墒具有重大意义。但免耕播种作业环境恶劣，秸秆、残茬和杂草置于地表，土壤硬度大，要求免耕播种装备具有防堵耐磨、强度高、硬度大等性能，且要满足不同地区、不同保护性耕作制度需求，因此设计制约元素多、机具结构复杂、实验经验要求高，导致研发周期长、成本高、设计效率低等问题[1-4]。针对上述问题，笔者通过创建免耕播种装备PDM系统管理免耕播种装备的知识、模型、数据等资源，其管理的产品信息包括产品的项目计划、设计数据、产品模型、工程图纸、工艺资料、影像资源等。其中影像资源能脱离文字形式直接记录各种声音与图像，为用户提供直观且客观的影像信息内容[5-6]。实验影像资源中涉及的免耕播种装备实验机型、作业土壤状态、实验天气、实验结论等需要着重记录以保证实验信息的完整性。但其实验记录的土壤状态、天气情况、实验结果等内容相似度高，仅通过影像封面图像和影像的文件名称难以区分，在浏览和查询相关实验影像资源时难以同时获取其实验过程的关键信息，需要在免耕播种装备PDM系统中开发影像资源管理系统来解决上述问题。

国内外针对影像资源管理的相关研究主要有：SINGH等[7]通过提取连续的两帧并进行颜色空间处理达到快速检索视频的目的，为研究影像资源的甄别开拓了思路。AMATO等[8]提取视频关键帧所有信息的文本编码作为检索索引，可实现灵活查询，对影像资源信息的管理具有重要意义。SAOUDI等[9]提出了一种基于视频查询的大型多媒体数据的CBVR系统，通过提取关键帧实现视频的快速浏览和高效的视频索引。QI等[10]通过以人像为中心并结合跨模态文本检索视频，为研究影像资源管理系统查询提供了解决方案。ZHANG[11]建立了基于物联网的管理影像数据的模型系统，提高管理效率并且保证信息的安全。梁建胜等[12]提取视频关键帧，并针对视频关键帧进行内容的检索，达到高效、准确检索视频的目的。丁洛等[13]设计了一种基于多语义线索的跨模态视频检索模型，通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索，更好地挖掘数据中的语义信息，进而提高检索效果。国内外研究人员针对影像资源的管理多为基于视频关键帧内容的处理，在播放状态下通过关键帧的信息来查询和访问影像资源。播放影像资源需要耗费大量时间，基于关键帧内容检索只能表示影像资源的片段内容，难以表示影像资源的关键信息，缺乏支持影像资源关键信息编辑与查询的管理平台。近年来，本团队致力于农机装备的智能化设计研究[14-16]，通过创建知识库、模型库分别对知识资源、模型资源进行管理，实现了基于关键词的模糊查询，为影像资源的管理奠定了良好的基础。

综上所述，为准确获取并有效管理影像资源信息，解决影像资源甄别困难、获取信息不完整和缺乏管理平台的问题，本文通过多元信息标识对影像资源进行研究，同时联合推荐查询方法与影像编辑功能建立一种影像资源管理系统。

1 系统总体方案

1.1 PDM系统功能与结构

免耕播种装备PDM系统以C/S结构(Client/Server，客户端/服务器)为主要体系架构，通过客户端(人机交互界面)控制服务器实现数据管理。免耕播种装备PDM系统中包含产品数据管理的多个设计功能模块，包括知识管理模块、模型管理模块、虚拟现实与工程分析模块等，并且各模块由独立且结构完整的子系统组成。根据免耕播种装备PDM系统框架下接口需求集成各子系统，共同构建使用方便、响应便捷、高效统一的PDM交互式数字化设计系统。其中PDM系统的电子仓库具有数据存储、管理元数据库的作用。

1.2 电子仓库结构设计

常规PDM系统的电子仓库主要存储产品相关的物理数据和文件的元数据等[17-19]。鉴于作者创建的免耕播种装备PDM系统电子仓库中包含产品零部件、图纸、知识、图像、影像以及交互程序等各类资源种类繁多，数量大，获取、查询或浏览不方便的问题，需要对电子仓库结构进行设计。

针对以上问题，创建表征不同免耕播种装备信息的资源库，以达到方便用户获取和整理资源信息的目的。首先根据资源类别设计并创建资源库，即交互程序库、模型库、数据库、知识文件库、图像库和影像库。然后根据免耕播种装备PDM系统开发的子系统类别创建二级资源库。鉴于知识文件库中的数据区别于数据库内存储的知识内容，知识文件库存储国家标准、行业标准等相关的图书手册。

根据上述创建方法完成整个电子仓库的结构设计。保证了系统重复利用资源并方便资源的存储、开发、使用与维护[20]。电子仓库结构组成如图1所示。

图1 电子仓库结构框图

1.3 影像资源管理系统架构

根据分析免耕播种装备实验影像资源管理系统需求，并结合PDM系统工作流程管理特点，在影像资源管理系统中创建数据库连接、任务查看、影像资源浏览与查询和影像资源编辑4个模块。影像资源管理系统通过数据库连接、任务查看两部分连接PDM系统获取任务内容；影像资源浏览与查询、影像资源编辑两模块针对系统收到的任务对影像资源进行管理。系统的功能模块如图2所示。

图2 影像资源管理系统功能模块

(1)数据库连接模块：该模块是保证与PDM系统进行数据连接、信息交互的关键。在PDM系统中为达成资源共享的目的，设计本地数据库和映射数据库两种数据连接方式保证用户访问数据的需求。该模块为用户提供不同服务器的数据连接需求，保障系统正常工作。

(2)任务查看模块：该模块主要访问PDM系统任务管理的数据，作为影像资源管理系统的工作任务来源，保证各用户及时获取任务并从事相关设计工作。

(3)影像资源浏览与查询模块：该模块以用户常用查询习惯为需求设计多种查询方法，通过人机交互的方式展现出来。

(4)影像资源编辑模块：该模块为实验影像资源提供添加、修改和删除功能，实现资源的动态更新，提高资源利用率。

影像资源管理系统以VS为软件开发环境并结合VB.NET语言、通过ADO.NET技术连接SQL Server数据库，实现面向对象的系统自动化管理和查询功能。系统需要提前添加播放插件。Visual Basic(VB)内提供的Multimedia控件、Animation控件和Media Player控件均支持多媒体的播放。其中，Multimedia控件播放MPEG文件时速度比实时监控显示快，当文件长度缩短到500～600 KB时，则无法观看；Animation控件只能播放未经压缩的或者是用行程编码(RLE)压缩的AVI动画文件；Media Player控件是VB新增加的多媒体控件，使用简单而且功能强大、获取方便(Windows环境中按“system32 wmp.dll”路径查找)，能够显示或播放多种媒体文件。故在系统中添加Media Player播放控件。

2 影像资源预处理

2.1 多元信息标识

影像资源直观表达事物信息、记录事物状态，为用户呈现详细的动态效果与静态画面，广泛用于各行各业记录重大事件、检验实验等，在农机实验中应用也特别广泛[21-22]。影像资源信息复杂，在查询、修改、增加、删除实验影像时，用户难以通过影像资源封面和文件名称准确获取涵盖特定实验内容、实验天气等信息的影像资源，观看全部影像资源任务量大且浪费时间。为系统地研究影像资源信息，根据免耕播种装备实验过程中影像资源的特征提出多元信息的概念，多元信息是指标识影像资源所有信息的全部关键词。多元信息对影像资源进行多角度标识，包含完整、准确的信息内容，同时为资源管理奠定基础。

影像资源主要记录了免耕播种装备实验的具体作业过程，但其作业方式复杂、声音嘈杂，标识影像资源的多元信息需要通过从内部视频特征、音频特征、影像内容3方面进行分析提取，以保证每条影像资源基本信息标识完整、信息标识内容唯一。

对比免耕播种与普通播种作业过程，免耕播种装备能够在秸秆覆盖的地表上进行精确播种，并且不同型号的免耕播种装备具有破茬清茬、切断残茬、粉粹秸秆、移除抛撒秸秆、压实秸秆等耕整地功能，配合防堵装置，为后期播种提供一个良好的种床环境。鉴于免耕播种装备结构与工作特点，将不同秸秆覆盖率的土壤状态和免耕播种装备的机具型号作为多元信息的标识词组，并结合影像资源的视频特征和音频特征两个方向共同总结出表征免耕播种装备实验影像资源的全部内容的多元信息，如图3中Ⅰ所示。为保证标识的影像资源信息唯一，依次删除具有随机性强、内容不固定、干扰性强以及包含重复性内容的无效信息。影像特征最终采用剩余的12个多元信息标识免耕播种实验影像资源的全部信息，最终确定标识的多元信息如图3中Ⅳ所示。影像资源多元信息筛选过程如图3所示。系统内所有影像资源根据确定的多元信息进行逐一标识存储在数据库中，对应的影像资源文件存储在电子仓库的影像库中。

图3 影像资源多元信息筛选流程图

分析已设定的影像资源多元信息，其中“文件名称”是指影像资源文件的具体名称，因其具有唯一性，可以把“文件名称”作为浏览选择的关键词，将另外11个多元信息作为推荐查询的多元信息组，并设计对应权重。

2.2 信息权重分析与分配

查询免耕播种装备实验影像资源过程中经常出现由于用户输入字段与数据库内信息不完全匹配而导致查询结果不存在的情况。为保证用户输入字段与本地数据库信息不匹配时仍能够获取本地数据库内相似数据，系统通过创建推荐查询机制解决上述问题。为使推荐查询信息标准化、规范化，对多元信息进行权重标定，实现按多元信息权重进行推荐。

标识影像资源的多元信息设定对应权重时，由于自主设定权重主观性较大，通过调查问卷和专家打分两种形式获取权重。在获取权重过程中，通过调查农业工作人员对获取免耕播种装备实验影像时最期待、最优先搜索关键词顺序进行统计，得到各信息对应权重相关饼状图如图4所示。

图4 问卷调查结果

将专家打分和问卷调查分别赋予0.5的权重，计算得出最终权重

q=q1z1+q2z2

(1)

式中q1——问卷调查中各项信息占比

q2——专家打分中各项信息占比

z1——专家打分所占权重

z2——问卷调查所占权重

经计算得到最终多元信息及其对应权重如表1所示。

表1 信息标定项目与权重

3 功能实现方法与技术

3.1 数据库连接

数据库连接是系统运行、获取免耕播种装备PDM系统多元信息的基础和保障。为满足用户需求并简化操作流程，在影像资源管理系统主界面中提供两种数据库联接方式，主要包括本地数据库连接和映射数据库连接，二者访问信息内容一致且本质相同，区别在于访问的内容是本地数据库还是映射数据库。通过选择数据库访问整个免耕播种装备PDM系统数据库。其中连接数据库的主要特点为：映射数据库主要应用于客户端，可实现多人在线协同访问，但客户端、服务端处于同一局域网；本地数据库应用于服务器，仅限于本地资源的访问，且响应速度不受限。

3.2 任务查看

作为免耕播种装备PDM系统流程管理任务顺利完成的关键保证和影像资源管理系统的工作内容来源，任务查看模块主要接收免耕播种装备PDM系统管理员发放的任务，并将任务处理所用时间反馈给PDM系统。根据获取的具体任务内容对影像资源进行操作。任务查看模块主要应用文档读取技术，其主要语法为(TextBox5.Text为任务展示窗口)：

Dim sw As System.IO.StreamWriter = New System.IO.StreamWriter("E:免耕播种装备PDM系统电子仓库数据库计时器数据文件影像资源.txt", False, System.Text.Encoding.Default)

sw.WriteLine(TextBox5.Text)

sw.Close()

3.3 资源编辑

3.3.1影像资源添加

系统授权的普通用户都有添加存储影像资源的权限。根据用户使用习惯，优化设计人机交互界面，保证一次性操作可同步添加影像资源文件及其标识的多元信息内容。若在影像资源及其信息的添加过程中用户中断了操作，系统默认不增加该影像资源的任何内容，通过系统提示用户需要重新同步上传，直至系统反馈资源增加成功。

系统添加相关的影像资源时，影像资源管理系统自动判断待上传资源与影像库中现有影像资源是否相同，以Dir(str1)语法判断查重。若本地不存在待上传的影像资源，则用File.Copy(str1, str2)语法将待上传影像资源直接复制到影像库中；若文件存在，系统反馈该文件已存在并要求重新上传。

3.3.2影像资源修改与删除

本地电子仓库影像库中存储的影像资源由系统管理员在设计系统时直接添加，并且标识影像的多元信息和影像资源文件已经通过系统程序连接。但是系统内的免耕播种装备实验影像资源会存在信息匹配错误、不完整，以及影像资源已经完全损坏不能使用等问题，需要系统提供删除或修改功能。系统普通用户在修改或删除影像资源时需要获取系统管理员权限，通过输入管理员密码进行处理。以保证影像资源文件和标识的多元信息的唯一对应，从而提高系统安全性。

影像资源管理系统修改或删除影像资源的具体内容来源于免耕播种装备PDM系统发放的任务。影像资源管理系统同步更新影像库和数据库多元信息资源。为实现动态更新，在VS中添加Module(模块)创建删除子程序Delete()。当系统删除影像资源标识的多元信息时，直接调用删除子程序Delete()。在VS模块中添加的删除子程序具体语法为(OriginalFilePathInfo1为影像资源的存储路径)：

SubDelete()

My.Computer.FileSystem.DeleteFile(OriginalFilePathInfo1)

EndSub

3.4 资源浏览

影像资源的浏览模块支持浏览本地影像库中影像资源，系统提供影像播放、暂停、停止和快进的功能，并且可以查看到每一条影像资源对应的标识信息。影像资源管理系统播放的的主要实现语法为：AxWindowsMediaPlayer1.Ctlcontrols.play()；暂停的主要实现语法为：AxWindowsMediaPlayer1.Ctlcontrols.pause()；停止的主要实现语法为：AxWindowsMediaPlayer1.Ctlcontrols.stop()；快进的主要语法为：AxWindowsMediaPlayer1.Ctlcontrols.currentPosition()=HScrollBar1.Value。

3.5 资源查询

3.5.1浏览选择

浏览选择指通过字段匹配多元信息获得唯一的查询结果。为提高查询效率，采用影像资源多元信息标识的“文件名称”作为查询索引。由于每一条影像资源对应的文件名称是唯一存在，安全性高，不存在误报、重复的风险，并且“文件名称”不属于推荐查询的标识多元信息组，不会与推荐查询发生冲突。系统每增加一条新的影像资源，系统获取该影像资源“文件名称”的字段自动添加到浏览选择列表中，保证了影像资源信息的同步性。影像资源的文件名称同步到浏览选择列表中动态更新的语法为(TextBox14.Text为影像资源的文件名称)：

Form4.ComboBox1.Items.Add(TextBox14.Text)

3.5.2推荐查询

推荐查询是基于用户输入字段与数据库内容不完全匹配而进行相关推荐的查询方法。旨在为用户提供智能化推荐。推荐查询是由基础查询语句、推荐查询语句、推荐查询数据表构成。系统通过基础查询语句未获取数据时响应推荐查询机制，通过匹配推荐查询数据表，将推荐的数据记录推送给用户，完成推荐查询过程。推荐查询作为一种创新查询方法，在实现过程中首先要创建与设定多元信息相关的推荐查询语句和对应数据表。

(1)基础查询语句

基础查询语句是用户实现查询的基本语句，是推荐查询的一部分。选择字段的查询方式为浏览选择，输入字段的查询方式为模糊查询。当用户按指定多元信息输入字段进行查询时，常规查询方法是将SQL语句与IF嵌套语句结合，若满足所有查询的情况，需要撰写11！条IF嵌套语句，严重影响系统运行速率[23]。为保证随机输入后系统响应能够查询到相关数据并保证响应速率不变，在系统中应用Inputstr[]函数和Keywordstr[]函数共同组成系统基础查询语句。组成SQL查询语句对应语法为：

Sqlstr = sqlstr & "and" & Keywordstr(i)& like "%" & Inputstr(i)& "%"

(2)推荐查询语句

推荐查询语句是通过基础语句查询未获得数据而进行推荐其他数据表的语句，是推荐查询的核心。推荐推荐语句分为两种，一种是输入单一字段对应的查询子语句，另一种是输入多个字段对应的查询交互语句。查询子语句是输入单一字段而进行推荐查询匹配单一推荐查询数据表而输出数据记录的语句。查询交互语句是输入多个字段而进行按多元信息权重依次推荐查询匹配推荐查询数据表而执行各查询子语句的语句。推荐查询响应的逻辑框图如图5所示。

图5 推荐查询响应的逻辑框图

(3)推荐查询数据表构建

推荐查询数据表是根据设定权重的多元信息分别创建的数据表，是实现数据推荐的重要依据。作为推荐查询的中间数据，需要提前依次设计多元信息对应的推荐查询数据表。

以“实验地点”为例，构建黑龙江省农业种植地区汇总表。以“积温”为划分条件，将已划分好的黑龙江省6个积温带分别根据纬度高低自东向西依次排序，部分结果如表2所示。

表2 基于纬度排列的黑龙江省积温带

依次创建其他多元信息对应的推荐查询数据表，并设定参考推荐范围。鉴于管理对象为免耕播种装备影像资源，将“实验机型”以免耕播种机型号进行分类，“土壤状态”以免耕播种秸秆覆盖率为划分条件，“实验内容”以免耕播种装备的播种性能为划分条件，其中“实验人员”、“实验结果”和“实验结论”在免耕播种实验完成后得出，内容包含范围大、信息含量多，由用户输入信息无法设定参考推荐范围。多元信息对应推荐查询数据表设计范围见表3。

表3 推荐查询数据表设计范围

推荐查询数据表和查询子语句一一对应，推荐查询时系统每调用一个查询子语句，则会根据多元信息权重依次对应调用数据推荐表，调用数据推荐表的逻辑关系如图6所示。

图6 数据推荐表调用逻辑框图

相对于浏览选择，系统的推荐查询为用户提供全面系统的多元信息，扩大了查询结果的范围，能更有效接近用户的实际需求。

为实现推荐查询，系统将各查询子语句、查询交互语句与规定范围的推荐查询数据表、本地资源数据表匹配、交互过程以子程序的形式封装在VS的Module中，如图7所示，结合基础查询语句根据系统响应情况依次调用Module中子程序，完成推荐查询。

图7 多元信息推荐查询子程序封装

影像资源管理系统响应推荐查询时，根据用户输入单个或者多个字段，系统执行查询子语句或者查询交互语句调用匹配对应的推荐查询数据表，然后将对应的推荐查询数据表与现有影像资源数据表匹配，最后将两表相同数据信息按标识的多元信息权重为用户依次推送数据记录。其中两个数据表匹配候选的主要语法为(A、B代表两个匹配表)：

Dim sql As String = "Select * From A Where A.1 =(Select B.1 From[B]Where B.1= A.1)Or A.1=(Select B.2 From[B]Where B.2=A.1)

若用户输入字段内容均无对应推荐数据表，系统提示增加新的查询字段；否则按输入字段对应多元信息权重进行推荐。

推荐查询包括单一文本框查询和多个文本框查询。为了贴近用户习惯方便用户查找需要的影像资源，单一文本框查询支持用户在同一文本框下输入多个关键词字段，字段间用分号间隔；多个文本框查询为用户提供多个文本框，支持随机任意输入查询。在进行单一文本框内输入多个字段后，勾选对应字段的所属多元信息，系统自动分割字段和分号，然后针对分割好的字段进行推荐查询。