基于AR 的温室智能控制系统设计

牛丽

（苏州市职业大学计算机工程学院，苏州 215104）

0 引言

我国是一个农业大国，人口众多。为满足巨量人口对蔬菜、水果等农产品在数量、质量上提出的更高的要求，温室大棚利用信息化、智能化和自动化科学技术来提高农业种植产量和效率成为解决这一问题的优选[1]，温室是设置一个人为的气象环境，创造一个适合作物生长的条件，来满足生物生长对温度等条件的满足。温室环境是由光照、温度、湿度、土壤状况等因素构成的，温室通过控制温室环境，使其在不适宜作物生长的季节进行栽培，从而达到对作物调节产期、促进生长发育、防治病虫害及提高产量的目的。为创造作物生长所需的最佳环境条件，这类温室控制系统基本上是利用传感器对温室内的环境参数进行监测，获取相关参数，根据这些参数按设定的程序给出相应的反馈与操作，调节温室环境参数[1-2]。控制系统并未对作物本身的生长状态进行监测，无法获知给定的环境调节参数是否与植物当前的生长周期完全匹配，系统无法实时地、可视化地反映作物是否处于健康的生长状态。导致作物生产人员只能利用环境参数间接促进作物生长，或通过各种检测设备对作物进行检测，利用较为专业的农业知识对检测数据进行分析，获知生长状态。为了实现温室大棚控制系统对作物生长状态的有效监控，农作物生产人员与农作物的生长状态进行实时的可视化互动，实现作物分析数据的可视化显示，设计基于增强现实的温室智能控制系统。

1 增强现实技术

增强现实（Augmented Reality，AR）是利用计算机技术产生文本、图形图像、模型动画、声音视频等虚拟对象，并将这些虚拟对象与图像采集设备中的现实世界相融合，叠加在指定位置或物体上，辅助用户对真实世界的理解。为了实现虚拟对象与现实世界的场景信息精确地叠加、融合，AR 系统利用计算机分析大量的场景信息和定位数据，实现虚拟物体在真实场景中的注册[3]。如图1 为一种AR 技术的结构示意图。一般实现AR 具有以下步骤：

（1）图像采集设备（例如相机）拍摄现实世界的场景信息，设备固定，或者移动都可以。

图1 一种AR技术的结构示意图

（2）图形图像模块对现实世界的场景及图像采集设备的位置信息进行分析，生成相应的虚拟对象信息，例如文本、图形图像、模型视频等。

（3）图像渲染模块将现实世界的场景信息与虚拟对象信息进行叠加、融合。

（4）显示模块将融合后的图像、文本等信息进行显示，实现增强现实，还可以通过佩戴立体显示眼镜来增强用户观看效果。

2 利用AR技术的温室控制系统的总体结构设计

本系统根据温室作物生长温度、湿度、土壤状况、生长状况等实际需求出发，为了实现温室较高程度的智能控制、棚内作物生长自助分析及作物生长状况数据的可视化，设计基于增强现实技术的温室智能控制系统，系统总体结构如图2 所示。它包括图像采集设备、微型投影仪、监测温室环境的传感器、控制器、数据库、人机接口、环境参数调节机构等组成。

图2 基于AR的温室智能控制系统结构图

人机接口是实现系统与用户之间信息输入与输出的交互接口；数据库是该系统的重要组成部分，用来存储温室作物生长问题的特征信息与数据，为控制器判断作物生长情况提供必要的依据，以及控制系统运行过程中产生的各种中间信息；控制器是系统的核心，利用传感器信息，调用数据库信息进行综合处理，输出图像信息及作物生长调节策略，并控制环境参数调节机构；监测温室环境的传感器获取温室作物生长的相关环境信息，被控制器获取并作为判断作物生长状况的参考信息；环境参数调节机构根据控制器发出的信息启动相关执行机构，例如喷水、改变光照、通风等；图像采集设备与微型投影仪都与控制器相连，图像采集设备获取图像信息并传输给控制器，经控制器处理后，再输出图像信息，经过渲染，通过微型投影仪实时输出虚拟对象，虚拟对象与真实场景虚实融合，实现可视化的图像、数据显示功能，共同呈现给生产者。增强现实技术要求虚拟物体必须融合到真实世界的准备位置，这样才能实现虚拟对象与真实场景的准确叠加，这个过程就是AR 系统的注册。

2.1 注册实现

注册就是要确定虚拟对象在真实空间坐标系中的位置，从而实现将虚拟对象实时地、准确地在显示器上显示，完成真实环境与虚拟对象的结合，所以注册的实现首先要解决的是确定世界、相机及图像平面之间坐标系的关系，坐标系之间关系变换如图3 所示。

图3 坐标系变换关系

点 P 在世界坐标系中的坐标为（xw，yw，zw），在相机坐标系中的坐标为（xc，yc，zc），在图像坐标系中的坐标为（u，v）。且使相机光心作为原点，光轴作为Zc 轴。相机坐标系原点OC与图像坐标系原点O 间距离为相机间距f。从世界坐标系转换到相机坐标系属于物体不会发生形变的刚体变换，只需要进行旋转和平移。相机坐标系通过焦距对角矩阵和畸变系数转换到图像坐标系，点P 从世界坐标系转换到图像坐标系由式（1）与（2）表示[3]：

式中：Zc为相机坐标系下Z 轴分量，UP 为P 点在图像坐标系中的坐标矩阵，K 为机内部参数矩阵，其中fx和fy 是以像素为单位的焦距参数，u0和v0为图像物理坐标系原点在图像坐标系中的坐标；为像机外部参数矩阵，从世界坐标系到相机坐标系，物体运动涉及到旋转和平移，绕着不同的坐标轴旋转不同的角度、平移不同的距离，得到相应的旋转参数r11…r33、平移矩阵t1…t3。因此，在给定物体在世界坐标系及图像坐标系中的坐标值计算得到进行转换坐标系，使渲染生成得虚拟对象在现实场景中的正确位置进行叠加结合，完成注册。

2.2 控制策略

通过对棚内环境参数及作物的图像采集，利用相似图像的匹配，将相机采集的图像与数据库中存储的特征图像进行比对，找出与数据库中相似度最高的图片，再提取存储在数据库中相应的特征信息，以评定目前农作物的生长状态[4]。结合存储的作物生长阶段的特征信息与监测到当前植物的生长环境信息，系统给出作物生长调节策略，使温室环境与作物生长相匹配，控制器同时将状态数据及相应的调节策略进行图像转化，获得虚拟显示对象，结合真实场景将虚拟显示对象直接显示在AR 系统的显示器上。此外，在需要时系统可借助AR 系统的图像采集设备感知人体手势[5]或者人机接口发出指令，通过控制器处理实现手动控制系统的运行。

控制策略是否正确取决于作物的图像匹配的准确性及数据库中存储的反映作物生长状况图像的完整与丰富程度。为了便于图像匹配，减少匹配时间，匹配过程的复杂度，增强系统的实时性，根据各作物生长周期特征划分为若干个生长阶段，例如黄瓜可以分为发芽期、幼苗期、初花期及结果期。每个阶段采集作物生长不良、正常的图像作为样本存储在数据库，同时存储相应图像对应的生长状况及生长调节策略。系统采集图像后，人机对话要求使用者选择作物名称后，显现生长阶段划分提示，再选择生长阶段，系统直接与该作物该生长阶段下的图像样本进行匹配，系统控制策略流程见图4。

图4 控制策略流程图

为避免采集图像时作物周围环境的光照、拍摄角度、采集时振动等因数的影响，采用当前比较流行的图像匹配算法——尺度不变特征转换算法，即SIFT（Scale Invariant Feature Transform）算法。SIFT 通常被用于描述图像的局部特征，它的实质通过构建尺度空间，进行特征点查找，特征点方向计算，生成特征点描述符，再根据特征向量进行匹配[6]。利用特征点匹配图像的SIFT 算法过程如下：

（1）尺度空间构建及特征点查找

在不同的尺度空间内进行特征点查找，高斯卷积核是尺度变换的唯一变换核，也是唯一的线性核[8]。这样需要通过高斯模糊来实现尺度空间构建，所以图像I(x,y)的尺度空间通过尺度空间的高斯函数和图像的卷积由式（3）与（4）表示：

确定特征点所在位置，需要建立高斯金字塔。对相邻的两层图像相减做高斯差分，得到DoG（Differ-ence of Gauss）图像，整个过程的变换函数由式（5）表示：

图像空间极值点是该点与它同尺度的8 个相邻点，以及上下相邻尺度对应的9×2 个点共26 个点中的最大值点[7]，DoG 尺度空间中的极值点就是特征点。

（2）特征点方向及特征点描述

根据特征点查找的结果，为每个特征点指定基准方向，将坐标轴旋转为特征点方向，保证旋转不变性。应用图像梯度的方法求得特征点的稳定方向，得到特征点的三个信息(x,y,σ,θ)，即位置、尺度、方向。图像梯度模值、方向计算由式（6）与（7）表示：

式中：L 为特征点所在的尺度空间值。得到特征点信息后，邻域像素的梯度和方向通过直方图进行统计，按每10 度一个区域将360 度直方图统计范围是依次划分为36 个区域。梯度的模值可按照σ=1.5σ_oct的高斯分布加成，按尺度采样的3σ原则，邻域窗口半径为 3×1.5σ_oct[8-9]。

在特征点尺度空间内，将特征点的邻域区域划分为4×4 子区域，将每个子区域作为一个点计算每个点8个方向的梯度信息，共产生4×4×8=128 维向量表征，它就是特征点的描述符。具体步骤如下[8]：

①划分的 16（4×4）个子区域均取 3σ_oct 像素，那么子区域边长为3σ_oct，计算时需使用双线性插值法，所需图像区域边长为（4+1）×3σ_oct，考虑到旋转因素得影响，实际计算特征点描述符所需的图像区域半径由式（8）表示：

②将坐标轴旋转为特征点的方向，保证旋转不变性。

③插值计算每个点八个方向的梯度，统计128 个梯度信息即为特征点的描述符，并对描述符进行归一化处理。

④按特征点的尺度对特征描述向量进行排序。

（3）特征向量匹配与相似度

取图像中的一个特征点，找出该点与另一幅图像中欧氏距离最近的两个点，如果最近的距离与次近的距离的比值小于设定阈值0.6[9]，那接受这一对匹配点，认定特征点向量匹配成功。那么，相识度就是图像中匹配成功的特征点数量与总特征点数量的百分比。

3 温室智能控制系统实现

该温室智能控制系统主界面由系统维护、信息管理、环境管理作物管理等部分组成，作物管理主要是对当前种植作物的生长信息、病虫害状况，生长环境信息，及AR 采集的图像信息及控制器给出的生长调节策略的查看；信息管理主要是存储与作物生长相关的各种依据信息，主要用于控制器调用比对，给出调节策略，只有农学专业人员才能提出并由系统管理员对数据进行修改、添加、删除等操作，普通用户只能查询。系统功能框图如图5 所示。

图5 温室智能控制系统功能框图

为使该系通更加实用、便捷，采用集成了图像采集设备、微型投影及显示器与一体的AR 眼镜，进入温室大棚，佩戴AR 眼镜，当需要获知农作物生长状态时，通过行走到靠近并使CCD 摄像头靠近农作物，摄像头将自动采集该作物的图像（存储在作物管理功能块），并将图像数据输出给控制器，控制器对图像进行识别、分析处理（控制器调用信息管理功能块内依据信息），并将分析结果图像转化及图形渲染后，利用微型投影仪将具有农作物生长状态、温室环境参数及环境参数调节策略的图像信息投影在AR 眼镜上（生长信息、调节策略存储在作物管理功能块中的作物生长信息中），将真实场景与虚拟显示对象相互融合，共同呈现给生产者，实现可视化的数据显示功能，图6 为使用AR 眼镜靠近作物结果期黄瓜的显示图，系统结果显示准确，使用方便，信息丰富，使用效果良好。

图6 结果期黄瓜AR显示图

4 结语

通过增强现实技术应用于农业温室智能控制系统，具有较高程度的智能控制和自助分析功能，能够提供一系列可视化的分析数据，使用者不需要运用较为专业的农业知识对检测数据进行分析，即可获知植物的生长状态，降低了系统对使用者自身文化素质及农作经验的限制，同时也可避免人为判定过程中一些因素被忽略的可能性，另外，本系统需要以若干温室大棚作物的图像特征与信息作为数据库的基础，分析获得需要改变的环境参数，作物生长匹配策略，进而采取相应的措施，实现温室有效地智能控制，由于系统利用图像相似度识别，需要不断地补充、更新相关的数据、特征图像等信息，才能保证系统控制的智能性、准确性。