温室通风设备状态监测系统设计与试验

秦琳琳 黄云梦 吴 刚 石 春

(中国科学技术大学信息科学技术学院， 合肥 230027)

0 引言

近年来，我国设施农业发展迅速。截止到2019年初，全国大中拱棚以上设施面积达3.7×106hm2，占世界设施园艺面积的80%；连栋温室面积9.99×105hm2，占全国设施面积的27%；我国有现代化玻璃温室9 000 hm2，仅次于荷兰(10 800 hm2)。温室环境监控系统是提高温室作物产量、降低劳动力成本的关键技术。随着传感器[1-2]、计算机控制[3]、网络通信[4-5]以及物联网[6-7]等技术的快速发展，智能监控系统逐渐被应用到温室监控领域[8-9]。研究基于移动终端的农业远程监控方案[10-11]极大地方便了用户对温室环境的远程监控。现有系统大多以环境监测为主[12-14]，一些实现自动控制功能的系统允许管理员远程监测控制状态[15]，但无法干预自动控制过程、选择控制方法或切换手动自动控制，一些系统缺少温室现场视频图像信息[16]和先进算法的嵌入[17]。

温室智能监控系统具有全面感知、信号稳定传输和智能应用的优点，且系统易于扩展、应用性强，能协助温室进行环境控制，实现作物优质、高产[18-19]。然而，温室中很多设备无位置反馈装置，其运行以时间为基准，在使用过程中可能导致设备实际位置与控制系统识别记忆位置产生偏差。因此，需要对温室内设备的状态进行监测，以防止设备因错误操作而出现故障。目前，温室通风设备主要采用齿轮齿条开窗机构、手动及电动卷膜机构、强制通风系统和环境风机等，其中，齿轮齿条开窗机构结构简单、消耗动力小，应用最为普遍。温室降温设备主要用于夏季温室内温度的调节，主要包括室内外遮阳装置、湿帘、风机、喷淋降温设备和空调降温设备。

目标检测即从视频图像中获取运动目标。作为计算机视觉技术中一个重要的分支，目标检测已取得了飞速发展。根据摄像头在采集视频图像的过程中是否发生移动，可将目标检测分为静态背景下的目标检测和动态背景下的目标检测。前者采集到的视频是由固定摄像头拍摄，背景不变化或者变化较慢，只有前景会发生变化；后者采集到的视频是由可移动的摄像头拍摄，监控时背景和前景都会发生变化。本研究温室内摄像头固定，可采用静态背景下的目标检测算法，算法主要包括帧间差分法、背景差分法、光流场、混合高斯模型、边缘检测算法等[20-22]。本文研究帧间差分法和自相关函数法、背景差分法和Canny边缘检测图像识别技术在温室设备状态检测中的应用，其中，帧间差分法和自相关函数法用于风机停转状态的检测，背景差分法和Canny边缘检测算法用于天窗开度状态的检测，并比较不同目标检测算法的实时性和准确性。在前期研究的基础上[23-24]， 对基于Android平台开发的温室远程监控系统进行功能扩充和系统完善。

1 系统总体设计

系统由现场监控模块、服务器和Android客户端组成，如图1所示。

1.1 现场监控模块

现场监控模块采用C/S架构，监控软件通过CANOpen协议和基于分布式CAN总线的温室数据采集与控制系统通信[25]。输入模块接收传感器采集的温室内外环境因子，将数据发送到CAN总线。输出模块通过CAN总线接收来自现场监控软件的控制信号，控制继电器的动作调控设备。现场监控模块还具有视频监控等多种实用功能。

1.2 服务器

MySQL数据库服务器是远程监控子系统和现场监控模块通信的桥梁。现场监控模块将处理过的实时环境数据、设备状态信息以及设备控制日志等存储到数据库中。

1.3 Android客户端

Android客户端具有用户注册管理、实时环境数据监测、设备远程控制、视频监控等功能。远程监控子系统将数据库中存储的信息展示给远程用户，实现用户对温室设备的远程控制。

2 设备状态检测

温室控制系统主要由开关设备和可连续控制但无位置伺服反馈的设备构成，设备(如天窗、风机、湿帘、遮阳网等)状态一般为开关量。由于温室中很多设备无反馈装置，如天窗的位置控制(以时间为基准)，其实际位置与预期位置可能存在差别。另外，温室自动控制可能产生错误的操作，导致软件中的设备状态与设备实际状态不符合，造成无法控制或者硬件设备损伤。因此需要对温室内设备状态进行监测。

试验温室内安装有海康威视DS-2CD3212D-15型红外网络摄像头，位置固定，根据红外摄像头获取温室内部风机和天窗的视频信息，对采集的视频信息进行处理，获取风机转停状态和天窗开度状态，以防因设备故障等造成对农业生产的影响。根据风机和天窗的特点与实际情况，选用帧间差分法和自相关函数法检测风机状态，背景差分法和Canny边缘检测方法检测天窗状态。图2为摄像头视频序列中风机停止和某个风机运转时的图像，图3是视频序列中天窗开度分别为0%、50%、100%时的图像。

2.1 风机停转状态检测

2.1.1帧间差分法及其应用

帧间差分法是求出图像序列中相邻两帧或多帧图像像素间的差分，并通过设定一定的阈值将其转换为二值图像，利用视频图像相邻帧之间相关性较强的检测原理，来确定运动目标的方法。在背景静止的情况下，此方法有较好的效果。

记视频序列中第n帧和第n-1帧图像为fn和fn-1，两帧对应像素点(x,y)的灰度记为fn(x,y)和fn-1(x,y)，将两帧图像对应像素点的灰度进行相减，并取其绝对值，得到差分图像Dn，计算式

Dn(x,y)=|fn(x,y)-fn-1(x,y)|

(1)

设定阈值T1，逐个对像素点进行二值化处理，得到二值化图像Rn为

(2)

式中T1——帧间差分法二值化阈值

其中，灰度为1的点即为前景(运动目标)点，灰度为0的点即为背景点。

帧间差分法算法实现简单，程序设计复杂度低，对光线等场景变化不太敏感，能够适应各种动态环境，稳定性好。但是不能提取出对象的完整区域，只能提取出边界，可能出现“空洞”现象和“假多目标”现象。

摄像头在温室内位置固定，因此背景静止。试验表明，风机正常运行时转速不是摄像头采样频率的整数倍。利用视频序列中第n帧与第n-1帧、第n帧与第n+1帧、第n-1帧和第n+1帧差分后再得到的二值化图像，通过统计二值化图像中前景点的个数综合判断第n帧对应的风机状态，即得到的3个二值化图像中有任意图像中前景点个数大于设定阈值时，即判断此时风机运转，否则风机停止。图4为风机运转中得到的二值化图像。

从图4可以看到，当风机运转时，帧间差分法能够清晰地检测到风机。而当风机停止时，得到的二值化图像中无风机。

通过统计二值化图像中前景点的个数判断风机状态。针对一天中的光线不同，摄像头采集图像背景不同，需要分情况设定二值化的阈值。首先，判断背景图像是白天还是夜晚，采用的方法为先得到白天时背景图像的灰度图，设置二值化阈值为200，得到二值化图像。统计不包含边界的小部分区域的像素(黑色像素为0，白色像素为255)判断白天或夜晚，若像素之和大于10%，则判定为白天，设置差分图像的二值化阈值为90，否则设置差分图像的二值化阈值为15。统计风机所在区域的二值化图像中像素之和，若是白天，大于5%，则判断风机转动；若是夜晚，大于2%，则判断风机转动。

2.1.2自相关函数法及其应用

自相关函数法是描述信号X(t)在任意两个不同时刻1、2的取值之间的相关程度。互相关函数给出了在频域内2个信号是否相关的一个判断指标，把两测点之间信号的互谱与各自的自谱联系起来。它能用来确定输出信号多大程度来自输入信号，对修正测量中接入噪声源而产生的误差非常有效。将信号的概念移植到图像处理之中，使得对风机转停的判断从概念上变成了对两幅图像灰度相关性的检验。

自相关函数法是利用连续两幅图像，若风机不转，则连续取两幅图像必然相差不大，相似度很高；若风机转动，则连续取两幅图像相差较大，相似度很低。连续从监测视频中取两幅图像a、b并截取风扇的部分，并将它们转换成灰度图。对其进行中心化

(3)

其相关性计算式为

(4)

acent——图像a风扇部分中心化值

bcent——图像b风扇部分中心化值

r——图像a、b风扇部分相关性

取阈值为T2，当r>T2，风机不转；当r≤T2时，风机转动。

图5为风机运转中截取的风扇部分。

根据帧间差分法判断白天还是晚上，对于白天设置阈值T2为0.9，即当相关性大于0.9时，判断风机为停止，相关性小于0.9时为转动。对于夜晚设置阈值T2为0.993。

选取时长分别为32、28、14、11 s的4段视频，分别采用帧间差分法和自相关函数法进行风机状态检测。表1为不同检测算法所需时间。

表1 风机状态检测的不同算法运行时间Tab.1 Execution time of different algorithms for fan state detection

根据表1中4段不同时长的视频段不同算法检测风机状态所需时间，自相关函数法比帧间差分法实时性好，帧间差分法检测监控视频中的目标风机平均每帧耗时约37 ms，自相关函数法检测监控视频中的目标风机平均每帧耗时约33 ms，都能够快速检测出风机状态。

2.2 天窗开度状态检测

视频监控系统主要使用固定摄像头对场景进行监控，场景固定，在智能化视频监控系统中，背景差分法是一种重要的运动目标分割方法[26]。背景差分法是目前运动分割中最常用的一种方法，但是需要构建一幅背景图像，背景图像不包含运动目标。边缘提取方法也称为边缘检测算子。Canny边缘检测算子在处理受高斯噪声污染的图像中效果良好，很快得到普及[27-28]。利用背景差分法和Canny边缘检测方法对天窗开度状态进行检测。对比两种检测方法的准确性、运行时间等性能。

2.2.1背景差分法及应用

背景差分法基本思路是通过输入图像与背景图像进行比较的方法检测运动目标，核心是将序列图像当前帧与背景图像做减法运算。由于运动物体和背景在灰度或色彩上存在差别，相减后所得结果中每一像素和一个预先设定的阈值相比较，如果这个像素大于设定的阈值，则判定被监控的场景中存在运动物体，从而得到运动目标。

如不考虑噪声n(x,y,t)的影响，视频帧图像I(x,y,t)可以看作是由背景图像b(x,y,t)和运动目标m(x,y,t)组成，即

I(x,y,t)=b(x,y,t)+m(x,y,t)

(5)

在实际应用中，由于噪声的影响，式(5)不能得到真正的运动目标，而是由运动目标区域和噪声组成的差分图像d(x,y,t)，即

d(x,y,t)=I(x,y,t)-b(x,y,t)+n(x,y,t)

(6)

以下两个假设为前提条件：①在静态背景下，外界的光照条件不变并且不考虑噪声的情况下，视频图像序列的背景保持不变。②在目标可视的情况下，目标与背景的灰度之间存在一定的对比度。采用最常用的阈值分割方法，得到运动目标，即

(7)

式中T3——背景差分法二值化阈值

背景图像差分法其原理和算法设计简单，可以根据实际情况确定阈值进行处理，所得结果直接反映了运动目标的位置、大小形状等信息，能够得到比较精确的运动目标信息。但同时也存在受光线、天气等外界条件变化的影响较大。

将某一时刻天窗关闭时的图像作为背景图像。采用背景差分法得到二值化图像，如图6所示。

在二值化图像中取x=360这一列，测出开度为0%、50%、100%时所对应的天窗边沿所在的位置y分别为218、168、118。进行线性化，得到天窗开度A和天窗边沿所在位置y的关系为

(8)

通过背景差分法可以准确地检测天窗边沿的位置，从而判断天窗开度。

2.2.2Canny边缘检测算法及应用

边缘检测原理是检测出图像中所有灰度变化较大的点，而且这些点连起来构成若干线条，称之为图像边缘。

Canny边缘检测算法及其描述如下：

(1)利用高斯滤波器对图像进行滤波，消除图像中的噪声。Canny边缘检测算子属于线性滤波方法，需要先对图像进行平滑滤波。Canny边缘检测算子采用的滤波函数是高斯函数的一阶微分，能在噪声抑制和边缘检测之间取得较好的平衡。

(2)进行一阶微分。Canny边缘检测算子通过计算像素点的梯度增强图像，计算图像的梯度，并将梯度分类为垂直、水平和斜对。输出用于在下一步中计算真正的边缘。

(3)对梯度进行“非极大抑制”。利用上一步计算出的梯度方向，检测某一像素在梯度的正方向和负方向上是否为局部最大值，如果是，则抑制该像素(像素不属于边缘)。其是一种边缘细化技术，用最急剧的变换选出边缘点。

(4)对梯度取两次阈值。Canny边缘检测算子通过对梯度按阈值取舍方法检测边缘，用两个分别称为低通阈值和高通阈值的阈值T1和T2，把梯度小于T1的像素灰度设为0，得到图像1。把梯度小于T2的像素灰度设为0，得到图像2。由于图像2的阈值较高，噪声较小，但损失了有用的边缘信息，而图像1的阈值较低，保留了较多信息。因此可以在图像2的基础上，以图像1为补充连接图像边缘。

将Canny边缘检测算法应用于天窗开度检测，图7为开度50%、100%时得到的检测图像。同样利用开度和天窗边沿所在位置的关系，判断天窗开度。

选取时长分别为52、34、26、24 s的4段视频，分别采用背景差分法和Canny边缘检测算法进行风机状态检测。表2为不同检测算法所需时间。

表2 天窗状态检测的不同算法时间Tab.2 Execution time of different algorithms for vent state detection

根据表2中4段不同时长的视频段不同算法检测天窗状态所需时间，背景差分法检测监控视频中的天窗状态平均每帧耗时约37 ms，Canny边缘检测算法检测监控视频中的天窗状态平均每帧耗时约107 ms，背景差分法实时性比Canny边缘检测算法好。

3 异常告警

采用图像检测算法对风机和天窗的状态进行检测，当出现检测结果与计算机内部状态不一致、设备故障以及温室内温度异常、出现极端天气等状况下需要异常告警机制，保证设备安全以及温室内作物的正常生长。

3.1 方案

温室环境因子或者设备出现异常状况时，利用微信发送平台飞鸽快信，推送消息到管理员的微信。

3.2 应用

建立飞鸽快信管理员群，通过扫描二维码订阅公众号飞鸽快信，能够接收告警消息。图8为建立的飞鸽快信管理员群。

图9为设备检测状态和计算机内部状态不同时收到的设备告警信息，图10为风速过大没有关闭天窗时的告警信息。通过信息提醒管理员温室内设备出现问题或者设备状态需要调控，可以通过现场查看或者摄像头远程查看设备，及时控制设备。

4 系统应用试验

4.1 试验材料与方法

试验温室位于中国科学技术大学西区信息科学技术学院，面积82 m2，东西长12.2 m，南北跨度8.2 m，檐高4.9 m，顶高6.2 m。温室内安装有温湿度传感器、太阳辐射仪器、CO2浓度传感器，室外设有小型气象站，包括温湿度传感器、太阳辐射仪器、风速风向传感器用于测量环境参数。温室环境调控设备包括风机、天窗、内遮阳网和湿帘等。本系统应用在该试验温室中。

图11为Android客户端界面，分为环境、控制、系统和个人4个标签页，通过点击Tab实现切换。

4.2 试验结果与分析

4.2.1风机状态检测结果

设备状态检测试验在该试验温室内进行，时间为2020年1月2—5日，共4 d时间内对风机状态进行了实时监测，如图12所示。采样时间为1 min，检测时间为1 min，每天采样次数为1 440次。

根据表3帧间差分法和自相关函数法检测风机状态的准确度，对于本试验温室风机状态检测，两种目标检测算法都能够较准确地检测出风机的状态，帧间差分法准确度不小于99.58%，自相关函数法准确度不小于98.75%，帧间差分法的准确度略高于自相关函数法。根据实时运行结果，帧间差分法每帧耗时30 ms，自相关函数法每帧耗时27 ms，自相关函数法的实时性更好。

表3 风机状态检测算法准确度Tab.3 Accuracy of fan state detection algorithm

4.2.2天窗状态检测结果

设备状态检测试验在该试验温室内进行，时间为2020年1月9—11日，共3 d时间内对天窗状态进行了实时监测，如图13所示。采样时间为1 min，检测时间为1 min，一天中采样次数为1 440次。

根据表4分析背景差分法和Canny边缘检测算法的准确度，背景差分法和Canny边缘检测算法都能够较准确检测出天窗的状态，准确度不小于99.58%，Canny边缘检测算法的准确度略高于背景差分法。根据实时运行结果，背景差分法每帧耗时18 ms，Canny边缘检测算法每帧耗时24 ms，背景差分法实时性优于Canny边缘检测算法。

表4 天窗状态检测算法准确度Tab.4 Accuracy of vent state detection algorithm

5 结论

(1)根据现代温室的管理需求，设计了现代温室智能监控系统。系统由现场监控模块、服务器和Android客户端组成，每个部分相对独立，具有较高的应用性、可扩展性和可维护性。Android客户端具有实时环境数据显示、历史数据查询、设备控制、实时视频监控等功能。系统便利性好，不受时间地域限制，用户可以在具备网络覆盖的条件下通过手机对温室进行监控。

(2)利用温室内摄像头监控设备状态，采用帧间差分法和自相关函数法判断风机停转，采用背景差分法和Canny边缘检测方法识别天窗开度，实现了设备状态监测，解决了无位置伺服反馈设备难以获取其精确状态的问题。具有异常告警机制，当设备出现异常状况或者温室内环境信息异常时，系统自动向用户发送消息。

(3)采用图像检测对温室内的风机和天窗设备进行状态检测，由于温室内摄像头只有一个，且位置固定故只能监控风机和天窗两种设备，对于遮阳网和湿帘没有进行状态检测。后续研究可以通过增加摄像头对温室内其他设备进行状态检测，以及通过图像处理的方法对温室内植物的生长状况、病虫害状况进行监测。