基于视觉显著性的农作物图像评价方法研究

李江龙，鲍义东，陈 果

(贵州航天智慧农业有限公司，贵州 贵阳 550081)

0 引 言

21世纪的农业管理是以信息为核心，同时集智能机械、计算机图像图形可视化以及互联网技术为一体的智慧农业时代。目前，数字图像相对于传统照片具有成本低、便携性强、易分析等优势，已经广泛应用于农业领域，如农作物病虫害分析、农作物长势监测以及农作物产量预测等。显然，一幅具有高清晰度、对比度以及无污染的农作物图像是保证后续有价值信息提取的关键。然而，在实际情况中，由于受到图像采集设备和环境，以及图像压缩编码、传输信道中随机噪声、终端解码的影响，终端获得的农作物图像质量往往并不十分理想，严重降低了有用信息的可信度。因此，该文致力于设计一种有效的农作物图像质量评价方法，这对于提升农作物信息化管理具有非常重要的理论和现实意义[1-2]。

一般来说，数字图像质量评价方法根据是否有人的参与分为主观评价方法和客观评价方法[3]。主观评价方法通常是由一组非图像处理专业人员组成的测试者在相同的环境和标准下对图像质量进行主观评分，国际电信联盟对相关标准和环境进行了详细的设定[4]。主观评价方法用人作为评价图像质量的主体，能得到满意的结果，但是，该方法存在不少缺陷：实验环境严格，需要大量的人员和时间，非常耗时耗力。并且，在一定程度上，主观评价方法受测试者的专业知识水平以及心理承受能力等主观非线性因素影响，很难用于实际工程测量中，而只是作为图像质量分析的辅助手段。与此相反，客观评价方法不需要人的参与，通过一个合适的、简单的、易于实现的计算模型来获得图像的质量评分。同时，该计算模型可以通过模拟人眼视觉特征得到与主观评价方法相似的质量评估结果。

具体来说，按照对参考图像信息的依赖程度，客观评价方法可以分为以下三类：全参考图像质量评价 (full-reference，FR)、半参考图像质量评价(reduced-reference，RR)、无参考图像质量评价 (no-reference，NR)[5]。当前，全参考质量评价方法能够取得较好的评价结果，是因为全参考质量评价方法是通过比较失真图像和原参考图像对应像素点的差异来进行评价，需要使用原参考图像的全部有效信息[6-7]，但一个不可避免的问题是实际监测系统中参考信息往往是缺失的。相反，无参考质量评价方法不需要使用原参考图像的信息，更符合实际需求。虽然对人来说，即使没有原参考图像，也能很轻松地判断出图像的失真程度，但对计算机而言，无参考评价方法的准确度仍然需要进一步提升[8-9]。半参考质量评价方法是全参考方法和无参考方法的折中，仅需要原参考图像的部分特征作为参考信息，具有数据量小，时间和空间复杂度低等优点[10-11]。因此，文中以农作物图像为研究对象，以视觉显著性为理论分析依据，建立一种半参考质量评价方法用于提升智慧农业中信息的有效性和可靠性。

1 理论基础

1.1 视觉显著性

根据视觉目标刺激的不同，人类在其自身的视觉系统的调度下，选择性地将注意力集中分配在某些特定区域的生理机制叫做视觉显著性机制[12](visual saliency)。人的视觉系统可以在复杂的背景下，快速准确地搜索到场景中的显著性区域。在计算机领域，视觉信息通常被转换为图像信息，将视觉显著性机制引入到图像处理领域，就发展出了图像的显著性这一研究方向。图像的视觉显著性区域是指图像中的某些像素点比其他部分更能吸引视觉注意，是人眼视觉系统最关注的一部分。显然，发生在显著性区域的失真或者形变更容易被感知，进而影响评价的结果。这极大地促使人们去考虑提取图像的视觉显著特征来衡量农作物图像的质量。人对于图像的注意力视觉选择机制包括至底向上(bottom-up)和由顶而下(top-down)两种，而对于农作物图像显著性检测而言，主要关注的区域是与周边区域差距十分明显的不同点，是一种至底向上的注意力机制。具体来说，文中采用frequency-tuned (FT)显著性计算模型[13]去表征农作物图像的颜色和亮度特征，通过利用局部的亮度和颜色特征来获取对应像素点的显著值，将求取的每个像素点的显著值拼凑在一起形成显著图。FT模型的计算过程如下所述：

第一，Difference of Gaussian滤波(DoG，高斯差分滤波器)。农作物图像多在田间实际环境中采集，由于光照变化、拍照设备、传输通道的原因，农作物图像存在一些噪声，采用高斯差分滤波器可以对图像的噪声进行滤出。此外，DoG滤波器可以反映图像局部的灰度对比值，在一定程度上体现了其在图像中的显著程度。在不同的尺度下，计算一幅图像的DoG滤波结果，其计算公式如下：

G(x,y,σ1)-G(x,y,σ2)

(1)

第二，颜色空间转换。显而易见，无论是图像还是场景，颜色变化是最明显也最吸引人的显著性特征。众所周知，RGB颜色空间是目前应用最广泛、最基础的颜色空间，是数字图像采用的基本颜色表示，但当亮度较低时，RGB模型无法体现颜色显著性[14]。更多的研究者偏向使用CIE Lab模型，CIE Lab模型将亮度和色度区分开，更加符合人眼视觉模型。因此，文中将图像从RGB颜色空间转换到CIE Lab颜色空间，其中L分量表示亮度信息，a和b分量表示两个颜色信息，转换公式如下所示：

(2)

(3)

其中，x0=0.950 456，y0=1.0，z0=1.088 754。

(4)

第三，显著性区域计算。假设Lu，au，bu是CIE Lab颜色空间三个分量的均值，并且使用Lf，af，bf分别表示经过DoG滤波后的三个分量的结果，则最终的显著性区域可以通过如下公式得到：

S(x,y)=‖Lu-Lf‖+‖au-af‖+‖bu-bf‖

(5)

在图1中，(a)是一幅农作物图像，图(b)是农作物图像(a)受到椒盐噪声污染后的结果，使用FT视觉显著性模型分别计算(a)和(b)的显著性图，如(c)和(d)所示。通过图1能够发现，当原图像遭受污染时，相应的显著性区域可以很好地反映出图像质量的退化，在此基础上提取图像特征能够以人眼视觉系统为中心较好地评估客观质量。

图1 农作物图像的视觉显著性图

1.2 梯度幅值

农作物图像相较于其他类型的数字图像而言，往往具有更丰富的纹理、边缘以及轮廓信息，这些信息能够反映农作物表面的共有属性，能对农作物图像中的灰度和同质规律的空间分布进行描述。这些信息在很大程度上反映了农作物的生长情况。例如，通过叶片的轮廓预测农作物成熟时间，通过叶片纹理的粗细判断农作物长势，通过叶片边缘监测农作物是否有病虫害等[15]。因此，对农作物图像进行客观质量评价时，提取能够反映其边缘纹理信息变化的特征对最终的质量评估具有重要意义。文中采用梯度幅值来刻画农作物图像的边缘纹理信息。

(6)

其中，hx和hy分别表示水平和垂直方法的卷积模板，用于从图像中提取梯度信息。

(7)

(8)

在图2中，(a)和(b)分别是农作物图像和受到椒盐噪声污染后的图像，使用文中的梯度计算模型得到最终的梯度信息，如(c)和(d)所示。观察图2能够发现，文中的计算模型可以很好地刻画出农作物图像的边缘和轮廓信息，并且当原图像发生失真时，对应的梯度也遭受一定程度的退化。

图2 农作物图像的梯度信息图

2 算法描述

文中以农作物图像为研究对象，设计一种半参考图像质量评价方法，用于提升智慧农业中信息的可靠性和有效性，同时为高层次的视觉任务提供有力的质量筛选和评价。详细的设计流程如图3所示。

图3 算法整体框图

在发送端，利用文中提出的方法提取原参考图像的直方图特征，该特征将被发送到接收端作为原图像的参考信息用于评价失真图像质量。详细的算法步骤如下描述：

步骤1：对原参考图像进行高斯低通滤波操作，目的是初步降低随机噪声对后续特征提取的影响；

步骤2：利用FT显著性模型计算预处理后的农作物图像的视觉显著性区域，并对该视觉显著性信息进行归一化处理；

步骤3：计算预处理后的农作物图像的梯度信息图；

步骤4：利用步骤2生成的归一化视觉显著性图对步骤3生成的梯度信息图进行视觉加权，得到最终的结合视觉显著性和梯度幅值的标准图像；

步骤5：对上一步得到标准图像进行非重叠分块，对于每一个图像块，对应的梯度方向信息根据需要分割成N个区间。例如，分割成12个区间，则意味着每个区间包含30度，整个直方图包含12维。接着，按照每个像素点的梯度方向，利用双线性内插将其幅值累加到直方图中；

步骤6：按照步骤5的操作，遍历完所有的图像块，得到最终的直方图特征。

在接收端，对于接收到的图像，采用上述步骤得到失真图像的直方图特征，然后计算原参考图像的直方图特征与失真图像直方图特征之间的相似度。文中采用欧氏距离作为相似度的衡量标准，设发送端某参考图像的特征向量为R(r1,r2,…,rn)，对应的接收端失真图像F的特征向量为F(f1,f2,…,fn)，n为向量的维数，用该方法评价参考图像R和失真图像F的距离公式为：

(9)

其中，ri，fi表示样本向量的第i维，欧氏距离dEuclidean越小，表示发送端图像R和接收端图像F相似度越高，说明接收到的图像质量越好，即这幅图像是可靠的，能够用于农作物的深层次任务分析。相反，如果欧氏距离较大，说明接收到的图像质量较差，并不适合于进一步的分析。在实际的质量监测系统中，可以设置一个合适的阈值，小于该阈值，该图像被接收并用于下一阶段的任务分析，大于该阈值，该图像则被直接过滤掉。这大大降低了接收端的存储压力，减少了人工操作的工作量，并且提供了更加快捷有效的农作物图像管理。

3 实验结果

为了说明文中提出的半参考农作物图像质量评价方法的有效性，首先在实验中构建了一个包含20幅农作物图像的数据库，这些图像均来自于真实的农作物摄像采集系统。接着，利用Matlab工具对这20幅原图像分别进行五种失真攻击，具体包含亮度调整，对比度调整，高斯模糊，白噪声，JPEG2000压缩。针对每一个失真攻击，通过调整其对应的参数获得7个不同等级的失真图像。因此，最终的图像库包含20幅原图像，每幅图像对应35个不同类型，不同失真等级的失真图像，即700幅失真图像，共计720幅图像。

此外，文中采用欧氏距离作为衡量参考特征(原图像的直方图特征)与失真图像特征之间的相似度衡量标准，正如上面所描述的，欧氏距离越小，说明失真图像和参考图像的相似度越大，质量更好，可信度更高。理论上，对于某一特定的失真类型，参考特征和失真图像特征之间的欧氏距离应该随着失真等级的增加而严格单调增加，以方便于实际质量评价系统中阈值的设置和图像质量的筛选。图4给出了五种失真操作下，不同失真等级的欧氏距离分布，其中x轴表示7个不同程度的失真等级，y轴表示对应的欧氏距离。观察图4能够看出，文中提出的方法在每一种失真类型下，欧氏距离均随着失真等级的增加而增加。这说明该方法能够很好地感知失真图像的质量退化，正确识别好的图像质量和差的图像质量，满足单调性要求。这很大程度上得益于在该方法设计过程中充分考虑了农作物图像的属性，继而结合图像的视觉显著性和梯度方向信息提取了能够反映图像质量变化的直方图特征。

图4 不同失真类型的欧氏距离分布

4 结束语

文中提出了一种基于视觉显著性的半参考农作物图像质量评价方法，通过考虑农作物图像具有高对比度和边缘轮廓的特征，在梯度域去提取方向直方图特征来刻画图像质量的变化。同时，引入视觉显著性来强调人眼视觉系统在观察图像时的显著区域，这极大地提升了提出的客观评价方法与主观方法的一致性，提升了质量评价的准确度。在包含有720幅农作物图像的图像库上做实验，结果表明，该方法能够非常好地感知图像质量的退化，可以应用于实际的质量监测系统，并且在阈值的控制下可以自动过滤质量差的图像减少人力工作量。特别强调的是，由于真实场景中的图像失真更加复杂，未来将会着重于多重失真的农作物图像质量评价，以更好地服务于新型农业信息化需求。