基于高动态范围成像的温室番茄植株图像色彩矫正方法

冯青春 王 秀 李军辉 李小明 成 伟 陈 建

(1.中国农业大学工学院， 北京 100083； 2.北京农业智能装备技术研究中心， 北京 100097；3.农业智能装备技术北京市重点实验室， 北京 100097； 4.北京农业职业学院， 北京 102208)

0 引言

我国番茄的生产和消费规模均居世界前列[1-2]。随着农业劳动力的流失和人力成本的上涨，番茄种植管理的雇工费用逐年上涨，目前已达到总生产成本的30%以上[3]。种植管理过程中整枝、授粉、采摘、转运以及喷药等环节消耗整个生产周期人力投入的70%以上[4]，因此，亟需研发能够替代或辅助人工作业的智能化作业机械[5-6]。作业对象的视觉信息获取是支撑智能化生产作业的核心技术之一[7-10]。视觉信息是作业区域光照条件与作业对象反射特性综合作用的感观体现。然而，在农业环境下，自然光照波动和复杂背景干扰是影响视觉信息稳定成像的关键因素，表现为光照时空动态变化、视场多元目标辐射特性各异。

目前，针对开放自然环境下图像色彩信息的补偿矫正方法主要涉及图像采集硬件控制和图像数据处理两方面。YUAN等[11]提出了基于色彩恒常特性的太阳光照波动补偿方法,通过动态调整摄像机曝光增益和白平衡参数,保证黄瓜花瓣图像色彩的稳定呈现。FU等[12]通过设置前景LED补光光源(30～50lx)的方式，凸显重叠目标轮廓界限，减少背景干扰，从而解决了夜间猕猴桃视觉识别问题。MANISH等[13]通过实时解析目标图像色彩品质、动态调节补光光源控制参数，实现了低能耗高效曝光补偿。FENG等[14]通过RGB-HIS色彩空间变换，基于色调(H)和饱和度(S)分量阈值对成熟草莓进行分割，克服了光照强度变化引起的图像亮度波动干扰。熊俊涛等[15]提出基于Retinex图像增强算法的荔枝果实图像预处理方法，克服了自然光照条件下摄像机视场亮度不均匀的问题。KURTULMUS等[16]根据自然光照下绿桃果实逆光和顺光图像色彩，建立了绿桃果实识别神经网络模型，克服了不同光照条件下目标色彩变异失真的问题。蔡道清等[17]采用小波变换算法提取农田图像光照不变特征，分离图像中的光照与反射成分，实现不同光照强度下的农田导航线提取。以上研究主要针对特定目标的图像色彩进行补偿矫正，无法精确解析摄像机视场内不同目标的辐射强度特征，对于大视场、多目标和背景复杂的温室番茄植株图像采集缺乏适用性。

针对温室内光照条件时空波动、复杂背景辐射亮度突变引起图像色彩失真的问题，本文采用高动态范围成像技术，通过融合不同曝光度的图像信息恢复视场内不同目标的相对辐射强度，从而对图像色彩失真进行补偿矫正，进而实现复杂背景目标色彩的恒常呈现，以期为农业开放环境下作业对象视觉信息获取的相关研究提供参考。

1 温室光照环境特征分析

1.1 光照参数时空波动

受日间太阳光照方向和强度变化影响，半开放温室空间内光照参数呈现时空动态变化。如图1所示，为北京地区秋季(9月)连栋日光温室内07:00—18:00时段光照信息统计，其中光照强度变化范围为800～60 000 lx，且在13:00—14:00时段达到峰值。由于日光温室透光材料具有适度滤光效果，CIEx、y色度值[18]主要分布在0.30～0.35范围内的白色区间，即温室内光照色度变化幅度有限。可见温室内光照强度变化是导致目标图像色彩变异的主要因素，准确解析摄像机视场内不同区域的动态辐射强度信息，是对环境光照波动进行补偿矫正的前提。

图1 温室光照参数波动统计结果Fig.1 Illumination parameters variation statistics in greenhouse

1.2 复杂背景辐射强度的突变

温室复杂背景下不同目标的辐射特性各不相同，其中近端番茄植株与远端温室顶棚和墙壁辐射亮度差异巨大。此外，由温室顶部钢结构投射的阴影区域与太阳直射区域之间也存在亮度突变。然而摄像机成像芯片呈现视场内辐射波动的范围是有限的，在特定曝光强度下会形成图像区域过度曝光和曝光不足，从而导致目标色彩信息失真。图2为不同曝光强度下采集的两幅图像。图2a中，顶棚天空和墙壁色彩正常，番茄植株区域呈现曝光不足；图2b中，番茄植株色彩正常，顶棚和墙壁区域呈现过度曝光。因此，单一全局曝光控制容易导致前景与背景物体图像色彩失真，是摄像机获取温室番茄植株图像面临的客观限制。鉴于此，融合多曝光度图像信息以恢复视场不同区域辐射强度，是矫正图像区域曝光失真的有效途径。

2 基于多曝光图像的辐射响应模型标定

2.1 彩色图像亮度信息提取

鉴于温室光照波动主要体现为光照强度变化，因此本文重点针对图像色彩亮度进行矫正，以达到对目标真实色彩进行重构的目的。CIE XYZ色彩模型是根据人眼感知可见光源色彩原理设计的三原色系统，所有可见颜色都能用三色值(X,Y,Z)表示。数字图像采集和显示色彩描述基于ITU709标准[18]，图像RGB颜色信息与CIE XYZ色彩模型转换公式为

(1)

式中X、Z——CIE XYZ图像色度分量

Y——CIE XYZ图像亮度分量

R、G、B——数字图像色彩分量

由于数字图像RGB分量灰度是经过γ矫正的色彩值[19]，为使得Y更加准确反映图像亮度，需要对其进行γ逆变换修正。

Y′=Yγ

(2)

式中Y′——图像实际成像亮度

γ——矫正系数，取通用值2.20

由图2得到的亮度图如图3所示。

图3 Y分量亮度图Fig.3 Y brightness image

2.2 摄像机辐射响应模型构建

摄像机辐射响应模型用于表示图像亮度与相机感光芯片接收目标辐射能量总和的对应关系。摄像机辐射响应模型标定，是基于图像数据恢复视场辐射强度信息的必要前提。假设对同一场景连续采集P幅不同曝光度的图像，对每幅图像提取相同坐标的N个像素点。为计算方便，将摄像机辐射响应函数[20]表示为其逆函数对数形式。

g(Y′ij)=lnEi+lntj

(3)

式中i——像素点序号

g——摄像机辐射响应逆函数

j——图像序号

Y′ij——图像j中像素点i的亮度，取值范围为0～255

Ei——像素点i对应视场目标点的辐射强度

tj——图像j的曝光时间

根据DEBEVEC标定算法[20]，基于序列曝光时间tj的图像像素亮度Y′ij拟合辐射响应函数(Y′)的最小二乘代价函数ο表示为

(4)

其中

式中λ——正则化系数

ω——权值函数

g″——平滑正则项函数

Y′——图像像素灰度，范围为0～255

将代价函数分别对未知量lnEi和g(Y′)求偏导，且令其一次偏导为零，整理得到

(5)

式(5)可整理为矩阵方程，其中系数矩阵M可分为A、B、C、O4个矩阵块。

(6)

其中

bT=

式中A——N×P行、256列矩阵，每行仅一个非零元素ω(Y′ij) ，该元素列序号为Y′ij

B——N×P行、N列矩阵，每行仅一个非零元素-ω(Y′ij) ，该元素列序号为i

O——零矩阵

x——256+N维列向量

b——N×P+254维列向量

2.3 辐射模型标定

式(6)共有N×P个非齐次线性方程，256+N个未知变量分别为g(Y′)和Ei。为了保证方程组有解，需满足N×P≥256+N。因此本文以同一场景下4幅不同曝光度图像(分辨率640像素×480像素)中的100个像素点为采样点，构建超定线性方程组，采用奇异值分解方法[21]求解系数矩阵M的广义逆矩阵为

M†=VΣ†UH

(7)

式中M†——M的广义逆矩阵

V、U——M的奇异矩阵

UH——U的共轭矩阵

Σ†——M奇异值倒数对角矩阵

则包含未知数Ei和g(Y′)的向量x可表示为

x=M†b

(8)

鉴于温室番茄栽培环境主要包含茎秆、叶片、果实、温室顶棚、棚架和墙壁等约10类不同物体，为了使采样点覆盖视场内的各类物体，根据低曝光图像灰度直方图数据，将其图像亮度区间分为10个等级。对于每个灰度等级从图像中选定10个像素点，即每幅图像取100个点，以作为摄像机辐射响应标定采样点，从而得到系数矩阵M为654行、356列的稀疏矩阵。本文设定4幅图像的序列融合时间为0.01、0.05、0.08、0.10 ms，基于图2场景辐射特征，标定的摄像机辐射响应曲线如图4所示。

图4 摄像机辐射响应曲线Fig.4 Camera response function curve

3 高动态范围图像色彩映射

3.1 视场辐射强度估计

由式(3)可知，在获得摄像机辐射响应函数g(Y′)基础上，可根据图像像素亮度Y′ij和图像曝光时间tj，估计视场内任意点在感光芯片对应点i形成的辐射强度Ei。鉴于图像数据在亮度极值区间存在较大噪声，且在亮度中间范围更可靠，因此需要对视场辐射强度进行补偿[22]。与式(4)同理，对由不同曝光强度图像数据获得的辐射强度引入的加权函数ω(Y′)进行修正，然后求其平均值，得到视场中任意未饱和像素对应的辐射强度估计值为

(9)

3.2 高动态范围的图像亮度压缩

融合多曝光条件下图像信息的视场辐射强度数据是可以更加准确、宽泛描述场景亮度的高动态图像数据，但需要通过色调映射将其压缩到低动态范围进行显示和处理。最大化地保留原有图像明暗信息，是对色调映射算法的基本要求。鉴于人眼对场景亮度感知的近似S形响应特征，本文采用S曲线函数[23-24]将高动态图像数据映射到0～255范围的图像灰度区间。压缩后图像亮度为

(10)

(11)

式中Emax——高动态图像最大亮度

3.3 图像色彩重构

图5 矫正后的亮度图Fig.5 Brightness image corrected

图6 色彩重构后的效果图Fig.6 Color image reconstructed

4 试验与结果分析

4.1 试验设置

图7 番茄植株原始图像Fig.7 Original images of tomato plant

为了验证图像色彩矫正算法的性能，2019年4月20日在北京市昌平区特菜大观园番茄温室进行了现场试验，分别在08:00、10:00、12:00、14:00共4个时段，对3个固定场景采集4幅不同曝光强度的图像。选用PointGray公司FL3-U3-13S2C型相机，配置8 mm镜头，与番茄植株相距800 mm，获得视场区域宽、高分别为500、400 mm。试验过程中相机光圈、增益配置、白平衡等参数配置不变，采用动态指令设置其曝光时间tj为0.01、0.05、0.08、0.10 ms，在线采集番茄植株图像48幅，列举其中不同场景特定时段的序列曝光图像如图7所示。由于4幅图像的采集时间约10 s，因此可忽略采集过程中视场光照条件的变化和视场内物体的移动。

4.2 结果分析

对3个场景4个时段的番茄植株图像进行色彩重构，最终结果如图8所示。通过直观对比图7、8可得，色彩矫正后各场景和时段的图像色彩特征均得到明显改善，克服了原始图像中前景目标番茄植株曝光不足、背景墙壁和顶棚过度曝光的问题，并且不同时段动态光照强度条件下，植株茎、叶和果的色彩特征保持相对稳定。

为了对图像矫正效果进行量化评估，本文引用信息熵、标准方差和平均梯度3个无参考图像质量评估指标[25]，对色彩矫正前后图像的灰度信息量、离散程度、清晰度等特征进行评价，其值越大，图像质量越好。不同场景和时段番茄植株原始和矫正后图像的评价参数统计分别如表1～3所示。

以不同曝光强度的4幅原始图像中指标参数最大图像作为对照，对于不同时段和场景的植株图像矫正前后的指标参数进行对比，以参数变化相对幅度表征图像质量改善程度。由试验结果可得，不同时段和场景的图像质量参数均显著提高，图像信息熵、标准方差和平均梯度平均提高16.87%、9.81%和19.49%。特别地，在不同时段图像质量参数平均增加比例如图9所示。尽管不同时段的图像质量均有改善，且在08:00时改善幅度最大，但是在中午时段改善幅度较小，其原因为中午时段环境光照强，采集的原始图像中亮度饱和失真像素比例增加，使得摄像机辐射响应模型估计误差增加，同时由于饱和像素缺失色彩信息，无法对其进行色彩重构，导致图像整体质量改善有限。因此，优化原始图像曝光时间，结合环境光照信息动态调整采样图像曝光时间，是进一步研究的目标。此外，图像信息熵和平均梯度参数提高幅度可保持在20%左右，标准方差增加幅度较小，因此相对均衡图像灰度，本算法更适于提升图像信息量和清晰度。

图8 不同场景、时段番茄植株图像矫正结果Fig.8 Reconstructed images of tomato plant

表1 图像信息熵统计Tab.1 Image entropy statistics

表2 图像标准方差统计Tab.2 Image standard deviation statistics

表3 图像平均梯度统计Tab.3 Image average gradient statistics

图9 图像质量改善程度Fig.9 Improvement of image quality indexes

5 结束语

针对温室环境光照强度波动和复杂背景亮度突变的问题，提出了基于高动态范围成像的图像色彩矫正方法，有效克服了全局曝光下番茄植株图像色彩失真问题。通过融合0.01、0.05、0.08、0.10 ms曝光时间的 4幅图像亮度数据，可解析摄像机辐射响应模型，并精确恢复视场高动态范围辐射强度信息。以S曲线函数对辐射强度压缩后，替换图像Y分量亮度，可以实现低曝光度图像的色彩重建。试验表明，该方法对不同场景和光照时段的图像均具有显著效果，图像信息熵、标准方差和平均梯度平均提高了16.87%、9.81%和19.49%，且矫正后植株茎、叶和果的色彩特征保持相对一致。本研究可为农业复杂光照条件下作业对象图像色彩信息的获取研究提供技术参考。