基于色彩模型的水下海参图像增强方法研究
2022-10-31禹志鹏龙杜辉刘康
禹志鹏,龙杜辉,刘康
(200082 上海市 上海理工大学机械工程学院)
0 引言
随着生活品质日益提高,人们对海参的需求量越来越大,海参养殖产业也随之迅速发展,但是由于海参的捕捞方式十分麻烦,目前我国大部分海参的捕捞方式仍然为人力潜水采集为主[1-2],这项工作不仅工作强度大,而且风险系数非常高,并且人力采集也难以到达海参捕捞效率要求。减少捕捞人的捕捞风险,更快地实现自动化捕捞成为了目前迫切需要解决的问题。现阶段研究与应用多以结合目标识别技术的水下捕捞机器人来完成海参识别与自动化或半自动化捕捞,为了完成水下作业任务,机器人需要具有对水下目标进行识别的能力。
机器视觉是用可以代替人眼的光学装置和传感器来对客观世界三维场景进行感知水下机器,视觉方法的核心是图像处理技术。因为水下环境的特殊性,往往我们摄像头采集到的图片不能够达到我们后期处理的预期,需要我们对图像首先进行图像增强,提高图像的质量和对比度以便后期进行目标识别与三维定位。近年来国内外有一些有关研究成果公诸于世,Schettini[3]等总结水下图像处理可被分为图像增强和图像恢复的方法;Wen[4]等根据 RGB 三个颜色通道将水下彩色图像分成3 个单独的彩色图像,分别对3 张单独的图像进行直方图均衡化,然后将3 张图片组合到一起,最终输出的图像有着高对比度与丰富的色彩信息;乔曦[5]等发现海参和背景图像在纹理、形状和颜色等特征上存在差异,因此其基于目标与背景之间的差异性完成了对海参的实时识别。
由此可见,水下图像增强技术在目前的视觉研究方面占据着十分重要的地位。本文以水下海参图像作为研究对象,着重研究了水下海参图像的增强方法,提出了一种改进于颜色模型的增强方法,并比较该算法与传统算法处理图像后图像的质量指标,证明了该算法的优势性,并且在水下图像增强方面有一定的普适性。
1 水下成像模型
因为水的密度比空气大700 多倍,所以水下环境的能见度比较低,而且由于水中水介质存在的原因,导致光在水中传播时会发生不同程度的折射与散射现象(如图1 所示),这就使水下摄像机拍摄到的目标物呈现对比度低、模糊、光照不均匀等一系列特征。
根据图1 的水下成像模型,可以把水下图像表示为3 个分量的相加[6]。
图1 水下成像模型Fig.1 Underwater imaging model
(1)直接衰减分量可以表示为直接被目标物反射回来的光线,用式(1)表示:
式中:(x,y)——图像像素的横纵坐标;c——图像的红、绿、蓝3 个颜色通道;E(cx,y)——目标物的反射光线;d(x,y)——目标物到摄像头的距离;a(c)——衰减系数。不同光在水中的衰减系数是不同的,所以海底图像随着深度的增加会以蓝色绿色为主。
(2)前向散射分量表示目标物反射回摄像头的过程中因为水介质而发生的散射,用式(2)表示:
式中:g(cx,y)——点扩散函数;“”——卷积。
(3)后向散射分量表示为非目标物周围的背景经过水介质散射后进入到摄像头的光线,用式(3)表示:
式中:B∞(c)——背景光。
综上所述,水下图像可用式(4)表示:
2 水下图像增强算法
2.1 直方图均衡化算法(HE)
直方图均衡化是一种比较简单有效的图像增强算法[7],主要用于增强图像的灰度范围较窄的图像,增强图像的对比度,使图像的灰度大致落在整体部分。
为了方便研究,设r,s分别为归一化以后的原图像的灰度和经过直方图算法处理后的灰度,所以对于每一个r都有一个经过变换函数T(r)的s与之对应,用式(5)表示:
根据概率论的相关知识可以知道,设r的概率密度为pr(r),因为s是关于r的函数,所以s的分布函数Fs(s)可以表示为式(6):
对式(6)两边同时求导可得
根据式(7)可知,HE 是把输入图像的累计分布函数作为变换函数的图像增强技术,这个算法的优点在于算法简单,并且运行速度快。但是这种算法对于水下工况较为复杂的场合并不适用,而且由于对红色通道进行了过度补偿,图像很容易产生色偏、失真等问题。为了改进这类问题,Zuiderveld 提出了限制对比度的自适应直方图均衡化算法。在提高算法的运行速度方面,前人采用了线性插值的方法,这种方法不会影响算法处理图像的质量而且能有效提高算法处理效率。CLAHE 算法能够解决HE 算法不能解决的低光照问题,但是在解决颜色失真方面没有太大效果。
2.2 基于Retinex 的水下图像增强算法
Retinex 是一种常用的建立在科学实验和科学分析基础上的图像增强方法,是Land[8]等人从人眼对颜色的感知特性出发研究出来的增强算法。Retinex 的理论基础如下:
(1)任何物体的颜色都是由红色光、绿色光、蓝色光的反射能力决定的,而不是光线的反射强度来决定。
(2)物体的色彩不会受到光照的不均匀性而受到影响。
该算法的模型如图2 所示,摄像头接受到的图像Ic(x,y)可以表示为入射光的光照分量乘以物体的反射分量,计算公式如式(8)所示:
图2 Retinex 成像模型Fig.2 Retinex imaging model
基于Retinex 理论的增强算法目的是从拍摄到的原始图像分离出入射光照和目标物的反射分量,从而可以消除因为光照不均匀引起的图像问题,从而提高图像质量。
2.3 基于颜色模型的增强算法
该算法基于色彩平衡及对比度校正技术。目前对比度增强技术被广泛运用于水下图像处理的领域中,受到国内外学者的广泛关注。该算法目的是通过提高水下图像的对比度、细节来提高图像的质量。本文在对比度校正方面使用了直方图拉伸技术,将全局直方图拉伸应用到图像直方图上,在原拉伸模型的基础上,研究并修改了红色通道和绿色通道的倍增系数,而蓝色通道选择原图像蓝色像素的平均值,最后重组为三通道的彩色图像,再进行后续操作,更好地提高图像的质量。具体算法可以分为以下3 步:
(1)首先对RGB 三颜色进行颜色平衡;
(2)对图像的RGB 模型进行对比度校正;
(3)将RGB 模型转换为HSI 模型,并且对HSI 模型进行对比度校正。
本文算法对水下海参图像处理流程如图3所示。
图3 算法流程图Fig.3 Algorithm flow chart
2.3.1 RGB 三颜色平衡
在水下的工作环境下,由于红光的波长较短,所以水下图像在红色通道上数值较小,导致图像质量不高。为了提高质量,首先在第1 步需要对图像的颜色进行平衡。取3 个颜色通道的像素最大值,如式(9)—式(11)所示。
通过式(9)—式(11)求得图像中最显著的颜色通道,以及该通道下最大的像素点的值,帮助我们后期确定哪些通道需要通过倍增系数来进行增强。第2 步,计算每个颜色分量的平均值,如式(12)—式(14)所示。
式中:M×N——图像中一个通道的像素数;I(i,j)——某一通道下某一位置的像素值。
之前的RGB 通道颜色平衡主要是假设保持主色投射通道不变,基于此色偏计算两个倍增因子来和其他两个通道相乘。但是本文发现,如果通过使用这种以主要色偏通道作为参考对象,最低强度通道将会与更大的倍增因子相乘,这样这个较大的倍增因子将会使原始通道的强度变得不合理,即图像中对象的颜色会偏离原始颜色。因此本文提出了以中值强度颜色通道作为参考对象,重新构造倍增因子,这样就不会产生偏离原始颜色的现象。
中间值由式(12)—式(14)计算出的平均值而确定,将其作为参考值或目标值,由此构造倍增因子,如式(15)—式(16)所示。
然后将图像中最小颜色强度通道与A相乘,最大颜色强度通道与B相乘,这样就能达到更好的颜色平衡效果,并且不会造成太大的色偏现象。
2.3.2 RGB 模型对比度拉伸
低对比度会使图像模糊。针对水下图像对比度较低这一问题,本文通过对强度值范围内进行加权来扩大原来的强度范围,以达到增强图像的对比度的目的。并且为了保证图像的清晰度,防止数值过高或者过低的像素值影响图像,本文选择了0.2%~99.8%之间的像素值来进行对比度拉伸。对比度拉伸公式如式(17)所示。
式中:P0——对比度校正后的像素值;Pi——待处理的像素值;a——0 的下限值;b——255 的上限值;c——图像中当前存在的最小像素值;d——图像中当前存在的最大像素值。
首先根据以上基于RGB 模型的对比度拉伸方法对拍摄出的海参图像的像素值进行处理,增强红色通道和绿色通道,得到处理后的图像,然后再对该图像进行HSI 模型上的强度拉伸。
2.3.3 HSI 模型对比度拉伸
在对图像进行RGB 模型对比度拉伸以后,需要对图像进行HSI 模型对比度拉伸。HSI 是由Hue(色调)、Saturation(饱和度)和Intensity(亮度)3个分量来表现图像,图像的饱和度和亮度是清晰度和可见度的重要参数,因此图像中的对象可以与背景明显区分开来,避免了在RGB 模型上增强会引起的颜色偏移的问题。分离了图像亮度与颜色分量,这种模型更适用于人对图像的解释,且对图像的增强处理只需在一个维度上进行,提升了图像处理速度。
因为本文将HSI 模型拉伸与RGB 模型拉伸结合起来,所以在对图像进行HSI 拉伸时,对下方(朝向黑暗面),上方(朝向明亮面)进行处理,这种处理方式能够很好地将直方图扩展到两个方向。图像中的蓝色区域可以由“S”“I”来调整,从而创建出浅蓝色和深蓝色的范围,使用这种方法可以来控制图像的对比度。光照对于水下图像也是极其重要的,在该模型中可以通过亮度参数来调整。
3 实验研究
为了验证本文图像增强算法的可行性和有效性,实施了水下海参图像采集,图像处理,图像主观、客观对比等步骤。实验场景如图4 所示,包括计算机、水下摄像头、150 L 水箱。
图4 实验场景图Fig.4 Experimental scene
为了模拟在较深水下拍摄图像的色偏问题,本文在原本的清水中加入了甲基蓝试剂对水体进行染色,使图像呈现偏蓝、偏绿,并加入少量氢氧化钠使清水变得略浑浊一点,更好地模拟出了海下工作环境,拍摄出的图像如图5 所示。
图5 水下海参原图Fig.5 Original picture of sea cucumber
在MATLAB 平台上使用不同的增强算法分别为HE,CLAHE,单尺度的Retinex,传统基于RGB 模型算法和本文算法对图像进行处理,通过比较主观评价和客观评价得出结论。
3.1 主观评价
使用上述所有算法对图像进行处理,通过人眼主观识别图像质量的好坏,观察各图像对比度差异,颜色是否均衡,是否存在色偏,判定算法的优劣性,处理结果图如图6 所示。
图6 不同算法的增强图Fig.6 Enhancement chart of different algorithms
从图6 明显可以看出其他算法增强后的图像存在或多或少的色偏问题,而本文增强算法在改善水下图像对比度、色偏等方面更具有优势性。
3.2 客观评价
通过客观评价图像质量指标来对处理后的图像进行定量分析,合理充分地验证本文增强算法的有效性常用的评价指标有:均方误差(MSE),峰值信噪比(PSNR),结构相似性(SSIM)和信息熵,如表1 所示。
表1 所示图像定量结果Tab.1 Quantitative results of the images shown
一般来说,均方误差越小,峰值信噪比越大,说明图像处理效果越好。信息熵的数值越大说明图像包含的信息量越大,而对于结构相似性指标来说,越接近1 表明两幅图像的相似性越大。从表1 的分析结果可知,本文的算法能有效减少噪声,增强图像的对比度,提高图像的有效信息。
4 结论
本文以水下海参作为研究对象,针对水下图像模糊、对比度不高、色偏甚至失真等问题,通过研究并修改色彩均衡模型中的倍增系数,提高了图像增强的效果,改善增强后图像的质量。对不同的水下增强算法进行研究,并用这些算法对原始图像进行处理,得到一系列处理后的图像。通过主观评价和对图像质量的定量分析,验证了本文算法在水下图像增强方面的有效性,并且该方法在同类图像处理方面变现出更好的处理效果。