基于热红外视频图像监测的海面溢油识别技术研究

王利锋，辛丽平*，刘家硕，鞠莲

(1.青岛理工大学 信息与控制工程学院，山东 青岛 266520；2.国家海洋局北海环境监测中心，山东 青岛 266033；3.山东省海洋生态环境与防灾减灾重点实验室，山东 青岛 266033)

1 引言

随着海洋运输业的发展，海面溢油事故（船舶溢油、油轮溢油、油井平台溢油）的发生也愈加频繁。若溢油事故未被及时发现并得到有效控制，溢漏的石油（原油、汽油、柴油等）在海风/浪的影响下将会在海面上形成数百甚至数千平方千米的大规模油膜覆盖，这必将严重破坏海洋生态环境[1-3]。因此，开展海面溢油识别技术的研究以第一时间鉴别溢油的发生，不仅可以及时发现并有效控制溢油事故，而且有利于防治海洋环境污染、保护海洋生物资源。

目前，海面溢油监测方式主要有浮标监测、遥感监测、船舶监测、定点监测等[4-6]。浮标监测是通过观测浮标监测海水特性指标来分析海面是否存在油膜，该方法只能监测已设置浮标的固定区域海面是否发生溢油，对于未设置浮标的区域无法探测。遥感监测是通过卫星和飞行器携带可见光传感器、紫外传感器、多/高光谱成像仪、合成孔径雷达（SAR）或激光荧光传感器等传感检测设备来感知海面是否存在油膜以识别海面溢油的发生[7-11]。其中，可见光传感器与紫外传感器受外界光照条件影响严重，其应用场合十分有限；多/高光谱成像仪的检测精度受云层及海面恶劣天气影响严重[8-9]；SAR 虽可穿透云层、全天候检测海面油膜，但难以排除生物油膜、降雨区、低风速区等“假目标”区域的干扰[10-11]；激光荧光传感器是目前唯一能探测海滩、冰雪油污染的传感器，但其造价昂贵，推广困难[4]。遥感监测只有在海面已呈现大规模油膜覆盖后才能识别海面溢油，对于石油运输、码头作业等过程中发生的持续性小规模溢油，遥感监测无法及时识别溢油事故。船舶监测是通过巡逻船携带传感器对海域进行巡视来采集海面信息[12]。定点监测是在码头、港口的特定区域设置固定的传感器来监视海面是否发生溢油[6]。如德国OPTIMARE 公司的溢油监测设备SpillWatch；美国InterOcean 公司的Slick Sleuth；深圳盐田港布置的激光荧光传感器溢油报警装置[13]；它们能实时获取特定区域的海面环境信息，故在及时发现溢油事故方面有一定优势。但由于它们所采用的传感器易受到太阳耀斑、海面波浪、低光照、海雾等恶劣天气条件的干扰，其检测精度和灵敏度难以令人满意[12-13]。热红外传感器是基于油膜呈现的热特性来分析油膜的物理化学性质，不仅能克服太阳耀斑及光照条件对油膜识别带来的影响，还能全天候监测海面油膜的具体分布情况及其变化趋势[14-18]。但热红外传感器难以区分与油膜具有相同/相似的热特性的自然物体（如水藻及其他海面漂浮物）[5]。此外，目前主流的视频监测算法在复杂海面环境下容易产生误报，且处理时间较长，因此难以满足实时监测的需求[19-20]。

为此，本文结合溢油发生时油膜面积迅速扩大的特性，采用热红外视频图像监测油膜面积变化，通过设置面积变化率阈值来排除相似物干扰区域，从而提出快速识别海面溢油区域的方法。基于单帧热红外图像提取海面前景区域并通过已开发的像素面积法[21]计算各区域所代表的实际物理面积；基于单帧热红外图像提取海面前景区域（包含油膜区域和相似物干扰区域）并通过已开发的像素面积法[19]计算各区域所代表的实际物理面积；基于视频图像跟踪测算前景区域中各连通区域的实际物理面积；依据石油泄露时海面油膜的扩散特征，设置面积变化率阈值，当海面前景区域的面积变化率大于所设阈值时，标志着该海面区域正在发生溢油。本方法能快速识别特定场景下（如码头、船舶等）正在发生的海面溢油，能为溢油事故的及时发现和有效控制提供技术支持。

2 实验与原理

2.1 实验材料与装置

本次实验选用Fotric288 非制冷型红外热像仪采集海面视频数据，红外热像仪的关键设备参数如表1所示。实验用石油样品为美孚（Mobil）公司黏度等级为20W-50 和0W-20 的成品油。实验海水来自胶州湾近海水域。实验水槽为污染物运移水动力模拟水槽（国家海洋局北海环境监测中心，青岛），长、宽、高分别为20 m、0.8 m、2 m，水槽外侧与底部设有隔光纸（去除杂光干扰），水槽配有造浪装置，可产生周期为2 s、振幅为0～50 cm 的规则波，实验时水槽内水深为1 m。溢油模拟装置采用直径8 cm、高10 cm 的自制塑料圆环。

表1 Fotric288 参数规格Table 1 Specifications of the Fotric288

2.2 视频图像采集

实验室位于地下一层，为恒温实验室，实验时室内温度为23 °C、湿度为65%；实验前将海水注入实验水槽中并于恒温实验室内静置48 h 以上。将热像仪安装在距水面1.5 m 位置以垂直监测水面状况。水面溢油油膜视频图像采集示意图如图1 所示，将溢油模拟装置（塑料圆环）静置于水面（热像仪可监测范围内）；用量筒量取50 mL 的石油样品，通过导油管缓慢滴入溢油模拟装置；待石油样品完全滴入并保持稳定后，撤除模拟装置，用红外热像仪记录油膜扩散的动态变化过程。实验设置3 种不同的水面环境（分别为平静水面环境、含波浪干扰的水面环境、含漂浮物干扰的水面环境），共采集5 组不同实验条件下的视频数据，具体实验条件如表2 所示。每组数据采集完毕后，使用吸油毡清理水槽。

图1 水面油膜热红外视频采集示意Fig.1 Schematic of thermal infrared video acquisition of water surface oil film

表2 实验条件Table 2 Experimental condition setting

2.3 海面油膜识别原理

由于油与水的热辐射率存在差异，油膜区域与海面背景在热红外图像中的亮度温度不同，当油膜厚度大于最小可检测厚度时，亮度温度是识别油膜的可靠参数[17]。虽然海面漂浮物等相似物干扰区域可能在热红外图像中表现出与油膜区域相同或近似的亮度温度特性，但相似物干扰区域通常无明显的面积变化特性。而石油在泄漏初期会向四周快速扩散，具有明显的扩散特征。Lehr 等[1]于波斯湾进行了溢油扩散实验，使用同种轻质原油，分别获取了20 桶与51 桶油在水面的扩散情况。油膜区域面积变化情况如图2所示。

图2 油膜区域面积变化情况Fig.2 Variation of the area of oil films

可见，在石油泄漏早期，油膜区域面积呈单调递增趋势。因此，可以通过热红外视频图像中油膜的面积变化特性来排除相似物的干扰。

3 方法

3.1 单帧热红外图像处理方法

3.1.1 图像预处理

热像仪采集到的原始热红外视频图像以RGB 颜色空间表示，R、G、B 分别代表图像的红、绿、蓝3 个色彩通道，图像中每个像素点以一个三维数组表示。通过下述步骤对图像进行预处理：（1）对比R、G、B 各通道的灰度分布特征，选择灰度分布最均匀的分量灰度图像替代原始图像；（2）采用3×3 的中值滤波器进行滤波处理；（3）采用拉普拉斯算子进行锐化处理，补偿由中值滤波引起的图像模糊现象。

3.1.2 前景区域分割

在本文中，水面油膜区域和相似物干扰区域为前景区域，其他区域为背景区域。由于前景区域与背景区域之间具有明显的灰度值差异，因此选用Otsu[22]提出的最大类间方差法对图像进行分割。将图像中灰度值大于阈值T的像素群认定为前景区域，小于T的像素群认定为背景区域，可表示为

式中，f(x,y) 为 灰度图像中任一点的像素值；g(x,y)为分割后二值图像中对应点的像素值。

分割后图像中存在孔洞与离散像素的干扰，采用形态学操作对图像进行降噪处理。设Qi为前景区域中的第i连通区域，i≥1，则经形态学操作后图像中任意一点的像素值可表示为

Qi的像素数量和可表示为

3.2 面积计算方法

图像中任一单位像素在世界坐标系中都代表一块实际物理区域，利用像素面积法[21]可求得单位像素在世界坐标系下所代表的实际物理尺寸，从而计算出图像中任意区域所代表的实际物理面积。连通区域Qi的实际物理面积可表示为

式中，H为红外镜头焦点至成像平面的物距；α×β为红外镜头的视场角。

3.3 视频图像处理方法

3.3.1 多帧图像间的区域跟踪

由于海面存在海风、海浪、海流等外力的影响，海面油膜除了扩散外，往往还会出现径向移动。在图像中的表现为：多帧视频图像间的Qi的像素数量和重心坐标会不断发生改变[23]。为此，本文通过以下步骤实现多帧图像间的连通区域跟踪：

（1）分别对当前帧图像ft与前一帧图像ft-1进行3.1 节中的单帧图像处理，得到处理后的图像与，其中i和j分别为当前帧图像与前一帧图像中连通区域的数量。

（6）重复上述步骤实现连续多帧图像间的区域跟踪。

3.3.2 油膜区域的提取与标记

由于在溢油初期油膜区域面积会迅速增大，若前景区域中某一连通区域在多帧图像内的面积呈单调递增趋势且变化率大于一定范围，则可将其认定为感兴趣的油膜区域（Region of Interest,ROI）；若前景区域中某一连通区域在多帧图像内面积变化不大或无变化，则将其认定为相似物干扰区域。基于上述特性，通过多帧图像间的连通区域面积变化率进行ROI 提取，可表示为

若前景区域中连通区域Qi的面积变化率满足式（8），则Qi为图像中的ROI，数学表达式为

如此一来，图像中的ROI 即被提取出来，且表示为白色。通过对与原始热红外图像进行像素融合，可在原始热红外图像中标记ROI[24]。

4 结果与讨论

4.1 单帧热红外图像处理结果

图3 是平静水面条件下的20W-50 成品油单帧图像处理结果。可以看出，原始热红外图像中前景区域与海面背景的亮度温度差异明显。经预处理后图像中的细微噪声被较好地去除且区域边缘特征明显。经前景区域分割后，图像转换为二值图像，图像中仅有一块连通区域。经面积计算后可得，连通区域所代表的实际物理面积（S1）为42.23 cm2。为含漂浮物干扰的水面条件下的0W-20 成品油单帧图像处理结果。图4 能得到与图3 相同的前景区域分割效果。图4c 的二值图像中有两块连通区域。由图4d 可见，经面积计算后，各连通区域的序号在区域重心位置给出，连通区域1（S1）与连通区域2（S2）所代表的实际物理面积分别为84.41 cm2与96.02 cm2。

图3 水槽实验平静水面条件下的20W-50 成品油单帧图像处理结果Fig.3 Image processing results of 20W-50 refined oil under calm water surface in tank experiment

图4 含漂浮物干扰的水槽实验条件下的0W-20 成品油单帧图像处理结果Fig.4 Image processing results of 0W-20 refined oil under water surface with floating objects in tank experiment

4.2 视频图像处理结果

4.2.1 平静水面条件下的多帧图像处理结果

为了提高实际应用场景下的处理速度，选择等间隔采样构造视频图像处理数据集，采样间隔为5 帧（即1/6 s），在每秒30 帧图像中选择6 帧进行处理。本文取每秒钟图像的第1 帧、第6 帧、第11 帧、第16 帧、第21 帧、第26 帧（分别用t1-t6表示）构建数据集。

图5 为水槽实验平静水面条件下的20W-50 成品油多帧图像处理结果，可以看出，6 幅二值图像中都仅存在单块连通区域。连通区域1 所代表的实际物理面积不断增大，在6 幅图像中从42.23 cm2逐步增加至114.63 cm2。由于其面积变化率大于M，判定连通区域1 为ROI。如图5d 所示，连通区域1 在原始热红外图像中以黄色标记，其面积在图像左上角以黄色字符表示。

4.2.2 含波浪干扰的水面条件下的多帧图像处理结果

图6 是水槽实验含波浪干扰水面条件下20W-50成品油多帧图像处理结果。可以看出，图像中仅有一块面积逐渐增加的连通区域，其面积从58.93 cm2逐步增加至207.54 cm2。从图6d 可以看出，标记出的ROI 与原始图像中的前景区域完全吻合。与图5d 中的计算结果对比可以看出，相较于平静海面下的油膜扩散情况，在水面含波浪干扰的情况下，油膜的扩散面积更大。图7 是水槽实验含波浪干扰水面条件下0W-20 成品油多帧图像处理结果，可见图7 也能达到与图6 相同的分割效果。图7 中ROI 区域面积从156.35 cm2逐步增加至455.2 cm2。图7d 中标记出的ROI 与原始图像中的前景区域完全吻合。对比图6与图7 的面积结果可见，由于0W-20 成品油的黏度低于20W-50 成品油，其在水面的扩散面积更大。

图5 水槽实验平静水面条件下的20W-50 成品油多帧图像处理结果Fig.5 Multi-frame image processing results of 20W-50 refined oil under calm water surface in tank experiment

图6 水槽实验含波浪干扰水面条件下20W-50 成品油多帧图像处理结果Fig.6 Multi-frame image processing results of 20W-50 refined oil under water surface with waves in tank experiment

图7 水槽实验含波浪干扰水面条件下的0W-20 成品油多帧图像处理结果Fig.7 Multi-frame image processing results of 0W-20 refined oil under water surface with waves in tank experiment

4.2.3 含漂浮物干扰的水面条件下的多帧图像处理结果

图8 是含漂浮物干扰的水槽实验条件下的20W-50 成品油多帧图像处理结果。可以看出，经前景区域分割后，各连通区域被完整地提取，其形状特征与原始图像保持一致。连通区域1 的面积在6 幅图像中基本无变化，保持在95～98 cm2的区间内；连通区域2 的面积在6 幅图像中逐渐增大，从63.23 cm2增加至149.13 cm2；连通区域3 的面积保持在6～6.20 cm2区间内；连通区域4 仅在后两幅图像中出现，面积分别为1.17 cm2与1.02 cm2。由于连通区域2 的面积呈单调递增趋势，且面积变化率大于M，而其他连通区域虽然面积发生变化，但变化率不大，且不满足单调递增规则。因此，将连通区域2 认定为ROI，如图8d所示，标记出的ROI 与实际观察到的水面油膜区域一致。

图9 是含漂浮物干扰的水槽实验条件下的0W-20 成品油多帧图像处理结果。可见，图9 也能达到与图8 相同的分割效果，分割后海面上存在两处明显的连通区域。连通区域1 的面积在6 幅图像中逐渐增大，从84.41 cm2增加至351.54 cm2；连通区域2 的面积维持在93～99 cm2区间内。由于连通区域1 的面积呈单调递增趋势且变化率大于M，将其认定为ROI，这与实际观察到的海面油膜区域一致。

4.3 面积计算结果与误差分析

图10 是在5 种实验条件下的ROI 面积变化情况。可以看出，各实验条件下的ROI 面积均呈单调递增趋势，这与Leh 等[1]所得到的实验结果一致。在保持相同的水面条件时，黏度更低的0W-20 成品油的ROI 扩散面积大于20W-50 成品油的扩散面积。在使用相同的石油样品时，油膜在含波浪干扰的条件下的扩散面积大于平静水面下的扩散面积。在海面存在漂浮物干扰时，所用方法依然能准确跟踪ROI 扩散情况。显然，该方法在5 种实验条件下均能有效跟踪水面油膜的面积变化情况。

图10 不同实验条件下的感兴趣的油膜区域面积变化情况Fig.10 The changes of the area of region of interest under different experimental conditions

为了获得各帧图像间的油膜扩散速率，在含漂浮物干扰的水面条件下，取原始热红外视频中的前60 帧（即前2 s）图像，根据式（8）计算了20W-50 成品油与0W-20 成品油图像ROI 的面积变化率M，并对M进行了最小二乘拟合，结果如图11 与图12 所示。可以看出，在溢油刚扩散时的ROI 面积变化率最大，随着时间的推移，M呈递减趋势并逐渐趋近于0。

对比图11 与图12 可以发现，黏度更低的0W-20 成品油的M在数值上整体高于20W-50 成品油，20W-50 成品油的M最大值为15.18%，0W-20 成品油的M最大值为19.31%，可见石油样品的黏度会对M取值产生影响，黏度越低的石油样品M值越大。20W-50 成品油的M值在变化率为1.45%之前变化较快，之后变化稳定并逐渐趋近于0；0W-20 成品油的M在变化率为1.51%之前变化较快，之后变化稳定并逐渐趋近于0。故本文所用视频图像（采样间隔为5 帧）的M分别取上述变化率的5 倍值，即7.25%与7.55%作为参考值。此参考值仅适用于本文所述实验条件，在实际应用时需要根据应用场景调整参数。

图11 含漂浮物干扰的水槽实验条件下的20W-50 成品油图像帧间感兴趣的油膜区域面积变化率Fig.11 The inter-frames region of interest area change rate of 20W-50 refined oil images under water surface with floating objects

图12 含漂浮物干扰的水槽实验条件下的0W-20 成品油图像帧间感兴趣的油膜区域面积变化率Fig.12 The inter-frames region of interest area change rate of 0W-20 refined oil images under water surface with floating objects

在进行包含漂浮物干扰的海面实验时，海面存在10 cm×10 cm 的均匀泡沫板。以泡沫板作为参照物，可根据式(10)计算本次实验的面积计算平均误差，

式中，I为采样帧数；S为参照物面积，本实验S为100 cm2。

可得面积计算平均误差为4.05%。结合图8 与图9 所得的面积计算结果可以看出，所得到的参照物面积计算结果均小于参照物的实际物理面积。

图8 含漂浮物干扰的水槽实验条件下的20W-50 成品油多帧图像处理结果Fig.8 Multi-frame image processing results of 20W-50 refined oil under water surface with floating objects in tank experiment

图9 含漂浮物干扰的水槽实验条件下的0W-20 成品油多帧图像处理结果Fig.9 Multi-frame image processing results of 0W-20 refined oil under water surface with floating objects in tank experiment

4.4 方法对比与定量评估

为了验证算法的有效性，将本文算法与GMM（Gaussian Mixture Model）、WEBS（Wigner-Entropybased Background Subtraction）[19]、SFS（Spatiotemporal Features of Superpixel）[20]的ROI 提取效果进行对比。以20W-50 成品油在3 种实验条件下的前60 帧图像作为数据集，分别使用上述方法进行处理，结果如图13、图14、图15 所示。

图13 水槽实验平静水面条件下20W-50 成品油图像感兴趣的油膜区域提取结果对比Fig.13 Comparison of region of interest extraction results of 20W-50 refined oil image under calm water in tank experiment

图14 水槽实验含波浪干扰水面条件下20W-50 成品油图像感兴趣的油膜区域提取结果对比Fig.14 Comparison of region of interest extraction results of 20W-50 refined oil image under water surface with waves in tank experimsent

图15 含漂浮物干扰的水槽实验条件下的20W-50 成品油图像感兴趣的油膜区域提取结果对比Fig.15 Comparison of region of interest extraction results of 20W-50 refined oil image under water surface with floating objects in tank experiment

可以看出，GMM 在3 种条件下可以检测到帧间的像素变化情况，但无法完整提取变化区域。WEBS算法虽然可以完整提取ROI，但其前景区域中也包含了大量的干扰信息；SFS 算法提取的ROI 损失了部分区域信息；相较之下本文方法提取出的ROI 保证了区域完整性，与原始图像中的油膜区域吻合度最高，又较好地剔除了非目标区域像素的干扰。

通过定量评估进一步验证算法的有效性，本文以F-Measure 与处理时间为指标，对不同方法之间的性能进行客观对比，F-Measure 与处理时间均取60 帧图像计算结果的平均值。F-Measure 为精确率和召回率的加权平均和，该值表示算法在提取ROI 的同时又抑制非ROI 目标的能力。F-Measure 的计算方法为

式中，P为精确率；R为召回率；β为权重系数，在算法评价时准确度相较于召回率更加重要，因此本文的β2取0.3 以强调精确率。

不同方法的对比结果如表3 所示。可以看出，相较于GMM、WEBS、SFS 算法，本文算法在3 种实验条件下的F-Measure 均有明显提升，且本文的平均处理时间为各算法最短。这表明本文算法可快速、精准、有效地提取ROI，且对不同的水槽实验环境均有良好的适应度。

表3 不同方法的感兴趣的油膜区域提取效果对比Table 3 Comparison of region of interest extraction results of different methods

5 结论

本文基于热红外视频图像观测数据，提出了一种识别海面溢油的方法。基于单帧图像处理算法对数据进行预处理、前景区域分割、连通区域面积计算。基于视频图像处理算法对ROI 进行提取并标记。实验结果表明：所用单帧热红外图像处理算法可有效分离图像中的前景区域；所用像素面积法可准确计算各连通区域所代表的实际物理面积，面积计算平均误差为4.05%。所用视频图像处理算法可实现帧间区域

跟踪，基于面积变化阈值的油膜识别方法可有效提取并标记ROI，提取出的ROI 与海面真实油膜区域吻合度高，且对不同种类石油样品产生的油膜均具有良好的适应性。在实验室模拟的平静水面、包含波浪干扰的水面、包含漂浮物干扰的水面条件下，该方法均能有效跟踪油膜区域的面积变化，具有良好的溢油识别精度。

致谢：本研究的实验过程中得到了国家海洋局北海 环境监测中心的大力帮助，在此表示衷心的感谢！