一种机器视觉的冰雹检测方法

李 鹏，丁倩雯，嵇佳丽，张思炜

（1.南京信息工程大学 江苏省气象探测与信息处理重点实验室，江苏 南京 210044；2.南京信息工程大学 江苏省大气环境与装备技术协同创新中心，江苏 南京 210044；3.南京信息工程大学滨江学院，江苏 无锡 214105）

冰雹是一种常见的气象灾害，因其突发性强、冲击性大，常对人们的经济造成损失和给生活带来不便。现阶段对冰雹的识别预测主要有经验预测、闪电定位、卫星云图、雷达回波反射等方法，但是从图像方面对冰雹的检测研究尚属空白，且通过雷达识别系统进行冰雹检测的方法依然会存在一定的误差。随着机器视觉和数字图像处理在机器人导航、智能视频监控、工业检测、航空航天等诸多领域的快速发展应用，给冰雹的检测提供了新的角度。M.Sardogan 等建立了一个用于自动特征提取和分类的CNN 模型，结合LVQ 算法将部分的输出特征输送到相应的网络中训练以识别番茄病害；M.B.Asad 等将路标图片从RGB 颜色空间转换到HSV 颜色空间并进行路标二值化，然后通过计算连通分量矩阵行列的最大值与最小值之差来提取路标目标，最后应用模板匹配的方法来进行目标的识别；M.Z.Alom 等提出了一种用于目标识别的卷积神经网络，利用初始网络和递归卷积层相结合的能力，提高整体训练和测试的准确性。

郑一力等运用卷积神经网络，结合迁移学习的方法，在Alex Net 和Inception V3 的框架下对植物叶片图片进行识别，识别准确率较高。祝保林等提出了一种基于机器视觉的小桐子种子识别算法，对小桐子种子优劣品质进行识别分类，准确率达到96%左右。因此本文从机器视觉对冰雹进行检测，为冰雹检测提供了一个新的角度，有利于提高识别效率，降低人工识别的误差，减少人工的损耗；与医学上的“切片”后验类似，对冰雹的面积、周长等进行测量，有利于后续的冰雹粒径分析，为冰雹灾害评估提供有效依据；与雷达检测等方法相结合，将进一步提高冰雹预防和检测能力，对减轻农业灾害、保障人民的生产和生活、促进经济发展和社会稳定具有积极意义。

1 方 法

气象部门一般将冰雹放置在均匀涂满黑色的板子上以此实现冰雹的人工测量，过程繁琐且检测效率不高。本文提出一种基于机器视觉的冰雹识别与分类算法，在准确识别和测量冰雹的前提下提高人工测量的效率，节省时间成本。本文系统的实现步骤如图1 所示。

图1 步骤图

首先，搭建一个冰雹图像采集平台；其次，结合图像处理技术对采集到的冰雹图像进行预处理，衰减图像噪声，增强图像信息；根据目标图像和背景图像在颜色上的差异，对冰雹图像进行初步分割；判断冰雹间是否粘连，应用改进的分水岭算法对粘连部分分割；结合冰雹的颜色特征和形状特征，对分割后的冰雹图像进行特征提取和分析；利用Relief⁃F 算法筛选出权重最大的特征参数；构建支持向量机（SVM）对冰雹和非冰雹图像识别分类；最后，对识别效果进行分析，并对方法做进一步的改进，提高准确率。

2 冰雹图像处理与特征提取

2.1 图像采集

目前并没有完善的关于冰雹图像的数据库，本文的图像数据主要来源于两个方面：一方面通过模拟人工降雹得到训练集，另一方面将采集到的真实场景下的冰雹图片作为测试集。如图2 所示，搭建一个图像采集平台，为了尽量减少图像采集过程中拍摄角度带来的误差，将相机与地面的高度设置为恒定。本文采集室外几种常见背景下的冰雹图片，包括不同粒径、不同程度的冰雹图像，如图3 所示。

图2 图像采集平台

图3 冰雹原图

2.2 图像处理

从采集到的冰雹图片来看，冰雹与其他背景部分相比具有明显的颜色特征，但在实际场景中会出现大面积的粘连、堆积，不利于检测。目前，对粘连图像的分割方法主要有基于阈值的分割方法、基于边缘的分割方法和基于分水岭的分割方法。

基于阈值的分割方法和基于边缘的分割方法运算简单，运行速度快，但分割的效果依赖于阈值选择和边缘定位结果。另外，冰雹的粘连部分具有相似的特征，单凭某一方法难以准确分割。而分水岭方法是处理粘连图像最常用的方法之一，基本思想是把图像中各点像素灰度值表示成该点的海拔高度，通过高度的不同可将整幅图像划分成若干个区域，每个区域都有其灰度极小值，在模拟注水的过程中，水面慢慢地从山底向山顶扩展，随着水位的上升，为了阻止区域的合并，在各个汇水盆地之间修建一个“堤坝”形成分水岭，从而将整个拓扑地貌分割成若干区域。令，，…，M为梯度图像（，）的局部极小值，，，…，C为与之对应汇水盆地中所有坐标集合；C[]为阶段C的集合，[]表示所有C[]的集合；和代表着图像（，）中灰度值的最小值与最大值，则有：

令[]为所有汇水盆地的集合，则有：

随着水位以整数从=+1 到=+1 递增时，若设[]为位于平面（，）=以下点的集合，根据算法[]中的坐标点将会被标记成黑色，其他的坐标点将会被标记成白色，形成一幅二值图片。算法设定选取[+1]=[+1]，然后进入递归调用的阶段，根据阶段的[-1]来求解[]。设为[]连通分量，则对于连通分量，有三种情况：

1）⋂[-1]=∅；

2）⋂[-1]包 含[-1]中 的 一 个 连 通分量；

3）⋂[-1]包 含[-1]中 的 多 个 连 通分量。

当新的极小值产生并满足情况1）时，将[]与[-1]合并；若满足情况2），则将[]与[-1]相应的部分合并；若满足情况3），则在[]中构建分水岭，阻止汇水盆地的结合。

在真实图像中，由于噪声点或其他因素的干扰，若直接对冰雹图像使用分水岭算法常存在严重的过分割现象，使得分割不存在意义。因此，本文针对冰雹提出一种改进的分水岭算法。算法流程如图4 所示。

图4 改进的分水岭算法

步骤1：对采集到的冰雹图像运用RGB 模型滤除复杂的背景，如图5 所示。

图5 滤除背景

步骤2：结合形态学滤波去除分割后多余的噪声，保证冰雹边缘的完整性，二值化结果如图6 所示。

图6 二值化图

步骤3：对二值化图像进行距离变换，即对图像中每个像素点到最近的非零像素点之间距离的运算。欧氏距离计算公式为：

式中：(,)和(,)分别为前后景像素点的坐标。将图像中每个连通域的内部像素点到非内部像素点最短距离构成的集合定义为(,)，Min，Max 为集合(,)中的最小值和最大值，(,)为连通域中每个内部像素点经过距离变换对应的灰度值，则欧氏距离变换的公式为：

步骤4：对距离变换后的图像进行形态学处理，以抑制多余的伪极小值点。

步骤5：对步骤4 得到的图像进行形态学混合开闭重建尺度空间和梯度修正。

步骤6：对变换后的冰雹图像应用分水岭变换。分水岭分割结果如图7、图8 所示。其中，图7 是整体分割结果，图8 为截取分割后的图像并将连通域编号后的结果。从图8 可以看出：大部分冰雹粘连部分得到有效的分割，且形状和大小基本保持不变，在实际降雹过程中冰雹并不会呈现如图7a）所示的规则圆形，大部分情况如图7b），c）所示，呈现大量不规则形状。

图7 分水岭分割图

图8 分水岭分割截取图

2.3 特征提取

在降雹过程中，由于冰雹融化或受到冲击破损，其平面形状并不是标准的圆形，且冰雹的颜色经过光的折射反射后并不是单纯的白色，其中也会夹杂部分杂质，单从其中一方面考虑的话，准确率不高。因此，本文对分割后的冰雹图像分别从形状、颜色两个方面进行特征提取，形状特征包括冰雹的面积、周长、长轴长度、短轴长度、圆形度、离心率、HU 矩、密集度等；颜色特征包括分量、分量、分量、分量、分量、分量。其中，冰雹的面积、周长、长轴长度、短轴长度均通过统计像素法进行测量。实际提取的冰雹的15 个特征参数见表1。

表1 特征参数表

3 识别与分类

3.1 Relief⁃F 算法

Relief 算法是一种特征权重算法，最早由Kira 提出以实现两类数据的分类问题，Kononeil 对其进行拓展，得到Relief⁃F 算法，可以处理多类别问题。鉴于特征的维度将直接影响到检测效率，本文应用Relief⁃F 算法，每次从冰雹的训练样本集中随机取出一个样本，然后从与同类的样本集中找出的个近邻样本，从每个样本的不同类的样本集中均找出个近邻样本，然后更新每个特征的权重。特征的权重值是筛选特征的重要依据，本文利用Relief⁃F 算法对提取的所有特征进行筛选，选取特征权重前5 的特征作为分类器最终的输入。权重结果表示，对识别冰雹与非冰雹影响最大的前5 个权重分别为颜色空间的分量、分量、分量、分量以及圆形度。气象部门根据一次降雹中，多数冰雹（一般冰雹）直径、降雹累计时间和积雹厚度，将冰雹分为轻雹、中雹和重雹。由于本文是对采集后的冰雹图像进行处理，无法从冰雹的图像中得知降雹的持续时间，因而本文暂未考虑降雹时间的影响。从权重结果来看，对判断冰雹属于轻雹、中雹、重雹影响最大的前5 个权重分别为密集度、单个冰雹的面积、短轴长、周长以及圆形度。

3.2 支持向量机分类模型

实验计算机配置：Windows 10 操作系统，8 GB 内存，2.50 GHz CPU，Matlab 2019a。具体步骤：

1）对数据集进行背景滤除、形态学滤波、二值化、粘连分割和边缘检测等操作，分割出目标区域；

2）特征提取，针对性地提取冰雹的颜色特征以及形状特征；

3）将人工模拟降雹的图片作为训练集，将采集到的真实场景下的冰雹图片作为测试集，分类方式选择一对一，学习器设置为SVM，将提取的特征作为SVM 的特征输入，选取高斯核函数作为核函数，采用十字交叉验证对分类性能进行估计。由于此方法需要对惩罚系数和高斯核函数自带参数进行确定，为最大限度地提高验证精度，使用网络搜索方法对参数进行优化处理，将，变化范围设置为-10~10 进行遍历搜索。建立二分类SVM 进行冰雹与非冰雹的识别，当=0.25，=0.176 8 时的SVM 对冰雹与非冰雹的识别准确率最高达97.50%，平均准确率达95.00%；同时建立多分类SVM 进行冰雹的分类，当=0.25，=2 时的SVM 对冰雹的粒径大小分类准确率最高达93.50%，平均准确率为90.25%。冰雹与非冰雹的样本总数和准确率分别见表2、表3。

表2 冰雹识别结果

表3 冰雹分类结果

4 结 语

针对气象部门人工检测冰雹费时费力等问题，本文提出一种基于机器视觉的冰雹检测方法，实验结果表明该方法具有一定的有效性。在接下来的工作中，为了进一步提高冰雹分类的准确率，将进一步扩大样本数据集，尤其是不规则冰雹的数据集；进一步研究对实时监控中的冰雹进行检测，为冰雹的灾后评估提供有效的数据支撑，以减少冰雹灾害带来的经济损失。