基于人在回路的目标数据集均衡完备评价方法研究

高峰 聂普璇 刘俊 王港

摘要：面向舰船目标识别应用需求，针对深度学习网络模型在实际应用场景下泛化能力不足的问题，设计了一种基于人在回路的目标数据集均衡完备评价方法。构建舰船目标数据集的均衡完备评价指标体系，通过人在回路的方式进行有监督的评估，同时对数据集进行深度学习网络模型训练和测试。根据评价指标统计量和深度学习网络模型的识别准确率，采用灰色关联分析和逼近理想排序法建立数据集评价模型，实现舰船目标数据集的均衡完备性评价。结合具体实例，研究了对自建数据集采用均衡完备评价方法的评价结果与其识别准确率的变化趋势一致性，验证了该方法的有效性和可靠性。客观定量评价舰船目标数据集均衡完备性能的同时，为数据集的均衡完备性能改进提供优化方向，有助于提高舰船目标识别模型的泛化性能，提高作战信息化、智能化水平。

关键词：数据集；均衡性；完备性；目标识别；舰船

中图分类号：TP319文献标志码：A文章编号：1008-1739（2022）22-52-7

0引言

随着深度学习技术的日益成熟，人工智能的浪潮正席卷全球，在军事应用领域，作战信息化、智能化水平也在不断提高[1]。深度学习作为人工智能关键技术之一，其三大核心要素为：大数据、深度学习算法和高性能计算平台[2]。其中，大数据是当前人工智能发展的基础，在目标识别领域，体现为待识别目标图像样本大数据构成的目标数据集。目标数据集的完整性、均衡性和规模大小直接影响目标识别深度学习网络模型的性能[3-4]。然而，在目标数据集的构建过程中，受成像条件、采集条件、成本、合作/非合作目标等多方面因素限制，存在不均衡、不完备的问题，表现为深度学习目标识别模型泛化能力差，在实验室环境下能取得较好的识别效果，但实际应用中结果不如人意。针对这些问题，数据集均衡完备的全面综合评价显得尤为重要[5-6]，目前的研究大多聚焦于算法和数据层面，Krawczyk[7]引入类别损失来适应不均衡的数据集，Ferreira等[8]通过采样方法调整优化数据集。本文面向舰船目标识别应用需求，构建数据集均衡完备评价指标体系，通过人在回路的方式进行有监督的评估。根据评价指標统计量和深度学习网络模型的识别准确率建立数据集评价模型，实现图像目标数据集的均衡完备性评价。

1基于人在回路的数据集均衡完备评价方法原理框架设计

本文以海洋舰船目标识别场景为例，舰船目标识别数据集的不完备问题主要体现在无法全面描述实际场景中的舰船特点。完备性要求数据集除了能够描述舰船目标的基本形态，还要能够参考实际海洋情况，在船载、岸基等场景下，体现舰船目标应有的特点。结合实际场景下的舰船数据特点，主要从图像属性和目标属性进行完备性分析。图像属性包括图像分辨率、图像质量、类别涵盖和目标数量；目标属性包括目标类别、目标尺度、目标角度和目标背景。

舰船目标识别数据集的不均衡问题主要体现在数据集按不同规则进行划分后，数量比例不均匀。均衡性要求数据集中的不同类别样本数量或比例分布均匀且符合实际场景要求，同时在完备性的各项要求下，每一类属性数量或比例分布均匀。因此除了考虑结合实际的识别框架按类别进行划分，还应当考虑完备性因素。参照传统分类问题中类间距离与类内距离的定义，主要从类间和类内两方面对舰船目标识别数据集进行均衡性分析。均衡性在类间表现为目标类别的数量比例满足均衡性要求，即数量均匀，或与实际场景的目标类别比例一致。均衡性在类内表现为，在单一类别中，从完备性相关因素角度能够满足均衡性要求，即按其完备性因素进行划分后，数量比例均匀，或与实际场景划分后数量比例一致。

在建立图像目标数据集均衡完备评价指标体系的基础上，通过人在回路的方式对舰船目标识别数据集进行有监督的评估，根据评价指标统计量和深度学习目标识别模型的识别准确率进行参数计算，建立评价模型，实现图像目标数据集的均衡完备性评价。基于人在回路的图像目标数据集均衡完备评价方法原理框架如图1所示。

以自建舰船目标数据为基础，构建个指标分布不同的数据集，分别用选定的目标识别深度学习网络模型（为不失一般性，本文选择YOLOV3模型）进行训练[9]，在相同测试集上测试得到平均准确率、漏报率和误报率3项识别准确率指标，并计算各自最终的识别准确率。依据评价指标体系，得到个数据集的指标统计量，并使用卡方检验对统计量进行预处理，确定原始数据与满足均匀分布数据的偏离程度。通过计算评价指标与识别准确率参考值的关联度，得到指标权重；由此确定数据集的最优、最劣方案，计算待评价数据集与最优方案的贴近度。最后，计算整体评价结果和局部评价结果，输出最终的评价结果。

2基于人在回路的数据集均衡完备评价指标体系构建

2.1完备均衡性的数据集评价指标体系设计

以舰船目标识别数据集完备均衡性为基础，参考常规评价体系的指标与原则，按照代表性、全面性和可量化性等标准，设计评价指标体系，如表1所示。

3基于人在回路的数据集均衡完备评价方法实现

3.1基于评价指标的数据统计与处理

4实验验证与结果分析

4.1数据统计与处理

实验自建了舰船目标数据集，包含军船和民船2类数据共6 348张图像，以此为基础，构建不同数据分布的数据集15个，以表示，其中1～10为实验数据集，11～15为待评价数据集，图5为自建数据集的部分展示。构建的各个数据集在所设计的数据集评价指标下，具有不同的数据分布和相同的规模（均为4 228张舰船目标图像以及相同的目标数量（均包含8 757个舰船目标）。为了模拟实际场景下的数据，构建的测试集尽可能满足完备性、均衡性各项要求。所有数据集通过相同的YOLOV3进行训练，相关训练参数保持一致，并通过统一测试集进行验证，得到目标识别算法经过各个数据集训练后的识别准确率，如表3所示。

对原始数据进行基于卡方检验的关联度计算，将单个指标下多个分级统计量的集合转化为单一的指标特征量，即指标的偏离度。计算完成的各个数据集在各项评价指标下的偏离度如表4所示。

对识别准确率进行转化，将多个识别准确率指标转化为一个值，用作描述数据集优劣的参考量，得到的准确率参考值如表5所示。

4.2参数计算实验

根据基于人在回路的数据集均衡完备评价方法流程，使用GRA方法对指标与识别准确率参考值的关联度进行参数计算。将实验数据集指标偏离度进行同向化处理和无量纲化处理，由计算出的关联系数计算指标与准确率参考值关联度，确定各个指标的权重，计算结果如表6所示。

以上為待评价数据集的整体评价结果，可以直观地描述数据集的整体性优劣。接下来计算局部评价结果和可接受最大指标偏离度的卡方值，本文以数据偏差为1倍时的指标偏离度卡方值作为最大指标偏离度。结合指标权重，计算得到待评价数据集各指标偏差因素和对应参考值，如表7所示。

以上为本文中待评价数据集的局部评价结果，可以反映待评价对象的局部性问题，为数据集优化提供支撑。

4.5分析与讨论

对数据集评价结果进行分析，首先针对整体评价结果，待评价数据集贴近度与准确率参考值对比如图6所示，橙色线条表示待评价数据集与最优方案贴近度，蓝色线条表示待评价数据集的识别准确率。可以看出，5个待评价数据集与最优方案的贴近度整体呈现从高到低下降的趋势，而作为参考的识别准确率参考值也呈整体下降趋势，二者变化趋势相近，说明本文的数据集评价方法能够全面、合理地描述数据集各方面特征，评价其优劣，验证了该方法的可靠性。

其次，对于局部评价结果，由表7可知，在5个待评价数据集中，数据集13有1个指标超出了参考偏差因素，数据集14有2个指标超出了参考偏差因素，数据集15有3个指标超出了参考偏差因素。这与整体评价结果基本一致，同时依照这些指标偏差因素，在对数据集进行优化时，可以准确了解到数据集在完备性、均衡性角度具体存在问题的指标，进而进行调整。因此，局部评价结果能够为数据集的构建和优化提供支撑。

综上，本文的数据集均衡完备评价方法能够从完备性、均衡性的角度全面、合理地对数据集进行评价，具有良好的可靠性，同时，评价结果可为数据集构建和优化提供理论支撑，满足实际工程应用的需要。

5结束语

本文面向舰船目标识别应用需求，对舰船目标数据集进行均衡完备性分析，构建数据集均衡完备评价指标体系，通过人在回路的方式进行有监督的评估，同时对数据集进行深度学习网络模型训练和测试。根据评价指标统计量和深度学习网络模型的识别准确率，计算指标与识别准确率参考值的关联度，建立数据集评价模型。本文的创新点在于构建数据集均衡完备评价指标体系，根据评价指标统计量和深度学习网络模型的识别准确率进行GRA，从而确定评价指标权重，并使用TOPSIS建立数据集评价模型，计算待评价数据集与最优方案的贴近度，实现舰船目标数据集的均衡完备性评价。本文可为数据集的科学、全面评价提供理论支持，为构建均衡完备数据集提供解决方案，进而有助于提高舰船目标识别模型的泛化性能，提高作战信息化、智能化水平。

参考文献

[1]万维.基于深度学习的目标检测算法研究及应用[D].成都：电子科技大学，2015.

[2]赵宝康，李晋文，杨帆，等.一种基于深度学习的遥感图像目标检测算法[J].计算机工程与科学，2019，41（12）：2166-2172.

[3]李国和，张腾，吴卫江，等.面向机器学习的训练数据集均衡化方法[J].计算机工程与设计， 2019， 40（3）：812-818.

[4] JOHNSON J M， KHOSHGOFTAAR T M. Survey on Deep Learning with Class Imbalance[J]. Journal of Big Data， 2019， 6（1）：27.

[5]柯逍，鄒嘉伟，杜明智，等.基于蒙特卡罗数据集均衡与鲁棒性增量极限学习机的图像自动标注[J].电子学报， 2017， 45（12）：2925-2935.

[6]张腾.不平衡数据集均衡化方法研究及其应用[D].北京：中国石油大学（北京）， 2018.

[7] KRAWCZYK B. Learning from Imbalanced Data：Open Challenges and Future Directions[J].Progress in Artificial Intelligence， 2016， 5（4）：221-232.

[8] FERREIRA L E B，BARDDAL J P ，ENEMBRECK F，et al. An Experimental Perspective on Sampling Methods for Imbalanced Learning from Financial Databases[C]// International Joint Conference on Neural Networks.Riode Janeiro：IEEE，2018：1206-1212.

[9] REDMON J，FARHADI A.YOLOv3：An Incremental Improvement[J].[2022-09-10]. https：//arxiv.org/abs/1804. 02767.

[10]宋福志.ATR与人在回路的选择[J].战术导弹技术，2006（2）：59-62.

[11]郑利平，刘晓平.人在回路仿真运行有效性评估方法研究[J].系统仿真学报， 2007， 19（7）：1417-1420.

[12] GREENWOOD P E， NIKULIN M S. A Guide to Chi-squared Testing[J]. Biometrics， 1996， 39（4）：392.

[13] GAU H S， HSIEH C Y，LIU C W. Application of Grey Correlation Method to Evaluate Potential Groundwater Recharge Sites[J].Stochastic Environmental Research and Risk Assessment，2006，20（6）：407-421.

[14] SHIH H S，SHYUR H J，LEE E S.An Extension of TOPSIS for Group Decision Making[J]. Mathematical & Computer Modelling， 2007， 45（7-8）：801-813.

[15]龚永红，郑威，吴林，等.基于自步学习的无监督属性选择算法[J].计算机应用， 2018， 38（10）：2856-2861.

[16]汪业成.基于自步学习的兴趣点（POI）推荐技术研究[D].成都：电子科技大学，2020.