基于数据筛选的无人机测绘数据异常检测

张振军

（青海汉图测绘科技有限公司，青海西宁 810001）

无人机测绘综合了无人飞行器、遥感传感器、通信和图像处理等多种技术，以实时获取目标区域信息、快速进行数据处理和绘图为主要目的[1]。这种方法运行成本低、风险小，且数据采集周期相对较短，已被广泛应用于相关领域。无人机测绘生成的飞行数据具有快速、实时等特点[2]。采用此技术获取的单维特征流数据主要反映被测系统的某一状态信息，然而多维数据库中异常数据是各维度信息综合作用的结果，能够反映无人机（unmanned aerial vehicle，UAV）的实际情况，具有更高的参考价值[3]。

目前，基于无人机测绘的异常检测算法已经被广泛应用，但大多算法不能满足无人机测绘的实时检测需求。为此，本文提出一种基于数据筛选的无人机测绘数据异常检测方法。实验结果表明：与传统卷积神经网络方法相比，该方法降低了检测的漏检率与误检率，并缩短了检测时间。该检测方法能够满足无人机测绘中的异常数据检测需求，可实际应用到异常数据检测中。

1 无人机测绘过程中异常数据挖掘

在异常数据检测过程中，须预先对无人机测绘过程中产生的相关数据进行挖掘。与其他数据挖掘技术相比，支持向量机是一种监督式的数据挖掘方法，其对样本的依赖性较小，对小样本、高维数据等分类具有较好的应用效果[4]。为此，本文将支持向量机应用到无人机测绘数据挖掘中。支持向量机技术[5]建立了一个最优分界面，通过该界面能够将待挖掘数据划分为二类，其表达式为

式中：ωt代表非线性参数；x代表核函数；b代表分类参数。

利用式（1）将原始无人机测绘数据分为正常数据和异常数据两大类，并将数据训练成样本集进行学习，为异常数据挖掘提供基础。

在上述数据分类的基础上，对无人机测绘过程中产生的数据流进行预处理。即对无人机测绘异常数据进行数据流分块、竖向规范化处理与时间切片处理，便于对无人机测绘数据潜在规律的分析。

1）数据流分块。由于无人机测绘过程中产生的数据流可看作是一系列无限的点[6]，其存储相对较难，为此将其划分为数据块的形式。将数据块的大小定义为n，将数据块划分为若干类，并对其进行标准化处理。

2）竖向规范化处理。由于采集的数据存在属性差异，导致其属性难以得到合理的调配。为降低数据属性对数据检测的影响，本文引入了属性规范化的概念[7]，其表述为

式中：aij代表采集的数据集中某一个数据的特征值；aj代表数据第j维属性的集合；max(aj)、min(aj)分别代表采集的数据集中数据的最大值和最小值。

因无人机测绘包含参数较多，单一的标准化处理是不能满足要求，因此对数据进行尺度变换[8−9]，其表达式为

式中：yi代表数据采集时间序列数据的信号参数；Y¯代表采集信号的平均值；S代表采集信息的标准差。

3）时间切片处理。对时间序列数据进行切片处理，将原始数据创建为固定大小的段[10−11]，划分为等间隔的时间序列片段，即

式中：S代表数据切片处理后所得的数据集合；sj代表第j个处理的数据段；N¯代表数据总量；N代表片段的总数。

2 无人机测绘中异常数据潜在规律分析

在上述预处理后，对数据潜在规律进行分析。此部分采用卷积神经网络进行分析处理。该方法的局部特征提取能力较强，能够降低网络的计算复杂度[12−13]。其挖掘过程如下。

步骤1，设置输入层。输入层是整个网络的起始端[14]，是整个网络的输入部分，能够对一维数据或者二维数据进行挖掘。

步骤2，建立激励层函数。该函数主要对网络层的输入与输出关系进行描述，其表达为

步骤3，建立池化层。通过该环节将数据进行压缩，利用池化窗口生成的值生成周围区域的统计量。

步骤4，建立全连接层。该层主要在计算过程中提供输送信号的功能，将数据的特征值进行连接，并连接成一个长向量。

步骤5，反向传播。该层主要以最小化函数为目标[15]，以最小代价分析所有数据点，其表达式为

式中：yj代表第j个数据的输出值；Sj代表数据概率；T代表总的数据类别数量。

3 无人机测绘过程中异常数据检测实现

3.1 异常数据分类

通过上述计算能够获取所有数据的潜在规律，在此基础上，对异常数据进行分类处理。在无人机测绘过程中，较多因素都会引起异常，从而产生异常数据[16]。为此，对异常数据进行分类。数据基础分类如图1所示。

由图1可以看出，由于无人飞行器内有较多传感器，因此产生异常数据的因素较多，不仅能产生异常数据，而且需要及时发现异常数据。为提高检测效率，对所生成数据进行聚类，本文采用无监督聚类算法。当数据流到达时，该算法能及时更新，并对数据进行实时聚类。对数据进行相似性分类，将相似的分类成数据簇[17]。在实际计算过程中，主要包括2个步骤：首先测量数据与数据之间相似性，然后利用准则函数对结果进行聚类分类[18]。该算法的计算流程如图2所示。

图1 异常数据基础分类

图2 无监督聚类算法流程图

其中，准则函数的计算非常重要，具体定义为

式中：E代表所有数据集中包含的对象的均方差之和；x代 表数据点；mj为聚类中j指标的均值；nj代表数据的多维性特征。

3.2 异常数据检测实现

在上述数据处理的基础上，对异常数据检测，具体步骤如下。

步骤1，由于无人飞行器测绘所产生的数据是飞行数据，即时间序列数据，因此需要对以上聚类后的数据进行划分，并将其划分为时间序列数据，从而得到各时间序列变化情况，并将变化情况插入时间序列数据中，形成相应编码数。

步骤2，生成数据存储在模式库中。该模式库将特定的生成模式与自体发生相匹配，并将其视为合成检测器[19]。

步骤3，计算库中所有对象可达距离的平均值，将其表示为

式中：mean代表数据平均值函数；Rk代表可达距离。

步骤4，在上述计算完成后，利用滑动窗口对得到的数据流进行处理，得到当前滑动窗口数据集，选取簇心因子，其表达式为

式中：δ(p)代表所有数据点中p数据的相异度；ρ(p)代表所有数据点中p的簇心程度参数。

步骤5，为提高数据集的时序建模能力，采用频繁项挖掘方法对数据样本进行支持概率计算，具体表达式为

步骤6，建立异常判断准则。为准确判断异常点，需要依据判断准则进行划分。传统判断准则局限性较大，当检测数据集发生改变后，会对检测结果产生较大影响[20]，为此，本文依据最大斜率的判断准则进行分析。最大斜率的计算公式为

式中：o代 表排序因子；v代表连线斜率的绝对值；g代 表划分参数；b代 表数据点与数据点之间的标准差。通过最大斜率判断准则能够避免人为划分带来的影响，能够更好地适应动态变化的数据流。

步骤7，根据获得的簇心因子对数据进行聚类分析，并根据判断标准对异常数据进行分块处理，从而检测当前串口中是否存在异常因子。其表达式为

式中：Vc(p)代表p到簇心的距离；H(p)代表数据在p时的异常因子；L(p)代表数据点的距离之和。

步骤8，筛选异常数据。该部分是异常数据检测的最后一部分，也是检测实现的最关键步骤。主要对上述计算得到的异常数据点筛选，提升异常数据检测的精度。在判断上，采用重叠累加值方法，能够对数据点之间的累计值间的差异进行分析，其表达式为

式中：m代 表预估计值；Lj代表第j个数据点的属性差值。

基于上述检测，对所获得的无人机测绘数据中的异常数据点进行筛选，以此完成异常数据检测，流程如图3所示。

图3 异常数据检测流程图

4 实验分析

本文通过实验来验证该方法是否符合设计要求。同时，为检验该方法的应用效果，将该方法与传统基于卷积神经网络的异常数据检测方法进行了比较。

4.1 实验数据来源及实验环境

实验在Windows7操作系统下进行，选用 Intel(R) Core (TM)i5 M 520作为 CPU，其内存频率较快，可以达到2.4 GHz，内存8 GB。所用实验数据集通过高斯分布获取，这些数据集共有1600个数据点，其中包含1500个正常数据点，100个异常数据点。

4.2 实验指标

采用误检率、漏检率作为异常检测的评价指标，其定义为：

式中：FP代表异常数据未被检测到的数量；FN代表异常数据被检测为正常数据的数量；TN 代表检测到的异常数据数量；TP表示异常数据正确检测的数量。

异常检测的实时性也是对比检测方法性能的一个重要指标。它是指不同算法对同一实验数据进行异常检测所花费的时间，计算公式为

式中：Si代表第i个数据的计算效率；tn代表完成数据计算的运行时间。

4.3 实验结果分析

对比卷积神经网络方法与本文方法的误检率，其结果如表1所示。由表可知，本文的异常数据检测方法的误检率相比卷积神经网络方法，平均降低了约11%。本文方法误检率低是由于本文方法在数据流上进行了分块和分类处理，并对处理后的数据进行了综合聚类分析。常规检测方法受数据集干扰的影响较大，有些异常数据点在正常数据波动范围外，导致其误检率较高。

表1 误检率对比 %

对比卷积神经网络方法和本文方法的漏检率，其结果如表2所示。由表可知，本文方法的漏检率相比卷积神经网络方法的平均降低了约8.1%。常规卷积神经网络方法检测漏检率高的原因在于异常数据的幅度不在正确的数据范围之内，且往往以片断形式出现，用常规方法进行标记时，存在较大的漏检风险。本文的异常数据检测方法是通过详细的检测流程实现对异常样本的有效检测，从而降低了漏检现象。

表2 漏检率对比 %

最后，对比卷积神经网络方法与本文方法的检测时间，其结果如表3所示。可以看出，卷积神经网络方法在多个实验中所需检测时间均高于本文方法，最多相差16 min。本文方法的整体检测时间平均缩短了11.3 min左右。本文的异常数据检测方法不仅可以降低误检率和漏检率，而且可以提高检测的实时性。

表3 异常数据检测时间对比 min

5 结束语

本文对无人机测绘过程中的异常数据检测方法进行了设计，并通过实验对该方法进行了验证。该方法可为相关测绘领域的异常数据检测提供实用的解决方案。尽管本次研究取得了一定成果，但无人机测绘的数据范围比较广泛，在未来工作中可强化分析数据与数据之间的关联特征，选择融合不同的检测方法，从而实现多种异常检测方法的优势互补。