数据挖掘中离群点检测的非参数方法研究

2013-09-18李志云

微型电脑应用 2013年8期

关键词：离群事务直方图

李志云

0 引言

离群点检测（又称为异常检测）是找出其行为很不同于预期对象的过程。这种对象称为离群点或异常。除欺诈检测外，离群点检测在许多应用中都是重要的，如医疗处理、公共安全、工业损毁检测、图像处理、传感器/视频网络监视和入侵检测。

离群点检测和聚类分析是两项高度相关的任务。聚类发现数据集中的多数模式并据此组织数据，而离群点检测则试图捕获那些显著偏离多数模式的异常情况。离群点检测和聚类服务于不同的目的。

1 离群点

假定使用一个给定的统计过程来产生数据对象集。离群点（outlier）是一个数据对象，它显著不同于其他数据对象，好像它是被不同的机制产生的一样，如图1所示：

图1 区域R中的对象是离群点

大部分对象都粗略地服从高斯分布。然而，区域 R中的对象显著不同。它不太可能与数据集中的其他对象服从相同的分布。因此，在该数据集中，R中的对象是离群点。

离群点不同于噪声数据。噪声是被观测变量的随机误差或方差。一般而言，噪声在数据分析（包括离群点分析）中不是令人感兴趣的。离群点是有趣的，因为怀疑产生它们的机制不同于产生其他数据的机制。因此，在离群点检测时，重要的是搞清楚为什么检测到的离群点被某种机制产生。通常这样做，在其余数据上做各种假设，并且证明检测到的离群点显著违反了这些假设。离群点通常可以分成3类：全局离群点、情境（或条件）离群点和集体离群点。离群点检测方法可以分为两类：一类是根据用于分析的数据样本是否具有领域专家提供的、可以用来构建离群点检测模型的标号，对离群点检测方法进行分类；一类是根据各方法关于正常对象和离群点的假定，对各方法分组。如果可以得到专家标记的正常和离群点对象实例，则可以使用它们建立离群点检测模型，所使用的方法可以划分成监督方法、半监督和无监督方法。如果对离群点检测方法对离群点与其余数据做出假定，根据所做的假定，可以把离群点检测方法分为3类：统计学方法、基于邻近性的方法和基于聚类的方法。本文就统计学方法提出一种非参数方法检测离群点。

2 离群点检测的非参数方法

非参数方法并不假定先验统计模型，而是试图从输入数据确定模型。非参数方法通常假定参数的个数和性质都是灵活的，不预先确定。

可以使用直方图作为非参数统计模型来捕获离群点。使用直方图表示了每个顾客事务的购买金额，图中60%事务的购买金额为0～1000美元。按直方图所示，一个购买金额为7500美元的事务可能被视为离群点，因为只有 1-（60%+20%+10%+6.7%+3.1%）=0.2%事务的购买量超过5000美元。另一方面，购买量为385美元的事务可以看做正常的，因为它落入包含60%事务的箱中，如图2所示：

图2 每个事务购买量的直方图

使用直方图检测离群点的步骤如下：

第一步：构造直方图。使用输入数据构造一个直方图，该直方图可以是一元的，也可以是多元的。

第二步：检测离群点。为了确定一个对象o是否是离群点，可以对照直方图检查它。在最简单的方法中，如果该对象落入直方图的一个箱中，则该对象被看做正常的，否则被认为是离群点。

使用直方图作为离群点检测的非参数模型的一个缺点是，很难选择一个合适的箱尺寸。一方面，如果箱尺寸太小，则许多正常对象都会落入空的或稀疏箱，因而被误识别为离群点。这将导致很高的假正例率和低精度。另一方面，如果箱尺寸太大，则离群点对象可能渗入某些频繁的箱中，因而“假扮”成正常的。这将导致很高的假负例率和低召回率。

为了解决这些问题，可以采用核密度估计数据的概率密度分布。把每个观测对象看做一个周围区域中的高概率密度指示子。一个点上的概率密度依赖于该点到观测对象的距离。使用核函数对样本点对其邻域内的影响建模。核函数K()是一个非负实数值可积函数，满足如下两个条件，如公式（1）、公式（2）