翻译

快速异常检测非常大的日志数据 摘要 基于密度的异常检测确定一个外围观察参考密度的周围的空间。尽管基于密度的异常检测的检测有几个优点，但其复杂度的计算及其应用仍然是一个主要障碍。本研究的目的是减少计算时间的低频（局部异常因子），密度—基于孤立点检测算法。该方法采用kd树索引和一个近似最近邻搜索算法（安）。理论分析近似近邻并进行搜索。用一组实验进行审查该算法的性能。结果表明，该方法能有效地证明检测局部异常减少了计算时间。 一． 介绍 数据挖掘旨在提取有意义的模式从数据，离群点检测，试图找到一个明显偏离其他意见的外围观察；它往往会引起怀疑，因为它是由不同的机制引发的。（巴内特和路易斯，1994；霍金斯，1980）.离群点检测方法已在众多应用中使用（本加尔，2005）,如信用卡欺诈检测（岳，吴，李，王，与楚，2007）,收回电讯帐户检测（艾兹沃和诺顿，1996）,击键动力学为基础的用户认证（黄，秋，与帕克，2009），网络入侵检测（张与zulkernine，2006），和video-stream-based监视（medioni，科恩，hongeng，布雷蒙德，与nevatia，2001）。孤立点检测也是众所周知的新颖性检测，异常检测，和入侵检测，而事实上这些方法有许多共同点，他们试图发现独特外围观察而不是代表模式。 从数据挖掘、机器学习的角度来看，一个异常可以被视为噪声，是不能构成重大数据模式的。统计数据通常被看作为一个从其他数据集中观察具有相对较少的频率或是删除值。由于互联网的出现和计算能力的增加，大量的数据可以提供的。可惜的是，现有的异常检测方法有几个局限性。 统计参数的方法都是假设一个已知的基本分布(Barnett & Lewis, 1994; Ramaswamy, Rastogi, &Shim, 2000)或者，至少是基于统计估计未知分布参数（本加尔，2005）。使用分布估计和/或统计参数这种方法是困难的。此外，应用统计方法更难是的多属性数据集。聚类方法基于监督学习（拉瓦尔，gehrke，与gunopulos，1998;克里格尔，与徐，1996；Guha,Rastogi,&Shim,1998;MacQueen,1967; Ramakrishnan,&livny,1996)也可用于异常检测。他们确定离群且意见不分簇的典型数据。聚类方法基于监督学习，然而有下列限制：（1）一个大的训练数据集是必要的，（2）培训前，正常和异常类需要分为手动，（3）分类器的性能在很大程度上依赖对质量的训练数据集，和（4）正常组经常会过度训练而缺乏概要图。 最近，在洛夫（局部离群因子）算法已成功地应用于异常检测（pokrajac，拉扎雷维奇，及latecki，2007）。该算法是基于密度的算法概述检测局部离群数据分配到一个outlierness程度，称为局部异常因子（基金），每个对象（breunig，克里格尔，吴，与Sander，2000；马鲁夫，2005）。在很多算法中，比周围的点具有较低的密度的数据点被确定为异常值。 (Pokrajac 等人, 2007)。 就是Pokrajac指出的一样，洛夫算法比其他异常检测技术的优势在于：“这检测野值对邻近的数据记录密度不是全球模式。这是能够检测离群无论分布是否正常，因为它没有任何假设分布数据记录。”此外Lazarevic, Ertoz, Kumar, Ozgur, and Srivastava（2003）的实验表明洛夫算法在网络入侵识别上比许多现有的离群点检测算法具有更好的性能。 该算法的计算复杂度很大，然而，还有一个令人担忧的问题，因为这根据不同的尺寸分成的一个集。对medium-high-dimensional用电量数据点表示，很多算法通常有一个平均复杂度O(nlogn),但对于高维数据，复杂性往往成为O(n2)（breunig等人。，2000）。作为真正的数据往往有一个大量非常高维数据点，计算复杂性的问题需要解决。这个问题是在特别重要的应用上需要实时反应。 本研究的目的是制定一个能减少很多算法的计算时间的方法。为了减少洛夫算法的计算时间，kd树索引和一个近似最近邻算法进行了调整。先通过适用性和误差的一个近似最近邻算法的理论分析。再研究该方法的有效性，一些实验将各种参数进行了研究。该方法用预见的和可以接受的逼近误差算出了减少的计算时间。 二． 背景 洛夫算法的主要作用是outlierness数据记录中度的计算。这个度在数据记录上是一个孤立点称它为洛夫。数据点局部密度高LOFs小于周围的点,并因此被确诊为野值，而数据点通常具有较低的洛夫价值。本算法计算的大量数据记录如下。要更详细的信息，请参阅breunig等人。（2000）和pokrajac等人。（2007） 1.对于每一个数据记录与计算离近似最近邻的距离。 2.为每个数据记录计算可达距离关于数据记录如下： Reach-distk(q.p)=max{d(q,p),k-distance(P)} (1) d(q,p)代表从q到p的欧几里德的距离。请注意，K是一个已命名的参数minpts（breunig等人。，2000）确定的边界的邻居。 3.计算局部可达密度（亲属）数据记录q:

Nk(q)代表k近邻数据记录q 4. 许多数据记录与计算

许多洛夫价值邻近1的记录数据其密度类似于其周围的邻居。换句话说，该数据记录的位置在一个集群。然而，如果一个数据记录位于远离其邻近数据或数据集群，它有一个大于1的洛夫价值。 这有一个洛夫算法的例子，如图1，可以看出，184个数据点在二维空间分成三组20，60,100的集合和四个候选离群点。可以看出，集群内的数据点很多洛夫价值接近1，而很多离群点的洛夫价值大于1. 虽然洛夫算法比起其他的异常检测方法有很多优势，但是计算复杂度是这种算法的一种限制。很多的复杂性往往恶化，此外修改数据集时，它需要重新计算的整个数据集的洛夫值。为了克服这个问题，pokrajac等人（2007）提出了一个渐进的很多算法。阿吉曼和ezeife（2004）早些时候制定了一项修改很多算法，命名为lsc-mine，减少了许多计算复杂度。他们意识到，计算数据点q和所有临近点的的可达距离和其复杂性成倍增长的参数K相反。lsc-mine算法利用实际数据点之间的距离采用局部稀疏比。此外，该lsc-mine算法采用局部稀疏系数代表outlierness每个数据点。这个算法提出了一个先修剪以排除最不可能的异常数据计算局部稀疏系数的方法。 复杂的问题可以进一步研究，如以下观点。首先，尺寸数据集应被视为减少计算复杂度。通常称为“诅咒的维度，这计算时间呈指数增长。为减少维度的诅咒，采用奇异值分解（svd）(Press, Flannery, Teukolsky, & Vetterling, 1988; Strang, 1980), Karhunen-Loève (Fukunaga, 1990) or FastMap (Faloutsos & Lin, 1995)。阿加瓦尔和裕（2001）提出了一个遗传算法可以找到最佳的投影三维以减少检测高维数据的离群点。 第二个因素是指制定的近似最近邻。找到最近邻数据这个问题可以表述如下：假设一个数据集，组成的数据点在d维空间。对于一个给定的查询对象，找到的对象数量的欧几里得距离最近的查询对象。 蛮力距离算法将整个数据集分查询对象和排序的距离数据，造成巨大的计算复杂度，尤其是对一个很大距离和面积的数据集。此外，参数k增加的大小和规模的数据集，那些因素还增加了复杂性。 在本文中，为减少计算所需的最近值k我们利用kd树索引（宾利，弗里德曼1990宾利，与芬克尔，1977）。此外，我们适应近似k近邻的kd树数据结构（Arya,Mount，内塔尼亚胡，西尔弗曼，与吴，1998）。这些方法中有详细以下部分。

三． 方法 3.1kd-tree索引 至于计算K -近邻，蛮力方法在前面提到的不需要额外的索引但不需要过多的计算。弗里德曼等人。（1977）提出了一个搜索算法利用kd树索引。该算法的基础上，圣等人。（1998）提出一个近似k近邻算法，提高检测性能高尺寸增加接受不确定性，寻找最近邻居。 在kd树数据结构空间。分区组织点在k维空间。kd树索引开始从超空间包括一个数据集，并将超空间迭代小超空间。方向的一个超平面划分2超空间是由一个预定义的分裂规则。迭代空间划分持续到物体的数量在一个分区的多维空间小于预定义的bucket-size。 影响因素的最近邻搜索时间包括分裂规则，搜索算法，和bucket-size。本分裂规则定义空间划分标准。可怜的spacepartitioning将导致一个倾斜的树，而有效的空间划分将产生一个更平衡的树，搜索性能，可能是比这更好一个倾斜的树。此外，长宽比分区超空间算法性能的影响。外表率的定义是之间的比例最长尺寸长度和最短尺寸长度。让我们假设之间的距离查询数据和样本数据计算的欧氏距离。当一个长宽比接近1，查询数据和他们最近的邻居往往是在同一个空间。当长宽比大于1，他们很可能有不同的多维空间，它需要更多的计算树的遍历。 一般来说，三种类型的划分规则的使用：standardsplit，midpt-split，和fair-split（圣等人。，1998；弗里德曼等人，1977）。确定一个适当的分裂规则分布有关的数据。一个standard-split分区超空间的正交方向的尺寸用中位数的价值。当一个标准分离应用对数据点，深度和大小的kd树是dlog2ne和（例），分别为0。该standard-split有优势的树搜索，但可能会遭受更大的长宽比。一个midptsplit将多维空间使用的中点。虽然外表一个midpt-split比率接近1，这可能会导致琐碎的分裂，这样，没有数据存在于分区。由于琐碎的分裂，大小的kd树可以不必要大于其他方法。一个fair-split分超平面的中点正交的长边，保持长宽比在3。结合双方的优势和standard-split midpt-split，平衡树的深度和大小，与可接受的高宽比，产生。图2显示了spacepartitioning之间的差异三分裂规则。本数据集用于无花果。1和2是一样的。 至于搜索算法，有两家搜索算法可用于kd树索引：标准搜索和优先权搜索。标准搜索包括2个步骤。先一步找到叶节点，包括一个查询点，并通过遍历在kd树从根节点。然后，最近邻居通过计算之间的距离的一个查询点对象的叶节点。搜索停止如果距离从查询点的k最近发现在叶节点小于距离查询点到超平面定义节点边界。否则，之间的距离查询点与点包含在节点共享相交平面也必须计算。在这样一个方法，而不是计算查询点之间的距离和整个数据对象集，搜索计算标准之间的距离只有一点和对象的查询叶节点，或其邻居节点，从而大幅减少计算时间。 一个优先搜索算法生成一个优先队列中树的遍历。优先级队列排序多维空间，或节点，在升序排列，根据查询点之间的距离和边界的超空间。然后，k -最近邻是根据确定的优先级顺序队列。如果一个距离之间的查询和对象人迹罕至的节点距离当前kthnearest邻居，优先搜索停止。 最后一个因素影响性能kd树索引bucket-size。一个较大的桶的大小可以节省tree-traversing时间，但总体计算时间减少是有限的，而一个较小的桶的大小会导致过度树遍历。因此，存在一个最佳的bucket-size。这些因素的影响在4部分讨论。 3.2近似最近邻算法 虽然kd树索引的减少计算时间的许多算法，进一步减少是必要的一些应用处理高维，非常大的数据。例如，在基于内容的图像检索视频监控等，计算时间，更重要的是比精确计算时间价值。