空间离群点的检测算法
第ｌ８卷第５期 ２０ｏ８年５月 计算机技术与发展
ＣＯＭＰＵＴＥＲ ＴＥａｍ ＯＬ０ＧＹ ＡＮＤ Ｄ ＶＥＬ０ＰＭＥＮＴ Ｖ０１．１８ Ｎｏ．５ Ｍａｙ ２００８
空间离群点的检测算法
贾瑞玉，钱光超，张然，李龙澍
（安徽大学计算机科学与技术学院，安徽合肥２３００３９）
摘要：空间离群点是指与其邻居具有明显区别的属性值的空间对象。已有的空间离散点检测算法一个主要的缺陷就是
这些方法导致一些真正的离群点被忽略而把一些非离群点当成了空间离群点。提出了一种迭代算法，该算法通过多次迭
代检测离群点，取得较好效果。实验表明该算法具有较好的实用性。
关键词：空间离群点检测；地理信息系统；迭代算法
中国分类号：ＴＰ３０１．６ 文献标识码：Ａ 文章编号：１６７３—６２９Ｘ（２００８）０５—００２８—０３
Ａ Ｓｐａｔｉａｌ Ｏｕｔｌｉｅｒ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ
ＪＩＡ Ｒｕｉ—ｙｕ，ＱＩＡＮ Ｇｕａｎｇ－ｃｈａｏ，ＺＨＡＮＧ Ｒａｎ，ＬＩ Ｌｏｎｇ－ｓｈｕ
（Ｓｃｔ－￣ｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， ６ ｕｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｈｅｆｅｉ ２３００３９，Ｃｈｉｎａ）
Ａｌ￣ｔｒａｃｔ：Ａ ｓｐａｔｉａｌ ｏｕｔｌｉｅｒ ｉｓ ａ ｓｐａｔｉａｌｌｙ ｒｅｆｅｒｅｎｃｅｄ ｏｂｊｅｃｔ ｗｈｃｋ．￣ｅ ｎｏｎ—ｓｐａｔｉａｌ ａｔｔｒｉｂｕｔｅ ｖａｌｕｅｓ ａｒｅ ｓｉｇｎｉｆｉｃａｎｔｌｙ ｄｉｆｆｅｒｅｎｔ ｆｒｏｍ ｔｈｅ ｖａｌｕｅｓ ｏｆ
ｉｔｓ ｎｅｉｇｈｂｏｒｈｏｏｄ．Ｔｈｅｉｄｅｎｔｉｆｉｃａｔｉｏｎｏｆｏｕｆｌｉｅｒｓｃａｎｌｅａｄｔｏｔｈｅ ｄｉｓｃｏｖｅｒｙｏｆｕｓｅｆｕｌｋｎｏｗｌｅｄｇｅ ａｎｄ ｄｅｔｅｃｔｉｎｇ ｓｐａｔｉａｌｏｕｆｌｉｅｒｓｉｓｕｓｅｆｕｌｉｎｍａｎｙ
ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ｇｅｏｇｍｐＮｅ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍｓ．Ｏｎｅ ｍａｊｏｒ ｄｒａｗｂａｃｋ ｏｆ ｔｈｅ ｅｘｉｓｔｉｎｇ ｄｅｔｅｃｔｉｏｎ ａｐｐｒｏａｃｈｅｓ ｉｓ ｔｈａｔ ｔｈｅｉｒ ａｐｐｌｉｃａｔｉｏｎ ｗｉｌｌ ｌｅａｄ
ｔｏ ｓｏｍｅｔｒｕｅ ｓｐａｔｉａｌｏｕｄｉｅｒｓｂｅｉｎｇｉｇｎｏｒｅｄａｎｄ ｓｏｍｅｆａｌｓｅ ｓｐａｔｉａｌｏｕｔｌｉｅｒｓｂｅｉｎｇｉｄｅｎｔｉｆｉｅｄ．Ｉｎｔｈｉｓｐａｐｅｒ。ｐｒｏｐｏｓｅａｎｉｔｅｒａｔｉｖｅ ａｌｇｏｒｉｔｈｍｔｈａｔ
ｄｅｔｅｃｔｓ ｓｐａｔｉａｌ ｏｕｔｌｉｅｒｓ ｂｙ ｍｕｌｔｉ—ｉｔｅｒａｔｉｏｎｓ．Ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｇｅｔｓ ａ ｇｏｏｄ ｐｅｒｆｏｒｍａｎｃｅ．Ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｈａｓ ａ ｇｏｏｄ
ｐｒａｅｔｉｃａｌｉｔｙ． Ｋｅｙ ｗｏｒｄｓ：ｓｐａｔｉａｌ ｏｕｔｌｉｅｒ ｄｅｔｅｃｔｉｏｎ；ＧＩＳ；ｉｔｅｒａｔｉｖｅ ａｌｇｏｒｉｔｈｍｓ
Ｏ引 言
离群点查找是旨在发现偏离常规模式的小部分异
常模式的过程。在某些领域里，研究离群点的异常行
为有助于发现特别有价值的知识…１。在空间数据库
中，由于对象存在空间关系，因此空间对象的离群点挖
掘方法与传统的面向统计数据的离群点挖掘方法有区
别Ｌ２Ｊ，应考虑空间关系，这就导致了开展空间离群点的
研究。
至今，空间离群点还没有统一的模型或定义，由于
其特殊的应用价值，因此一些学者认为它是由某种特
有的机制产生的。Ｓｈｅｋｈａｒ等［２Ｊ认为空间离群点是指
空间数据中与其他对象不一致的对象，即空间邻域中
非空间属性与其他对象明显不同的空间对象，而且，它
是局部不稳定的，即使对总体来说并不异常，但对邻近
的其他点却具有极端的值。空间离群点查找在交通、
地质、公共安全、公共健康、气象以及基于空间位置的 服务等方面有着广泛的应用ｌＬ３ｊ。
已有的查找离群点研究大多没有区分地理空间维
与属性空间维。其中地理空间维是指空间属性，包括
点、线、面等几何属性与拓扑属性；属性空间维是指非
空间属性，包括长度、归属、地名与各种非空间度量值
等等。这两种属性不区分的模型不能反映离群点偏离
的实际情况。从而可能发现不正确的离群点。
现有的空间离群点检测方法一个主要的缺陷就是
这些方法导致一些真正的离群点被忽略而把一些非离
群点当成了空间离群点，而且大多不是基于局部的，它
可能找到全局离群点，却可能丢失局部离群点。因为
全局离群点容易识别，甚至是已知。所以对于知识发现
来说，基于局部的离群点往往比全局离群点更有意义。
鉴于此，文中提出了一种迭代算法，该算法通过多次迭
代检测离群点，并在迭代过程中对离群点的属性值进
行修正，可以提高检测结果的正确性，并能检测局部离
群点。 收稿日期：２００７—０８—２０
育 ： 教格研窬方向蜘计 １１９６５ 问题描述 作者简介：贾瑞玉（ 一）女，河南淅川人，副教授，研究方向为计 ｌ 脞】Ⅲ
算机图形学、数据挖掘、人工智能。 给定Ｐ维空间对象点集Ｘ：｛ｚ１，ｚ２，…，
ｚ ｝（ｐ 维普资讯 http://www.cqvip.com 第５期 贾瑞玉等：空间离群点的检测算法 ·２９·
≥１），Ｘ中的一个空间对象点ｚ由Ｐ个变量属性值
（ｙ１，ｙ２，…， ），记为Ｙ（ｙ１，ｙ２，…， ） ，Ｔ是矩阵转
置运算符。属性函数 定义为Ｘ一 （ 是Ｐ维欧氏
空间）映射，使得每个空间点ｚ的函数值ｆ（ｚ）： 属
性向量Ｌ４ Ｊ记为：
ｆ（ｚ ）＝（ （ｔ）， （ｚ ），…， （ｔ）） ＝
（Ｙｉ１， ２，…， ）， ＝１，２，…， 。
给定正整数点，记ＮＮ （ｚ ）为点 的志个最近邻
居集（志≥１，ｉ＝１，２，…， ）。邻居函数ｇ定义为ｘ一
映射，ｇ（ｚ）的第 个分量记为ｇ （ｚ），ｇ （ｚ）是
ＮＮ （ｚ）中所有空间点的属性值 的一个概括统计，
例如ｇ（ｘ）可以是点ｚ的ＮＮ （ｚ）中所有空间点的属
性值的均值。
为检测空间离群点，比较与ｚ相邻的ｚ中 的所有
分量。比较函数ｈ是关于 和ｇ的函数，其定义域是Ｘ，
值域是Ｒｒ（ｒ≤Ｐ）。例如，ｈ＝ｆ—ｇ代表了ｘ一 （ｒ
：Ｐ）的映射，ｈ１＝ｆｌ／ｇ１代表ｘ—Ｒ（ｒ＝１）的映射。
记ｈ（ｘ ）为ｈ ， ＝１，２，…， 。
给定属性函数 ，邻居函数ｇ，比较函数ｈ，如果ｈ
是集合｛ｈ１，ｈ２，…，ｈ ｝中的极值，则对应的ｔ是空间
离群点。由此可以看出空间离群点的确定依赖于函数
ｇ和ｈ的选择。
空间孤立点检测问题一般化形式如下：
给定一个空间点集Ｘ＝｛ｚ１，ｚ２，…，ｚ ｝；其中，邻
居关系为ＮＮ （ｚ１），ＮＮ （ｚ２），…，ＮＮ （ｚ ）；属性函
数 ：ｘ一 ，邻居函数ｇ：Ｘ一尺ｐ，比较函数ｈ：ｘ一
尺 （ｒ≤Ｐ），空间孤立点数目 ｚ，阈值０。据此设计算
法来检测空间孤立点。
２空间离群点检测算法
假定所有的志（ｚ ）都是一固定的整数点（空间点
曩的邻居数设定为克（ｚ ），也可根据需要动态设定）。
根据第１节的分析可知空间离群点检测算法依赖于邻
居函数ｇ和比较函数ｈ的选择，即ｇ和ｈ的选择决定了
算法的效果。在文中的算法中，点ｚ的邻居函数ｇ取ｚ
的志个最近邻居的属性值的平均值（这样可以减少具
有较大或较小属性值的邻居点的影响）。比较函数
ｈ（ｚ）：ｌ厂（ｚ）一ｇ（ ），于是得到集合｛ｈ１，ｈ２，…，
＾ ｝（，ｚ是对象数目）。对于某个ｈ 是集合｛ｈｌ，ｈ２，…，
ｈ ｝中的极值，则其对应的ｚ 是个候选的离群点。令
分别是｛＾１，ｈ２，…，ｈ ｝的样本均差和样本标准
Ｌ一¨ 差，则ｈ 标准化之后的值为，ｌ’ ： — ，得到｛ｈ１， Ｄ ｈ２，…，ｈ ｝标准化之后的数据集｛ｈ’１，ｈ’２，…，ｈ’ ｝。 因此，当且仅当ｈ’ 是标准化数据集｛ｈ’１，ｈ’２，…，
ｈ’ ｝中的极值时相应的点ｚ 也是原始数据集Ｘ＝
｛ｚ１，ｚ２，…， ｝中的极值，相应地，ｚ 也是一个可能的
空间离群点，如果Ｉ ｈ’ Ｉ足够大的话（通过阈值０来判
断）。
算法详细说明如下：
（１）计算数据集｛ｚ１，ｚ２，…，ｚ ｝中每个空间点ｚ
的志一最近邻居集合ＮＮ （ｚ ），邻居函数ｇ（ｚ ）＝
÷∑ （ｚ），比较函数ｈ ＝ｈ（ｘ ）＝ （ ）一 ∈Ｉ￣ｇｋ（ｘ） ｇ（ｚ ）。
（２）计算集合｛ｈ１，ｈ２，…，ｈ ｝的样本均差 和样
本标准差 ，对集合｛ｈ１，ｈ２，…，ｈ ｝进行标准化得到集
Ｌ一¨ 合｛ｈ’１，ｈ’２，…，ｈ’ ｝，令 ＝Ｉ ｈ’ Ｉ＝Ｉ Ｉ（ｉ＝
１，２，…， ），得到集合｛ １， ２，…， ｝， 是集合｛ １，
２，…， ｝中的最大值。对于给定阈值０，如果 ≥０，
则 对应的 是一个空间孤立点。
（３）令 （ ）＝ｇ（ｘｑ），即把 修正为 的志个最
近邻居的属性值的均值，这样可以降低ｚ。对下一步操
作的影响。对于每一个ｔ，如果其志一最近邻居集合
ＮＮ （五）中包含 ，则重新计算其ｇ（ｘ ）和ｈ 。
（４）重新计算｛ｈ１，ｈ２，…，ｈ ｝的样本均差 和样
本标准差 ，重新标准化｛ｈ１，ｈ２，…，ｈ ｝得到｛ｈ’１，
Ｌ一¨ ｈ’２，…，ｈ’ ｝，重新计算 ＝Ｉ ｈ’ Ｉ＝Ｉ Ｉ，ｉ＝
１，２，…， 。
（５）重复步骤（２）～（４）直到阈值条件无法满足或
者空间孤立点的数目已达到 。
阈值０一般选定为２或者３。这是因为在该算法
中，如果属性函数厂是正态分布的话那么比较函数ｈ
般也是正态分布［ 。
从上述算法中可以看到，一旦检测到一个空间离
群点，将进行一系列更新操作，包括用空间离群点的克
个邻居点的属性值的均值来替换离群点的属性值以及
系列的更新计算。这些更新操作的目的是为了避免
将与空间离散点较近的空间点误认为是离散点。
３实验演示
通过实验比较几个算法的挖掘结果。
对于图１中所示意的数据（其中，Ｓ１、 、Ｓ３是三
个真正的空间离群点）分别采用文中的算法、文献［５］
中的Ｓｃａｔｔｅｒｐｌｏｔ算法和文献［６］中的Ｍｏｒａｎ Ｓｃａｔｔｅｒｐｌｏｔ
算法进行对比实验。参数设置：志＝ ｚ：３。 维普资讯 http://www.cqvip.com
离群点的判定
1 离群点的判定
摘要
本文首先对离群点进行了定义，离群点（outlier）是指数值中，远离数值的一般水平的极端大值和极端小值。因此，也称之为歧异值，有时也称其为野值。
深入了解了形成离群点的原因，并建立数学模型来找出一维、n维数据中的离群点，主要利用聚类的离群挖掘法。
针对问题一，考虑到数据的杂乱性，先对数据进行排序，由于在实际生活中我们需要处理的数据量往往比较多，离群点的个数也不确定，就考虑对数据进行分类处理，利用离群值跳跃度比较大的特点，采用斜率比较的方法进行分类，在分类的过程中我们就会很容易的发现离群点。最后再对完成分类的数据进行分析。完成分类的数据往往差距更小，可以近似的认为数据服从正态分布，利用正态分布的性质可以找出每类数据中的离群点，这样就找出了数据中所有的离群点。
针对问题二，我们主要采用具体的数据绘制具体的图形来分析存在的离群点，并说明离群点带来的影响。
针对问题三，我们主要利用基于聚类的离群挖掘方法，先利用一趟算法对数据集进行聚类；然后再计算每个簇的离群因子，并按离群因子对簇进行排序，最终确定离群簇，也即确定离群对象。确定算法以后再利用具体的数据进行检测，看该模型是否可行。
关键词：数据的分类处理 聚类的离群挖掘方法（CBOD）
2
一、 问题重述
A题：离群点的判定
离群点（outlier）是指数值中，远离数值的一般水平的极端大值和极端小值。因此，也称之为歧异值，有时也称其为野值。
形成离群点的主要原因有：首先可能是采样中的误差，如记录的偏误，工作人员出现笔误，计算错误等，都有可能产生极端大值或者极端小值。其次可能是被研究现象本身由于受各种偶然非正常的因素影响而引起的。例如：在人口死亡序列中，由于某年发生了地震，使该年度死亡人数剧增，形成离群点；在股票价格序列中，由于受某项政策出台或某种谣传的刺激，都会出现极增，极减现象，变现为离群点。
不论是何种原因引起的离群点对以后的分析都会造成一定的影响。从造成分析的困难来看，统计分析人员说不希望序列中出现离群点，离群点会直接影响模型的拟合精度，甚至会得到一些虚伪的信息。因此，离群点往往被分析人员看作是一个“坏值”。但是，从获得信息来看，离群点提供了很重要的信息，它不仅提示我们认真检查采样中是否存在差错，在进行分析前，认真确认，而且，当确认离群点是由于系统受外部突发因素刺激而引起的时候，他会提供相关的系统稳定性，灵敏性等重要信息。
基于时空相关性的传感器网络离群点检测算法
第３０卷第６期 ２０１３年６月 计算机应用与软件 Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｏｆｔｗａｒｅ Ｖｏ１．３Ｏ Ｎｏ．６ Ｊｕｎ．２０１３
基于时空相关性的传感器网络离群点检测算法
林 锋 张 红 （浙江经贸职业技术学院浙江杭州３１００１８）
摘要 离群点检测是传感器网络中的一个重要问题，它主要包括事件检测、异常检测。提出一种基于时空相关性的、轻量级的 局部离群点检测算法，它可利用节点的计算能力，降低节点之间的通信成本；同时，还能区分出离群点的类型。 关键词 离群点 传感器网络 时空相关性 中图分类号ＴＰ３９３ 文献标识码Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００—３８６ｘ．２０１３．０６．０３１
ＳＰＡＴＩｏＴＥＭＰｏＲＡＬ ＣｏＲＲＥＬＡＴＩｏＮ．ＢＡＳＥＤ ｏＵＴＬＩＥＲ ＤＥＴＥＣＴＩｏＮ ＡＬＧｏＲＩＴＨＭ ＩＮ ＷＩＲＥＬＥＳＳ ＳＥＮＳｏＲ ＮＥＴＷｏＲＫＳ
Ｌｉｎ Ｆｅｎｇ Ｚｈａｎｇ Ｈｏｎｇ （Ｚｈｅｆｉａｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｒａｄｅ Ｃｏｌｌｅｇｅ，Ｈａｎｇｚｈｏｕ ３１００１８，Ｚｈｅｊｉａｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｏｕｔｌｉｅｒ ｄｅｔｅｃｔｉｏｎ ｉｓ ａｎ ｉｍｐｏｒｔａｎｔ ｉｓｓｕｅ ｉｎ ｓｅｎｓｏｒ ｎｅｔｗｏｒｋｓ，ｗｈｉｃｈ ｍａｉｎｌｙ ｃｏｍｐｒｉｓｅｓ ｅｖｅｎｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ．Ｔｈｅ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｅ ｐａｐｅｒ ｉｓ ａ ｌｉｇｈｔｗｅｉｇｈｔ ｏｎｅ ｂａｓｅｄ ｏｎ ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｃｏｒｒｅｌａｔｉｏｎ ｆｏｒ ｌｏｃａｌ ｏｕｔｌｉｅｒｓ．Ｉｔ ｃａｎ ｕｔｉｌｉｓｅ ｔｈｅ ｃｏｍｐｕｔａ— ｔｉｏｎａｌ ｃａｐａｃｉｔｙ ｏｆ ｔｈｅ ｓｅｎｓｏｒｓ ａｄｅｑｕａｔｅｌｙ ａｎｄ ｒｅｄｕｃｅ ｔｈｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｃｏｓｔ ｂｅｔｗｅｅｎ ｔｈｅ ｎｏｄｅｓ．Ｉｔ ｃａｎ ａｌｓｏ ｄｉｆｆｅｒｅｎｔｉａｔｅ ｏｕｔｌｉｅｒ ｔｙｐｅｓ． Ｋｅｙｗｏｒｄｓ Ｏｕｔｌｉｅｒ Ｓｅｎｓｏｒ ｎｅｔｗｏｒｋｓ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｃｏｒｒｅｌａｔｉｏｎ
lof算法公式
LOF（Local Outlier Factor）算法是一种用于检测局部离群点的算法。它通过比较数据点与其邻居之间的距离来检测局部离群点，从而能够更准确地识别出真正的离群点。下面是对LOF算法公式的解释：
LOF算法的基本思想是通过比较数据点与其邻居之间的距离来确定其离群程度。在算法中，首先需要定义一个邻居集合，通常使用最近邻（k-nearest neighbors，kNN）算法来确定邻居集合。然后，对于每个数据点，计算其与邻居集合中所有数据点之间的距离，并使用这些距离来计算其局部离群因子。
具体来说，对于数据点x，LOF算法的公式可以表示为：LOF(x) = exp(-γ * min(kNN(x)))其中，kNN(x)是x在邻居集合中的最近邻点的数量，γ是一个控制算法鲁棒性的超参数。通过调整γ的值，LOF算法可以适应不同的数据集和场景。
值得注意的是，LOF算法并不只是基于单个数据点的离群程度进行评估，而是通过对数据集中的所有数据点进行评估，并利用其局部邻居之间的距离来识别局部离群点。因此，LOF算法能够更全面地检测出离群程度较高的数据点，从而有助于提高检测结果的准确性。
综上所述，LOF算法通过比较数据点与其邻居之间的距离来计算其局部离群因子，并利用该因子来识别局部离群点。该算法能够更全面地检测出离群程度较高的数据点，具有较高的准确性和鲁棒性。在实际应用中，LOF算法可以应用于各种领域的数据挖掘和机器学习任务中，如社交网络分析、异常检测、推荐系统等。
离群点算法
离群点算法
全文共四篇示例，供读者参考
第一篇示例：
离群点（Outlier）是指数据集中与其他数据点明显不同的数据点。离群点算法是指一系列用来检测和识别离群点的技术和方法。在数据分析和机器学习中，离群点算法可以有效地识别异常数据点，帮助我们更准确地进行数据分析和建模。
离群点算法主要分为基于统计学的方法、基于聚类的方法和基于密度的方法等多种类型。每种类型的算法都有其独特的优缺点和适用范围。在实际应用中，我们可以根据具体的数据集和需求选择合适的算法进行离群点检测。
一种常用的离群点算法是基于统计学的方法，其中最常见的是Z分数（Z-score）方法。Z分数是一种标准化的统计量，表示数据点与平均值的偏离程度。通过计算数据点的Z分数，我们可以判断数据点是否为离群点。一般来说，Z分数绝对值大于3的数据点可以被认为是离群点。
除了Z分数方法外，还有一些其他基于统计学的离群点算法，如Tukey的箱线图（Boxplot）、Grubbs检验等。这些方法都可以有效地检测离群点，但在实际应用中需要根据具体情况选择最合适的方法。 另一种常用的离群点算法是基于聚类的方法，其中LOF（Local
Outlier Factor）算法是一种常见的基于聚类的离群点算法。LOF算法通过计算数据点周围邻近点的密度来判断数据点是否为离群点。密度较低的数据点很可能是离群点。通过计算LOF值，我们可以对数据点进行离群点判断。
基于密度的离群点算法也是一种常用的方法，其中DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法是一种典型的基于密度的离群点算法。DBSCAN算法通过将数据点分为核心点、边界点和噪声点来判断数据点是否为离群点。在DBSCAN算法中，噪声点通常被认为是离群点。
离群点算法在数据分析和机器学习中扮演着重要的角色。通过识别和处理离群点，我们可以得到更准确的数据分析结果，提高模型的准确性和稳定性。在实际应用中，我们可以根据具体情况选择合适的离群点算法，并结合领域知识和经验进行离群点检测和处理。希望本文能够帮助读者更深入地了解离群点算法的原理和应用。
基于聚类和距离的大数据集离群点检测算法
、ｌ造 訇 化
基于聚类和距离的大数据集离群点检测算法
Ｃｌｕｓｔｅｒｉｎｇ ａｎｄ ｄｉｓｔａｎｃｅ－ｂａｓｅｄ ｏｕｔｌｉｅｒ ｄｅｔｅｃｔｉｏｎ ｉｎ ｌａｒｇｅ ｄａｔａｓｅｔｓ
王欣
、『、『ＡＮＧ Ｘｉｎ
（中国民航飞行学院计算机学院，广汉６１８３０７） 摘要：针对已有的基于距离的离群点检测算法在大数据集上扩展性差的问题，提出了基于聚类和 距离混合的大数据集离群检测算法。算法第一阶段采用层次聚类和ｋ—ｍｅａｎｓ混合的层次 ｋ－ｍｅａｎｓ算法对数据进行聚类，并按照一个启发式规则对其进行排序。第二阶段在聚类的结 果上采用嵌套循环算法进行离群检测，并通过两个剪枝规则进行高效剪枝，减少了离群检测 时数据点之间距离计算的次数。理论分析和实验结果证明了算法的可行性和效率。 关键词：离群点；聚类；嵌套循环；ｋ近邻搜索 中图分类号：ＴＰ３１１ 文献标识码：Ａ 文章编号：１ ００９—０１ ３４（２０１１）４（下）一０１ ０１一Ｏ４ Ｄｏｉ：１ ０．３９６９／ｊ．ｉｓｓｎ．１ ００９－０１ ３４．２０１１．４（下）．２９
０引言
离群点检测是数据挖掘技术的重要研究领域
之～，用来发现数据集中明显偏离于其他数据、 不满足数据的一般行为或模式的数据¨】。这些数
据对象叫做离群点，也叫做孤立点。离群点检测
算法分为基于统计、深度、聚类、距离和密度的
方法 。其中，基于距离的方法由于算法思想直
观，易于实现而得到了广泛的研究和应用。
基于距离的方法大致分为嵌套循环的算法、
基于索引的算法和基于单元的算法。但这些方法
在处理大规模数据集时都存在性能上的不足。嵌
套循环算法通过循环扫描数据集为各样本寻找近
邻，复杂度为Ｏ（Ｊ７ｖ２Ｘｄ）（其中Ｎ为数据集中对
象个数，ｄ为数据的维数） 】。基于索引的算法通
过建立多维索引结构为各样本寻找近邻，最坏情
况下的复杂度为０（ ×ｄ）。但在大数据集上建
立索引的开销很大，而且随着维数的增大，索引
一种基于马尔可夫链的高维离群点挖掘算法
一种基于马尔可夫链的高维离群点挖掘算法
唐志刚;杨炳儒;杨珺
【摘 要】提出了一种基于马尔可夫链的离群点检测(outlier detection algorithms
based on Markov chain,MRKFOD)算法.该算法把基本数据集看作一个加权无向图,数据集中的每个数据表示一个节点,用每条加权边表示节点之间的相似度;形成一个邻接矩阵,把邻接矩阵当作马尔可夫链中的概率转移矩阵;寻求概率转移矩阵的主要特征向量;把每个节点的主要特征向量值作为每个数据的离群度.实验结果表明,该算法与其他高维离群点挖掘算法相比,在效率及有效处理的维数方面均有显著提高.
【期刊名称】《系统工程与电子技术》
【年(卷),期】2010(032)012
【总页数】4页(P2721-2724)
【关键词】数据挖掘;离群点;高维数据集;马尔可夫链;加权无向图
【作 者】唐志刚;杨炳儒;杨珺
【作者单位】北京科技大学信息工程学院,北京,100083;南华大学数理学院,湖南,衡阳,421001;北京科技大学信息工程学院,北京,100083;北京科技大学信息工程学院,北京,100083
【正文语种】中 文
【中图分类】TP182
0 引 言 离群点检测是数据挖掘的基本任务之一[1-2],其目的是消除噪音或发现潜在的、有意义的知识,在实际生活中有着广泛的应用,如信用卡欺诈检测、入侵检测、生态系统失调检测、公共卫生中的异常疾病的爆发监测、公共安全中的突发事件的发生、异常天气的发现等。离群点检测逐渐引起数据库、机器学习、统计学等领域研究人员的兴趣。
现已经出现了一些高效的离群点检测算法:基于聚类的、统计的、距离的、深度的以及基于密度的方法等5种类型[3-7]。到目前为止,所提出的大多数离群点检测算法对高维数据的异常检测效果都不是很理想。高维数据离群点检测与其他数据集的离群点检测差别较大的原因主要有两个:①高维数据的稀疏性导致所有记录在传统距离的意义上都很有可能是离群点,即机器学习中的“维数灾难”[7],因此高维空间中很难找到一个通用的离群产生机制;②高维数据离群点检测算法的计算复杂度通常都比较高,算法的执行效率极低。为了解决这些问题,文献[8]提出了基于超图模型的离群点检测(hypergraph based outlier test,HO T)算法,但其在处理高维数据时所需要的时间较多,无法获得令人满意的响应速度。文献[9]提出了基于频繁模式的离群点检测(find frequent pattern outlier factor,Find-FPOF)算法,给出了新的离群点度量——频繁模式离群因子(frequent pattern outlier factor,FPOF),它把频繁模式看做是一个通常模式,认为如果一个数据中包含的频繁模式越少,则其成为离群点的可能性就越大。FindFPOF算法虽然在进行高维数据离群点检测时,比HOT算法所需要的时间要少,但仍然需要多次扫描数据集。文献[10]提出了基于非线性数据变换的离群点检测算法,首先将非线性问题转化为高维特征空间中的线性问题,然后利用非线性数据变换进行维数约减,对所得数据对象每个投影分量逐个判断数据点是否是离群点。但是这种算法存在计算量较大,模型较为复杂,且泛化能力弱的缺点。文献[11]提出了利用数据向量之间不同角度来进行离群点挖掘(angle based
基于非线性数据变换的离群点检测算法
基于非线性数据变换的离群点检测算法
徐雪松，张讶，宋东明，张 宏，刘凤玉
（南京理工大学计算机科学与技术学院，南京２１００９４）
［摘要］ 为了提高高维数据集合离群数据挖掘效率，在分析了传统的离群数据挖掘算法优点和缺点的基础上， 提出了一种离群点检测算法，首先将非线性问题转化为高维特征空间中的线性问题，然后利用非线性数据变换 进行维数约减，对所得数据对象每个投影分量逐个判断数据点是否是离群点，通过实验证明该算法不仅可用于 线性可分数据集的离群点检测，而且可用于线性不可分数据集的离群点检测，表明了算法的优越性。 ［关键词］维数消减；核函数；主成分；离群数据 ［中图分类号］ＴＰ１８ ［文献标识码］ Ａ［文章编号］ １００９—１７４２（２００８）０９—００７４一Ｏ５
１前言
离群数据（ｏｕｔｌｉｅｒ）就是明显偏离其他数据，不 满足数据的一般模式或行为，与存在的其他数据不
一致的数据…。离群数据挖掘是从大量复杂的数 据集中发现存在于小部分异常数据中的新颖的、与
常规数据模式显著不同的新的数据模式。与统计学
中的离群值稍有不同，统计学中的离群值往往指的 是一维的数据，而要研究的数据是高维的。高维空
间数据分布稀疏，使数据之间的距离尺度及以此为 基础的区域密度不再具有直观意义。从一个数据点
来看，其他点到它的距离落在一个很小的区间内，很 难给出一个合适的近似度阈值来确定哪些点与之相 似＿２］。另外，在实际使用时数据维数往往很高，而
对高维数据的估计需要的样本个数与维数构成指数
增长的关系，称维数灾难（ｃｕｒｓｅ ｏｆ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ）。 为了解决这一问题，一些新的研究开始将高维空间 的数据投影到子空间以后再进行离群点检测。例
如，美国ＩＢＭ公司的研究员Ａｇｇａｒｗａｌ等采用演化计 算方式寻找所有投影到子空间稀疏的小方格，将其 中的数据作为离群点 ］。将数据投影到子空间再 进行数据挖掘是可行的但这带来了另一个问题—— 由于在实际使用中，样本点是非常稀少的，而随着数 据维数的增加，对维度进行组合得到的子窄间个数
异常点离群点检测算法——LOF解析
异常点离群点检测算法——LOF解析
局部异常因⼦算法-Local Outlier Factor(LOF)
在数据挖掘⽅⾯，经常需要在做特征⼯程和模型训练之前对数据进⾏清洗，剔除⽆效数据和异常数据。异常检测也是数据
挖掘的⼀个⽅向，⽤于反作弊、伪基站、⾦融诈骗等领域。
异常检测⽅法，针对不同的数据形式，有不同的实现⽅法。常⽤的有基于分布的⽅法，在上、下α分位点之外的值认为是异常
值（例如图1），对于属性值常⽤此类⽅法。基于距离的⽅法，适⽤于⼆维或⾼维坐标体系内异常点的判别，例如⼆维平⾯坐标或经纬度空间坐标下异常点识别，可⽤此类⽅法。
这次要介绍⼀下⼀种基于距离的异常检测算法，局部异常因⼦LOF算法（Local Outlier Factor）。
⽤视觉直观的感受⼀下，如图2，对于C1集合的点，整体间距，密度，分散情况较为均匀⼀致，可以认为是同⼀簇；对于C2
集合的点，同样可认为是⼀簇。o1、o2点相对孤⽴，可以认为是异常点或离散点。现在的问题是，如何实现算法的通⽤性，
可以满⾜C1和C2这种密度分散情况迥异的集合的异常点识别。LOF可以实现我们的⽬标。
下⾯介绍LOF算法的相关定义： 1) d(p,o) ：两点p和o之间的距离；
2) k-distance：第k距离
对于点p的第k距离 dk(p) 定义如下：
dk(p)=d(p,o) ，并且满⾜：
a) 在集合中⾄少有不包括p在内的 k 个点o,∈C{x≠p}， 满⾜ d(p,o,)≤d(p,o) ；
b) 在集合中最多有不包括p在内的 k−1 个点 o,∈C{x≠p} ，满⾜ d(p,o,)
p的第k距离，也就是距离p第k远的点的距离，不包括p，如图3。
3) k-distance neighborhood of p：第k距离邻域
点p的第k距离邻域 Nk(p) ，就是p的第k距离即以内的所有点，包括第k距离。
因此p的第k邻域点的个数 |Nk(p)|≥k 。 4) reach-distance：可达距离 点o到点p的第k可达距离定义为： reach−distancek(p,o)=max{k−distance(o),d(p,o)}
离群点检测（基于聚类）
离群点检测（基于聚类）
基于聚类的离群点检测：
算法核⼼ 计算离群点得分。
1、选择聚类算法进⾏聚类，找到各簇质⼼；
2、计算个对象到最近质⼼的距离；
3、计算各对象到它的最近质⼼的相对距离；
4、与给定的阈值作⽐较，选出离群点。
python 例⼦：
1 import numpy as np
2 import pandas as pd
3
4 inputfile = '.../data/consumption_data.xls'
5 k = 3
6 threshold = 2
7 iteration = 500
8 data = pd.read_excel(inputfile,index_col='Id')
9 data_zs = 1.0*(data-data.mean())/data.std()
10
11 from sklearn.cluster import KMeans
12 model = KMeans(n_clusters=k,max_iter=iteration)
13 model.fit(data_zs)
14
15 r = pd.concat([data_zs,pd.Series(bels_,index=data.index)],axis=1)
16 r.columns = list(data.columns) + ['聚类类别']
17 norm = []
18 for i in range(k):
19 norm_tmp = r[['F','R','M']][r.聚类类别==i] - model.cluster_centers_[i]
20 norm_tmp = norm_tmp.apply(np.linalg.norm,axis=1)
21 norm.append(norm_tmp/norm_tmp.median()) #计算相对距离（离群点得分）
22 norm = pd.concat(norm)
基于Voronoi和空间自相关的离群点检测
第３６卷
ＶｏＬ３６ 第１期
Ｎｏ．１ 计算机工程
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ２０１０年１月
Ｊａｎｕａｒｙ ２０１０
・软件技术与数据库・ 文章编号：１０００－－３４２８（２０１０）０１—＿＿ｏｏ３３—Ｉｌ２ 文献标识码：Ａ 中圈分类号：ＴＰ３１１
基于Ｖｏｒｏｎｏｉ和空间自相关的离群点检测
王妍 ．．，潘瑜春 ，阎波杰 ，
（１．首都师范大学信息工程学院，北京１０００３７；２．国家农业信息化工程技术研究中心，北京１０００９７；３．闽江学院地理科学系，福州３５０１０８）
摘要：为了提高空间数据挖掘的效率和准确度，在分析传统的离群点检测算法优、缺点的基础上，提出一种空间离群点检测算法。用Ｖｏｒｏｎｏｉ 来确定空间对象间的邻近关系，在空间邻域内利用空间自相关性来计算局部Ｍｏｒａｎ指数，并将其作为离群因子进而判断离群点。实验结果
表明，该算法能够高效、准确地检测出空间离群点，具有对用户依赖性少和可伸缩性强等优点。
关健词：空间离群点；Ｍｏｒａｎ指数；空间自相关
Ｏｕｔｌｉｅｒ Ｄｅｔｅｃｔｉｏｎ Ｂａｓｅｄ ０ｎ Ｖｏｒｏｎｏｉ ａｎｄ Ｓｐａｔｉａｌ Ａｕｔ０ｃ０ｒｒｅｌａｔｉ０ｎ
ＷＡＮＧ Ｙａｎ ，一．ＰＡＮ Ｙｕ＿ｃｈｕｎ ．ＹＡＮ Ｂｏ－ｊｉｅ ，
（１．Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｉｎｓｔｉｔｕｔｅ，Ｃａｐｉｔａｌ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ １０００３７；２．Ｎａｔｉｏｎａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ
Ｔｅｃｈｎｏｌｏｇｙ ｉｎ Ａｇｒｉｃｕｌｔｕｒｅ，Ｂｅｉｊｉｎｇ １０００９７；３．Ｄｅｐａｒｔｍｅｎｔ ｏｆＧｅｏｇｒａｐｈｙ，Ｍｉｎｊｉａｎｇ Ｃｏｌｌｅｇｅ，Ｆｕｚｈｏｕ ３５０１０８）
［Ａｂｓｔｒａｃｔｌｌｎ ｏｒｄｅｒ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｓｐａｔｉａｌ ｄａｔａ ｍｉｎｉｎｇ ｅｆｆｉｃｉｅｎｃｙ ａｎｄ ａｃｃｕｒａｃｙ，ｔｈｅ ｒｅｓｅａｒｃｈ ｏｎ ｓｐａｔｉａｌ ｏｕｔｌｉｅｒ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ Ｖｏｒｏｎｏｉ ａｎｄ ｓｐａｔｉａｌ ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ ｉｓ ｐｒｏｐｏｓｅｄ ａｆｔｅｒ ａｎａｌｙｚｉｎｇ ｔｈｅ ａｄｖａｎｔａｇｅｓ ａｎｄ ｄｉｓａｄｖａｎｔａｇｅｓ ｏｆ ｔｈｅ ｃｌａｓｓｉｃａｌ ｏｕｔｌｉｅｒ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ．Ｔｈｅ ａｌｇｏｒｉｔｈｍ