双百案例课件

训练数据包含被标记的正常数据，但是没有关于异常对 象的信息
从面向对象的特殊性角度分类

面向高维数据的方法


面向时间序列的方法 面向数据流的方法 面向空间数据的方法 面向Web 数据的方法……
异常检测中需要处理的几个问题
(1)用于定义异常的属性个数
一个对象只有单个属性 Nhomakorabea一个对象具有多个属性：
一张信用卡出现明显的高额消费也许是因为是盗用的卡。


异常数据与众不同但具 有相对性：
高与矮，疯子与常人。 类似术语： Outlier mining，Exception mining:异常挖掘、离群 挖掘、例外挖掘和稀有 事件挖掘 。

异常检测方法分类
从使用的主要技术路线角度分类


异常检测的应用领域

电信、保险、银行中的欺诈检测与风险分析 发现电子商务中的犯罪行为 灾害气象预报 税务局分析不同团体交所得税的记录，发现异常模型和趋势


海关、民航等安检部门推断哪些人可能有嫌疑
海关报关中的价格隐瞒 营销定制：分析花费较小和较高顾客的消费行为 医学研究中发现医疗方案或药品所产生的异常反应 计算机中的入侵检测 运动员的成绩分析 应用异常检测到文本编辑器，可有效减少文字输入的错误

一个对象可能相对于所有对象看上去异常，但
它相对于它的局部近邻不是异常的

例如：身高1.85m对于一般人群是不常见的，但对
于职业篮球运动员不算什么
(3)点的异常程度

某些技术方法是以二元方式来报告对象是否异 常的，即：异常或正常

但这不能反映某些对象比其他对象更加极端异常的 基本事实 所以可以通过定义对象的异常程度来给对象打分 ， 如都为异常的情况下，也还有分高和分低的区 别。——异常点得分(outlier score)
用支出，找出不规范的医疗行为，控制医疗费用
不合理的上涨；另一方面，可以找出一些违规的
操作和错误的录入信息，规范新农合的信息管理
，加强新农合的监管力度。
异常点检测背景知识
主要内容


异常挖掘及其应用 异常数据挖掘方法简介
基于统计的方法 基于距离的方法 基于密度的方法
基于聚类的方法

2014-6-6
使用相对密度的异常点检测(LOF)


对每个点, 计算它的局部邻域密度 计算样本p的局部异常因子(LOF)，把它作为样本p 的平均密度比率和近邻密度 异常点为具有最大LOF值的点

p2

在基于距离的方法中, p2 不是异常，而在LOF方法 中p1和p2 都被判定为异 常。
p1


为了使用该定义，需要指定α值。从不寻常的值(对 象)预示来自不同的值的观点来说，α表示我们错误 地将来自给定分布的值分类为异常点的概率。从异
常点是N(0,1)分布的稀有值的观点来说，α表示稀有
程度。
基于统计方法异常点检测技术的优缺点

优点：

异常点检测的统计学方法具有坚实的基础，建立在标准 的统计学技术(如分布参数的估计)之上。 当存在充分的数据和所用的检验类型的知识时，这些检 验可能非常有效。 大部分统计方法都是针对单个属性的，对于多元数据技 术方法较少。 在许多情况下, 数据分布是未知的。 对于高维数据, 很难估计真实的分布。

测量、输入错误或系统运行错误所致 数据内在特性所决定 客体的异常行为所致 由于异常产生的机制是不确定的，异常挖掘算法检 测出的“异常数据”是否真正对应实际的异常行为， 不是由异常挖掘算法来说明、解释的，只能由领域专 家来解释，异常挖掘算法只能为用户提供可疑的数 据，以便用户引起特别的注意并最后确定是否真正的 异常。对于异常数据的处理方式也取决于应用，并由 领域专家决策。



异常数据具有特殊的意义和很高 的实用价值

现有数据挖掘研究大多集中于发现适用于大部分 数据的常规模式,在许多应用领域中，异常数据通 常作为噪音而忽略，许多数据挖掘算法试图降低 或消除异常数据的影响。而在有些应用领域识别 异常数据是许多工作的基础和前提，异常数据会 带给我们新的视角。 如在欺诈检测中，异常数据可能意味欺诈行为的 发生，在入侵检测中异常数据可能意味入侵行为 的发生。


缺点：


基于距离的异常检测
基于距离的异常检测

基于距离的异常检测方法，其基本思想如下：

一个对象是异常的，如果它远离大部分其它对象。

优点：确定数据集的有意义的邻近性度量比确
定它的统计分布更容易，综合了基于分布的思 想，克服了基于分布方法的主要缺陷 。
基于距离的方法有两种不同的策略

未来研究展望
什么是异常(Outlier)？

Hawkins的定义：异常是在数据集中偏离大部分数据 的数据，使人怀疑这些数据的偏离并非由随机因素产 生，而是产生于完全不同的机制。 Weisberg的定义：异常是与数据集中其余部分不服从 相同统计模型的数据。 Samuels的定义：异常是足够地不同于数据集中其余 部分的数据。 Porkess的定义：异常是远离数据集中其余部分的数 据
异常数据实例

一个人的年龄为-999就可能是由于程序处理缺省数据设置 默认值所造成的 ； 一个公司的高层管理人员的工资明显高于普通员工的工资 可能成为异常数据但却是合理的数据(如平安保险公司 2007年 5位高管税后收入超过了1000万元)；


一部住宅电话的话费由每月200元以内增加到数千元可能 就因为被盗打或其它特殊原因所致；
利用k最近邻距离的大小来判定异常 。


这种方法对k的取值比较敏感。如果k太小(例如1)，则少量 的邻近异常点可能导致较低的异常程度。如果k太大，则点 数少于k的簇中所有的对象可能都成了异常点。
到k-最近邻的距离的计算

k-最近邻的距离：

一个对象的异常点得分由到它的k-最近邻的距离给
定。

异常点得分的最低值为0，最高值是距离函数的可
能最大值----如无穷大
基于KNN距离总和的异常点筛检算法： (1) 计算各样本点两两之间的距离矩阵； (2) 依据距离矩阵建立k近邻列表；
(3) 计算每个点与k个近邻距离之和
Sum_KNN;
(4) 检测异常点：确定阈值t，只要Sum_KNN
大于阈值t，则该样本点被认为是异常点。
基于距离的异常检测的优缺点

下面利用统计学中最常使用的分布之一:高斯(正 态)分布，来介绍一种简单的统计学异常点检测方 法。

正态分布用记号：N (μ，σ2)表示，μ表示均值，σ2表示 均值为0，标准差为1的高斯分布的概率密度函数 方差。
概率密度
-6
-4
-2
0 x
2
4
6
实例：检测一元正态分布中的异常点
来自N(0,1)分布的对象(值)出现在分 布尾部的机会很小。 例如，对象落在 3标准差的中心区 域以外的概率仅有0.0027。更一般 地，如果x是属性值，则|x|>=c的概 率随c增加而迅速减小。 设α= p (|x| ≥c)。表6-1显示当分布为 N(0,1)时c的某些样本值和对应的α值。 注意：离群值超过4个标准差的值出 现的可能性是万分之一。


基于统计的方法 基于距离的方法 基于密度的方法 基于聚类的方法 基于偏差的方法 基于深度的方法 基于小波变换的方法 基于神经网络的方法„
从类标号(正常或异常)可以利用的程 度分类

无监督的异常检测方法

在实际情况下，没有提供类标号

有监督的异常检测方法

要求存在异常类和正常类的训练集

半监督的异常检测方法

(4)评估

如果可以使用类标号来识别异常和正常数据:

可以利用分类性能度量来评估异常检测方案的有效
性。 也可以使用如精度、召回率等度量方法来度量


如果不能使用类标号，则评估是困难的。
(5)有效性

各种异常检测方案的计算开销是显著不同的

例如：

基于分类的方案需要相当多的资源(训练数据和测 试数据)来创建分类模型，但是这个模型一旦建立 好了，使用时的开销通常很小

可能某个属性异常，某个属性正常 身高1.6m，体重55kg，这个很正常； 身高1.6m，体重75kg，这个有点异常；
如：对于男生而言，
身高1.8m，体重75kg，基本正常。
若对于女生，则三组值可能都不太正常。

所以，定义异常需要指明如何使用多个属性的 值确定一个对象是否异常？
(2)全局观点和局部观点

而基于邻近度的方法，其时间复杂度通常为O(n2)
异常检测的挑战和前提

挑战：


数据中有多少异常点?
方法应该是无监督的，就像在干草堆中寻找一根针

前提假设:

假定数据集中被认为正常的点数远远超过被认为异 常的点数
基于统计的异常检测
基于统计的异常检测

这类方法大部分是从针对不同分布的异常检验方

优点：

基于距离的异常点检测方案简单

缺点：

时间复杂度O(m2)，不适用于大数据集 不能处理不同密度区域的数据集，因为它使用全局 阈值，不能考虑这种密度的变化
不能处理不同密度区域的数据集
例：
C D B
当k=5时，哪个点具有 最高的异常点得分,B 的异常点得分和D的异 常点得分哪个低？
A
基于密度的异常检测
异常挖掘
研究动机
5000 4500 4000 3500 3000 2500 2000 1500 1000 500 0 A B C D 区域 E F G H