数据中异常值的处理方法 - 总
数据中异常值的处理方法-总
数据中异常值的处理方法-总数据中异常值的检测与处理方法一、数据中的异常值各种类型的异常值：数据输入错误：数据收集，记录或输入过程中出现的人为错误可能导致数据异常。
例如：一个客户的年收入是$ 100,000。
数据输入运算符偶然会在图中增加一个零。
现在收入是100万美元，是现在的10倍。
显然，与其他人口相比，这将是异常值。
测量误差：这是最常见的异常值来源。
这是在使用的测量仪器出现故障时引起的。
例如：有10台称重机。
其中9个是正确的，1个是错误的。
有问题的机器上的人测量的重量将比组中其他人的更高/更低。
在错误的机器上测量的重量可能导致异常值。
实验错误：异常值的另一个原因是实验错误。
举例来说：在七名跑步者的100米短跑中，一名跑步者错过了专注于“出发”的信号，导致他迟到。
因此，这导致跑步者的跑步时间比其他跑步者多。
他的总运行时间可能是一个离群值。
故意的异常值：这在涉及敏感数据的自我报告的度量中通常被发现。
例如：青少年通常会假报他们消耗的酒精量。
只有一小部分会报告实际价值。
这里的实际值可能看起来像异常值，因为其余的青少年正在假报消费量。
数据处理错误：当我们进行数据挖掘时，我们从多个来源提取数据。
某些操作或提取错误可能会导致数据集中的异常值。
抽样错误：例如，我们必须测量运动员的身高。
错误地，我们在样本中包括一些篮球运动员。
这个包含可能会导致数据集中的异常值。
自然异常值：当异常值不是人为的（由于错误），这是一个自然的异常值。
例如：保险公司的前50名理财顾问的表现远远高于其他人。
令人惊讶的是，这不是由于任何错误。
因此，进行任何数据挖掘时，我们会分别处理这个细分的数据。
在以上的异常值类型中，对于房地产数据，可能出现的异常值类型主要有：(1)数据输入错误，例如房产经纪人在发布房源信息时由于输入错误，而导致房价、面积等相关信息的异常；在数据的提取过程中也可能会出现异常值，比如在提取出售二手房单价时，遇到“1室7800元/m 2”，提取其中的数字结果为“17800”，这样就造成了该条案例的单价远远异常于同一小区的其他房源价格，如果没有去掉这个异常值，将会导致整个小区的房屋单价均值偏高，与实际不符。
python异常值处理方法
python异常值处理方法Python异常值处理方法。
在数据处理的过程中，我们经常会遇到异常值，也就是数据中的一些异常或者异常的情况。
这些异常值可能会对我们的数据分析和建模产生影响，因此需要对这些异常值进行处理。
在Python中，有许多方法可以用来处理异常值，接下来我们将介绍一些常用的方法。
1. 删除异常值。
删除异常值是最简单直接的方法之一。
我们可以通过一些条件来筛选出异常值，并将其从数据集中删除。
例如，我们可以通过设定阈值来判断异常值，然后将其删除。
这种方法适用于异常值数量较少的情况，但需要注意的是，删除异常值可能会导致数据量的减少，从而影响后续的分析结果。
2. 替换异常值。
另一种常见的处理方法是将异常值替换为数据集的其他值。
这种替换可以是使用均值、中位数、众数等统计量来代替异常值，也可以是使用插值法来进行替换。
替换异常值的方法可以帮助我们保持数据集的完整性，但需要注意选择合适的替换策略，避免对数据产生过大的影响。
3. 离群值处理。
离群值是一种特殊的异常值，它们可能是真实存在的极端数值，也可能是数据采集或记录过程中的错误。
针对离群值，我们可以使用一些统计学方法，如Z分数、箱线图等来识别和处理。
通过这些方法，我们可以将离群值识别出来，并进行相应的处理，以减小其对数据分析的影响。
4. 使用异常检测算法。
除了上述的方法外，还可以使用一些专门的异常检测算法来处理异常值。
这些算法可以帮助我们自动识别和处理异常值，如孤立森林、LOF等。
使用异常检测算法可以提高异常值处理的效率和准确性，但需要根据具体情况选择合适的算法，并对算法的参数进行调优。
总结。
在数据分析和建模过程中，异常值处理是一个重要的环节。
合理的异常值处理方法可以帮助我们保持数据的完整性和准确性，从而提高分析和建模的效果。
在Python中，我们可以使用多种方法来处理异常值，包括删除、替换、离群值处理和异常检测算法等。
需要根据具体情况选择合适的方法，并进行相应的参数调优，以达到最佳的处理效果。
异常数据的处理方法
异常数据的处理方法一、引言异常数据在实际数据分析和数据挖掘应用中是不可避免的。
它们可能是数据采集过程中的错误、随机噪声或者特殊情况下产生的异常值。
异常数据的存在会对数据分析的结果产生负面影响，因此需要采取合适的方法对异常数据进行处理。
本文将介绍一些常见的异常数据处理方法，帮助读者更好地理解和应用这些方法。
二、异常数据的识别在处理异常数据之前，首先需要进行异常数据的识别。
常用的方法包括基于统计分析的方法和基于机器学习的方法。
2.1 基于统计分析的方法基于统计分析的方法主要是通过计算统计指标，如均值、方差等来识别异常数据。
常用的统计指标包括： - 均值：通过计算数据的均值，将与均值相差较大的数据视为异常数据。
- 方差：通过计算数据的方差，将方差较大的数据视为异常数据。
- 离群点检测：通过计算数据点离其它数据点的距离，将距离较大的数据点视为异常数据。
2.2 基于机器学习的方法基于机器学习的方法可以通过训练模型来识别异常数据。
常用的机器学习方法包括：- 无监督学习：使用聚类分析等无监督学习方法来发现异常数据。
- 监督学习：使用分类或回归等监督学习方法来训练模型，并利用模型对新数据进行异常数据判定。
三、异常数据的处理方法一旦异常数据被识别出来，我们可以采取以下几种方法来处理异常数据。
3.1 删除异常数据最简单的处理方法是直接删除异常数据。
这种方法适用于异常数据量较少，并且对整体数据结果影响较小的情况。
删除异常数据可以通过以下几种方式实现： - 删除整行数据：将包含异常数据的整行数据删除。
- 删除单个数据点：将异常数据点进行删除。
3.2 替换异常数据在某些情况下，我们可以选择替换异常数据来修正数据分析的结果。
常用的替换方法包括： - 用均值替换：将异常数据用整体数据的均值进行替换。
- 用中位数替换：将异常数据用整体数据的中位数进行替换。
- 用线性插值替换：通过线性插值方法，根据相邻数据点的值计算并替换异常数据。
数据分析中的异常检测和异常值处理技巧
数据分析中的异常检测和异常值处理技巧在数据分析领域，异常值是指与其他观测值相比具有显著不同的观测值。
异常值的出现可能是由于测量误差、数据录入错误、系统故障或者真实的异常情况引起的。
对于异常值的处理，不仅可以提高数据分析的准确性和可靠性，还可以避免异常值对分析结果的影响。
本文将介绍数据分析中常用的异常检测和异常值处理技巧。
一、异常检测方法1. 统计方法统计方法是最常用的异常检测方法之一。
通过计算观测值与平均值之间的偏差或者观测值与中位数之间的偏差来判断是否为异常值。
常用的统计方法包括均值、中位数、标准差、箱线图等。
均值是一组数据的平均值，可以通过计算数据的总和除以数据的个数得到。
如果某个观测值与均值之间的偏差超过了某个阈值，就可以判断该观测值为异常值。
中位数是一组数据的中间值，可以通过将数据按照大小排序，找到中间位置的数值得到。
如果某个观测值与中位数之间的偏差超过了某个阈值，就可以判断该观测值为异常值。
标准差是一组数据的离散程度的度量，可以通过计算数据与均值之间的偏差的平方的平均值再开方得到。
如果某个观测值与均值之间的偏差超过了某个阈值的倍数乘以标准差，就可以判断该观测值为异常值。
箱线图是一种可视化的异常检测方法，通过绘制数据的分布情况来判断是否存在异常值。
箱线图包含了数据的最小值、最大值、中位数和上下四分位数，如果某个观测值超过了上下四分位数加上某个阈值的倍数乘以四分位距，就可以判断该观测值为异常值。
2. 聚类方法聚类方法是一种基于样本之间相似性度量的异常检测方法。
聚类方法将数据分成多个簇，每个簇包含相似的样本。
如果某个观测值与其他观测值之间的相似度低于某个阈值，就可以判断该观测值为异常值。
常用的聚类方法包括K均值聚类和DBSCAN聚类。
K均值聚类将数据分成K 个簇，每个簇的中心点是该簇内所有样本的平均值。
如果某个观测值与其所属簇的中心点之间的距离超过了某个阈值，就可以判断该观测值为异常值。
DBSCAN聚类是一种基于密度的聚类方法，将数据分成核心点、边界点和噪声点。
统计师如何进行数据清洗和异常值处理
统计师如何进行数据清洗和异常值处理作为统计师，进行数据清洗和异常值处理是我们工作中至关重要的一环。
数据清洗是数据分析中不可或缺的步骤，它能够提高数据质量，减少错误分析的可能性，从而为后续的数据处理和分析提供可靠的基础。
而异常值处理则是为了排除异常数据对结果的干扰，使分析结果更加准确和可靠。
本文将介绍统计师如何进行数据清洗和异常值处理的常用方法和技巧。
一、数据清洗数据清洗是指对原始数据进行筛选、整理和转换，以确保数据的准确性和一致性。
下面是几个常见的数据清洗方法：1. 缺失值处理缺失值是指数据记录中某些变量的值未被记录或者记录错误，常见的处理方法有删除缺失值、插补缺失值和忽略缺失值。
删除缺失值适用于缺失值占比较小的情况，而插补缺失值则可以通过均值、中位数、回归等方法来填补缺失值。
2. 重复值处理重复值是指数据中存在重复记录，可以通过去重的方式来进行处理。
常见的去重方法有基于某个或多个变量的去重和基于全部变量的去重。
去重可以避免重复数据对分析结果的误导。
3. 异常值处理异常值是指数据中与其他观测值存在明显差异的数值，可以通过一些统计方法来进行识别和处理。
常用的方法有箱线图法、3σ法、Z-score标准化等。
一旦发现异常值，可以选择删除、替换或者进行额外的深入调查。
二、异常值处理异常值是指与其他观测值相比较具有显著差异的数值，它可能是由于测量误差、记录错误或者真实存在的特殊情况引起的。
处理异常值的目的是减少异常数据对统计结论的干扰，提高分析结果的准确性和可靠性。
以下是几种常用的异常值处理方法：1. 删除异常值对于极端异常值，可以直接删除。
删除异常值的使用需要谨慎，必须基于充分的领域知识和专业判断。
2. 替换异常值对于不太极端的异常值，可以选择替换。
替换方法可以采用均值、中位数、众数或者通过回归等方式进行替换。
3. 分箱处理在一些情况下，将异常值分配到邻近的箱中，以降低异常值的影响。
这样处理可以保留异常值的一部分信息，又减少了其对分析结果的干扰。
数据处理中的异常值检测与处理方法(二)
数据处理中的异常值检测与处理方法在数据处理过程中，异常值是一个常见的问题。
异常值指的是与大多数观测值明显不同的观测值，它们可能是由于测量误差、采样误差、录入错误或者真实情况中的异常事件所导致。
异常值的存在会影响数据的准确性和可靠性，因此在数据分析和建模过程中，我们需要对异常值进行检测和处理。
本文将介绍一些常用的异常值检测与处理方法。
一、统计学方法统计学方法是最常用的异常值检测方法之一。
基于统计学的方法主要依赖于数据集的统计性质，比如均值、标准差、分位数等。
其中，Z-Score和Percentile方法是两种常见的基于统计学的异常值检测方法。
Z-Score方法是通过计算观测值与均值之间的标准差的差异来判断异常值。
具体来说，Z-Score等于观测值与均值之差除以标准差。
当观测值的Z-Score大于某个阈值（一般为2或3）时，可以认为该观测值是异常值。
Percentile方法是基于数据集的分位数进行判断。
通过计算数据集的第一分位数（25%分位数）和第三分位数（75%分位数），确定一个分位数范围。
如果某个观测值小于第一分位数减去一个阈值或者大于第三分位数加上一个阈值，那么该观测值可以被认为是异常值。
二、基于机器学习的方法基于机器学习的异常值检测方法是近年来比较热门的一种方法。
它通常使用无监督学习算法，将异常值视为数据集中的异常模式，并利用这些模式进行异常值检测和处理。
以下是两种常见的基于机器学习的异常值检测方法。
聚类方法是一种常见的基于机器学习的异常值检测方法。
聚类算法可以将数据集划分为多个簇，而异常值可能位于不同的簇中或者成为一个孤立的簇。
因此，通过计算观测值与其所属簇的聚类中心之间的距离，可以判断观测值是否为异常值。
离群点检测方法是另一种常见的基于机器学习的异常值检测方法。
离群点检测算法通过寻找与其他观测值明显不同的观测值来判断异常值。
其中，孤立森林（Isolation Forest）和局部离群因子（Local Outlier Factor）是两种常见的离群点检测算法。
数据处理中常见的错误和解决方法
数据处理中常见的错误和解决方法导语数据处理在现代社会中变得越来越重要，然而，由于各种原因，我们在处理数据时常常会遇到各种错误。
本文将探讨数据处理中常见的错误以及解决方法。
一、数据缺失数据缺失是数据处理中最常见的问题之一。
当我们收集数据时，可能会出现一些数据丢失的情况，这导致我们无法全面地进行统计和分析。
为了解决这个问题，我们可以采取以下策略：1. 利用缺失数据填补方法：根据已有数据的规律进行估计或插补，如均值填补、回归填补等。
2. 重新收集数据：如果数据缺失较为严重，使用缺失数据填补方法无法解决问题时，我们需要重新收集数据。
二、数据异常值数据处理中另一个常见的问题是数据异常值的存在。
异常值可能是由于数据的错误记录或者某种特殊情况导致的。
解决异常值的方法有以下几种：1. 删除异常值：如果异常值对于结果的影响较大，我们可以考虑删除这些异常值。
2. 替换异常值：可以用平均值、中位数、分位数等替代异常值，以保证数据的准确性。
三、数据重复在数据处理过程中，我们经常会遇到数据重复的情况。
数据重复不仅浪费存储空间，还会对分析和建模的结果产生不良影响。
解决数据重复问题的措施如下：1. 去重：通过数据清洗的操作，删除重复的记录。
2. 数据合并：如果重复的数据分散在多个文件中，我们可以将它们合并为一个文件，以方便后续处理。
四、数据错位数据错位是指数据在记录或者处理过程中发生错位的情况。
这种错误会导致数据的不完整或者不准确。
为了解决这个问题，我们可以采取以下措施：1. 校验数据源：在数据输入的时候进行严格的验证和校验，避免数据错位的发生。
2. 定期检查数据：对于已经录入的数据，定期进行检查，及时发现和纠正数据错位的问题。
五、数据格式错误数据格式错误是指数据的格式与预期不一致。
这种错误可能是由于数据录入过程中的输入错误或者数据源的错误导致的。
为了解决这个问题，我们可以采取以下方法：1. 数据格式转换：通过使用数据处理软件或者编程语言将错误的数据格式转换为正确的格式。
python异常值处理的三种方法
python异常值处理的三种方法Python异常值处理的三种方法异常值是指与大多数观测值之间存在显著差异的观测值。
在数据分析和数据挖掘中，异常值可能对结果产生严重影响，因此需要进行适当的处理。
Python提供了多种方法来处理异常值，本文将介绍其中的三种方法。
1. 标准差法标准差法是最常用的异常值处理方法之一。
它基于数据的离散程度来确定异常值。
具体步骤如下：1.计算数据的平均值和标准差。
2.定义阈值，通常为平均值加减若干个标准差。
3.将超过阈值的数据视为异常值，进行处理。
使用标准差法处理异常值的优点是简单易行，但也存在一些缺点，比如对数据分布的假设较强，不适用于非正态分布的数据。
2. 箱线图法箱线图法是另一种常用的异常值处理方法。
它通过绘制箱线图来识别和处理异常值。
具体步骤如下：1.绘制箱线图，箱线图由箱体和须组成。
2.箱体代表数据的四分位数，须代表正常范围内的数据。
3.根据一些规则（如倍箱体长度），将超过须的数据视为异常值，进行处理。
箱线图法相对于标准差法来说，对数据分布的假设较少，适用于各种类型的数据。
但是它也存在一些局限性，对于极端值和非对称分布的数据处理效果较差。
3. 异常值检测算法除了传统的统计方法，Python还提供了一些异常值检测的算法，如孤立森林、LOF等。
这些算法主要基于数据点之间的关系来判断异常值。
具体步骤如下：1.选择适当的异常值检测算法，如孤立森林。
2.根据算法的要求，进行参数设置和模型训练。
3.使用训练好的模型来检测异常值，并进行处理。
异常值检测算法相对于传统方法来说，更加灵活和自动化，并且对于非线性和高维数据的处理效果较好。
但是它也需要较大的计算资源和较长的运行时间。
以上是Python异常值处理的三种方法，每种方法都有其优劣和适用场景。
在实际应用中，选择合适的方法根据数据的特点和分析目的来决定。
4. 缺失值处理法缺失值是指数据中存在某些观测值缺失的情况。
在数据分析中，缺失值可能对结果产生误导，因此需要进行适当的处理。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据中异常值的检测与处理方法一、数据中的异常值各种类型的异常值：•数据输入错误：数据收集，记录或输入过程中出现的人为错误可能导致数据异常。
例如：一个客户的年收入是$ 100,000。
数据输入运算符偶然会在图中增加一个零。
现在收入是100万美元，是现在的10倍。
显然，与其他人口相比，这将是异常值。
•测量误差：这是最常见的异常值来源。
这是在使用的测量仪器出现故障时引起的。
例如：有10台称重机。
其中9个是正确的，1个是错误的。
有问题的机器上的人测量的重量将比组中其他人的更高/更低。
在错误的机器上测量的重量可能导致异常值。
•实验错误：异常值的另一个原因是实验错误。
举例来说：在七名跑步者的100米短跑中，一名跑步者错过了专注于“出发”的信号，导致他迟到。
因此，这导致跑步者的跑步时间比其他跑步者多。
他的总运行时间可能是一个离群值。
•故意的异常值：这在涉及敏感数据的自我报告的度量中通常被发现。
例如：青少年通常会假报他们消耗的酒精量。
只有一小部分会报告实际价值。
这里的实际值可能看起来像异常值，因为其余的青少年正在假报消费量。
•数据处理错误：当我们进行数据挖掘时，我们从多个来源提取数据。
某些操作或提取错误可能会导致数据集中的异常值。
•抽样错误：例如，我们必须测量运动员的身高。
错误地，我们在样本中包括一些篮球运动员。
这个包含可能会导致数据集中的异常值。
•自然异常值：当异常值不是人为的（由于错误），这是一个自然的异常值。
例如：保险公司的前50名理财顾问的表现远远高于其他人。
令人惊讶的是，这不是由于任何错误。
因此，进行任何数据挖掘时，我们会分别处理这个细分的数据。
在以上的异常值类型中，对于房地产数据，可能出现的异常值类型主要有：(1)数据输入错误，例如房产经纪人在发布房源信息时由于输入错误，而导致房价、面积等相关信息的异常；在数据的提取过程中也可能会出现异常值，比如在提取出售二手房单价时，遇到“1室7800元/m 2”，提取其中的数字结果为“17800”，这样就造成了该条案例的单价远远异常于同一小区的其他房源价格，如果没有去掉这个异常值，将会导致整个小区的房屋单价均值偏高，与实际不符。
(2)故意的异常值，可能会存在一些人，为了吸引别人来电询问房源，故意把价格压低，比如房屋单价为1元等等；(3)自然异常值。
房价中也会有一些实际就是比普通住宅价格高很多的真实价格，这个就需要根据实际请况进行判断，或在有需求时单独分析。
二、数据中异常值的检测各种类型的异常值检测：1、四分位数展布法方法[1]：大于下四分位数加1.5倍四分位距或小于上四分位数减1.5倍。
把数据按照从小到大排序，其中25%为下四分位用FL 表示，75%处为上四分位用FU 表示。
计算展布为：L U F F F d -=，展布（间距）为上四分位数减去下四分位数。
最小估计值（下截断点）：F L d F 5.1-最大估计值（上截断点）：F U d F 5.1+数据集中任意数用X 表示，F U F L d F X d F 5.15.1+<<-，上面的参数1.5不是绝对的，而是根据经验，但是效果很好。
计算的是中度异常，参数等于3时，计算的是极度异常。
我们把异常值定义为小于下截断点，或者大于上截断点的数据称为异常值。
优点：与方差和极差相比，更加不容易受极端值的影响，且处理大规模数据效果很好。
缺点：小规模处理略显粗糙。
而且只适合单个属相的检测。
2、识别不遵守分布或回归方程的值方法：双变量和多变量离群值通常使用影响力或杠杆指数或距离来衡量，像Mahalanobis 的距离和Cook‘s D 这样的流行指数经常被用来检测异常值。
在SAS 中，我们可以使用PROC Univariate, PROC SGPLOT ，为了识别异常值和有影响力的观测，我们还研究了STUDENT 、COOKD 、RSTUDENT 等统计指标。
马氏距离法[1]：假设两个变量Xi 和Xj 具有较高的正相关关系，某样本Xk 在这两个变量上的取值为（Xki ，Xkj ），若Xki 远远大于Xi 的平均值，而Xkj 却远小于Xj 的平均值，则这个样品就很可能是异常的。
检验这种异常品可以采用马氏平方距离法。
主要思想是：把n 个P 维样品看作p 维空间中的n 个点，则第i 个样品所对应的坐标为（Xi1，Xi2，…，Xip ）。
样品在空间中的相对位置可通过各样品与总体重心（以各变量均值（X1，X2，…，Xp ）为坐标的点）之间的距离来求得。
设X(1)，X(2)，…，X(p)（其中（Xi1，Xi2，…，Xip ）为来自Np 中的n 个样品，其中1212(,,...,),(,,...,)p k k k nk X X X X X mean x x x ==则样品X(i)到重心12(,,...,)p X X X 的马氏平方距离定义为1211221122(,,...,)'(,,...,)i i i ip p i i ip p D x x x x x x x x x x x x -=------∑ 其中∑可由样本协方差阵来估计'()()11(,()())1n i i i S S x x x x n ===---∑∑ 容易证明，当n 较大时，2i D 近似服从2p x 其临界值true D 可由2x 分布表来查出、当2i true D D >=时，将第i 个样品判为异常。
稳健马氏距离：由于异常值的存在会显著影响中心值和协方差矩阵的估计，使一般马氏距离不能正确反映各个观测的偏离程度。
对于这类数据，需要通过稳健统计的方法，构建稳定的均值和协方差矩阵统计量。
具体算法：设数据集为一个n 行p 列的矩阵X n×p ，从中随机抽取h 个样本数据，并计算这个样本数据的样本均值T 1和协方差矩阵S 1。
然后通过)()()(d 111'11T x S T x i i i --=-计算这 n 个样本数据到中心T 1的马氏距离，选出这n 个距离中最小的h 个，再通过这个h 个样本计算样本均值T 2和协方差矩阵S 2。
根据Rousseeuw,Van Driessen(1999)可以证明 det(S 2)≤ det(S 1)，仅当T 1=T 2时候等号成立。
这样子不断迭代下去，当 det(S m )≤ det(S m -1)停止迭代。
这时再通过S m 进行加权计算就能求出稳健的协方差矩阵估计量。
(1)确定h 的值。
h 值在0.5n 和n 之间，一般来说h 越小，它的抵抗异常值能力越强，但是最小不能少于50%，因为少于50%已经不能分辨哪些是正常值哪些是异常值，所以作为一种折中，h 默认是取h=0.75*n ，而当样本数量比较少时，h 一般取0.9n 。
(2)如果h=n ，这时计算的是整个样本数据的均值向量和协方差矩阵，返回计算结果并停止。
(3)从n 个样本中随机抽取p+1个样本构造协方差矩阵，并计算其行列式，如果行列式为0，再随机加入一个样本直到行列式不为0，这时这个协方差矩阵为初始协方差矩阵S 0，并利用随机选择出来的样本计算初始样本均值 T 0。
(4)当n 值较小(小于600)时，直接从T 0、S 0计算得到T 1、S 1并开始迭代，迭代两次得到S 3。
重复 500 次这个过程，得到500个 S 3，从中选取最小的10个继续迭代直到收敛，返回最小行列式值的T 和S ，记为 T mcd 和S mcd 。
．(5)当n 值较大时，由于每次迭代都要把n 个样本的距离计算一次，非常耗时。
所以把n 个样本分成几个部分，例如当n 等于900 时，可以把n 分成3个子样本，每个子样本包含300个 样本。
每个子样本也是从各自 T 0、S 0计算得到 T 1、S 1并开始迭代，迭代两次得到S 3，每个子样本重复500/3=167次，各自得到167个S 3。
每个子样本从中选取最小的 10个S 3。
然后把子样本合并重新合成一个整体样本，并也把子样本中的10个S 3合并，得到30个S 3。
从这30个S 3迭代两次，保留最小的10个结果并继续迭代下去直到收敛，返回最小行列式值的T 和S ，记为 T mcd 和S mcd 。
(6)根据 T mcd 和S mcd 计算每个样本的稳定马氏距离d (i)。
因为计算出来的距离值近似服从一个自由度为p 的卡方分布，假设置信度为97.5%时，当2975.0,)(P i d γ>时，记 W i =0否则W i =1.然后根据 W i 再 重 新 计 算。
这时< 就是最后所求的稳定协方差矩阵。
在此稳健协方差矩阵和稳健样本均值基础上，便能得出稳健的马氏距离。
3、Cook‘s DCook‘s D :在你的数据资料中,如果某一条数据记录被排除在外,那么由此造成的回归系数变化有多大.显然,如果这个值过大,那么就表明这条数据对回归系数的计算产生了明显的影响,这条数据就是异常数据.4、覆盖法方法：将所有不在5%到95%范围的值当作异常值。
5、标准偏差方法：偏离平均值三个或以上标准差的数据点。
6、因子方法：单变量或多变量异常值通常是用影响因子、水平因子、距离因子其中的一个指标来判断是否是异常值。
回归系数的影响力。
陈强，《高级计量经济学及Stata 应用》，高等教育出版社。
7、简单规则库|-从正常的行为中学习规则，测试数据若是没有被任何规则包括则认为是异常利用规则学习算法学习规则，例如重复增量修枝（ RIPPER ）、决策树（ Decision Trees ）8、聚类一种利用聚类检测离群点的方法是丢弃原理其他簇的小簇。
这种方法可以与任何聚类技术一起使用，但是需要最小簇大小和小簇与其他簇之间距离的阈值，通常，该过程可以简化为丢弃小于某个最小尺寸的所有簇。
一种更系统的方法是，首先聚类所有对象，然后评估对象属于簇的程度。
对于基于原型的簇类，可以用对象到它的簇中心的距离来度量对象属于簇的程度。
更一般地，对于基于目标函数的聚类技术，可以使用该目标函数来评估对象属于任意簇的程度。
特殊情况下，如果删除一个对象导致该目标的显著改进，则我们可以将该对象分类为离群点。
优点与缺点：有些聚类技术(如K均值)的时间和空间复杂度是线性或接近线性的，因而基于这种算法的离群点检测技术可能是高度有效的。
此外，簇的定义通常是离群点的补，因此可能同时发现簇和离群点。
缺点方面，产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据总离群点的存在性。
例如，基于原型的算法产生的簇可能因数据中存在离群点而扭曲。
聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。
每种聚类算法只适合特定的数据类型；因此，应当小心地选择聚类算法。
9、贝叶斯依据已有的数据，然后建立模型，得到正常的模型的特征库，然后对新来的数据点进行判断。