复杂数据的异常检测算法
异常检测算法
异常检测算法在数据分析和机器学习领域中，异常检测是一个重要的研究领域，可以用于识别违反统计规律的数据点、识别潜在的欺诈行为、检测系统故障等。
异常检测算法能够自动发现数据中存在的异常点，从而帮助数据分析人员更好地理解数据，并更好地制定决策。
基础算法首先，我们可以了解一些常见的基础异常检测算法。
（1）Z-得分算法：Z-得分是一种基于均值和标准差的算法。
它可以检测出偏离均值较远的数据点，因为这些点会有较大的标准差。
（2）箱线图算法：箱线图算法基于四分位值，通过计算上下四分位数之间的距离，得出异常值的范围。
（3）K-Means算法：K-Means算法最初用于聚类，也可以用于异常检测。
该算法将数据点分为多个聚类，然后找到距离聚类中心较远的数据点。
（4）LOF算法：LOF算法意为局部异常因子，该算法在异常检测领域被证明相当有效。
该算法不仅能够检测全局异常值，还可以检测局部异常值。
应用场景发现异常数据在现实生活中有广泛的应用。
（1）金融欺诈检测：在金融领域，异常检测是为了发现可能存在的欺诈行为。
（2）网络入侵检测：异常检测可以检测网络入侵，包括端口扫描、密码爆破等行为。
（3）交通安全：异常检测可以用于交通安全领域，以检测车辆和行人的异常行为。
（4）医疗保健：异常检测可以用于医疗保健领域，以检测人体内的异常数据，例如异常心率、异常体温等。
挑战与未来研究虽然异常检测在许多领域中应用广泛，但它也会面临一些挑战。
（1）数据分布不均：由于数据分布的不均，算法可能无法正确识别异常数据点。
（2）复杂性：某些领域的数据非常复杂，但是在这种情况下，已知的异常检测算法可能无法处理这些数据。
未来，我们需要进一步研究异常检测算法，以解决上述挑战。
另外，综合多种异常检测算法的优点，可以得出更加准确和适用的算法，并且能够让异常检测更加普及，为人们提供更好的服务。
异常值的检验方法和判断标准
异常值的检验方法和判断标准全文共四篇示例，供读者参考第一篇示例：异常值是数据集中与大部分数值相差较大的数值，它可能会对数据分析产生影响，因此在数据处理前，需要对数据进行异常值的检验和处理。
异常值的检验方法和判断标准是数据分析的重要步骤之一，下面将介绍一些常见的异常值检验方法和判断标准。
一、常见的异常值检验方法1. 均值标准差方法均值标准差方法是一种比较简单直观的异常值检验方法。
首先计算数据的均值和标准差，然后根据正态分布的原理，认为落在均值加减3倍标准差范围之外的数据点为异常值。
2. 箱线图方法箱线图是一种直观显示数据分布情况的方法，通过箱线图可以很容易地识别出异常值。
在箱线图中，异常值通常被定义为小于Q1-1.5IQR或大于Q3+1.5IQR的数据点，其中Q1为下四分位数，Q3为上四分位数，IQR为四分位数间距。
3. Cook距离方法Cook距离是一种基于回归模型的异常值检验方法，它描述了在删除一个观测值时，对回归模型参数产生的影响程度。
一般来说，Cook 距离大于阈值（通常为4/n，n为样本量）的观测值可以被认为是异常值。
4. DBSCAN聚类方法DBSCAN是一种基于密度的聚类算法，可以用来识别数据中的异常值。
通过设定一定的距离和密度阈值，DBSCAN可以将数据点分为核心点、边界点和噪声点，噪声点可以被认为是异常值。
二、判断标准1. 统计学方法在使用均值标准差或箱线图等统计学方法进行异常值检验时，可以根据具体情况设定阈值，一般来说，超出均值加减3倍标准差或Q1-1.5IQR和Q3+1.5IQR范围的数据点可以被认为是异常值。
2. 领域知识方法在某些情况下，领域知识可能比统计学方法更能帮助我们识别异常值。
在医学领域，某些生理指标的异常值可能不是由数据采集或处理错误引起的，而是由于疾病或其他因素引起的，因此需要结合领域知识对异常值进行判断。
3. 机器学习方法机器学习方法也可以用来识别数据中的异常值，例如使用聚类算法（如DBSCAN）、离群点检测算法（如LOF、Isolation Forest）等方法。
机器学习中的聚类算法与异常检测算法
机器学习中的聚类算法与异常检测算法机器学习中的聚类算法和异常检测算法是数据挖掘和数据分析领域中常用的技术。
聚类算法旨在将相似的数据点分组为簇，而异常检测算法则是寻找与其他数据点明显不同的异常数据点。
聚类算法是一种将未标记数据集分组或簇的机器学习方法。
其目标是将相似的数据点归为一组，不相似的数据点归为不同的组。
聚类算法通常用于无监督学习任务，因为它不需要预先定义分类标签。
聚类算法在很多领域都有广泛的应用，如市场分割、社交网络分析、图像分析等。
常见的聚类算法有层次聚类算法、K均值聚类算法、DBSCAN算法等。
层次聚类算法通过逐步合并或分割数据点来构建层次结构的簇。
K 均值聚类算法将数据点划分到K个簇中，通过计算数据点与每个簇的质心（簇中心）的距离来确定簇的归属。
DBSCAN算法是一种基于密度的聚类算法，它将密度高的区域作为簇的候选，通过扩展这些候选簇来建立最终的簇。
聚类算法有许多优点，其中一个是能够发现不同形状和大小的簇，而无需事先知道簇的数量。
此外，聚类算法还可以用于异常检测。
通过将未分类的数据点与已知簇进行比较，可以识别出与其他数据点明显不同的异常数据点。
这些异常点可能代表了潜在的故障、欺诈、异常行为等。
与聚类算法相比，异常检测算法旨在识别不符合预期模式或行为的数据点。
异常检测广泛应用于欺诈检测、网络入侵检测、设备故障检测等领域。
异常检测算法可以分为基于统计的方法、基于机器学习的方法和基于深度学习的方法。
基于统计的异常检测方法使用概率分布来描述数据，假设数据点遵循某种概率模型，然后使用统计方法来检测偏离该模型的数据点。
常见的统计方法包括均值和标准差、箱线图、概率密度估计等。
基于机器学习的异常检测方法使用机器学习模型来训练正常行为的模式，并使用这些模式来检测异常。
这些模型可以是传统的监督学习算法（如支持向量机和决策树）或无监督学习算法（如聚类算法和自编码器）。
基于深度学习的异常检测方法使用深度神经网络来学习数据的复杂特征表示，并通过判断数据点是否与训练集中的正常数据点相似来检测异常。
ksigma异常检测算法
ksigma异常检测算法
K-Sigma算法，也称为K倍标准差算法，是一种异常检测方法，可以用于发现数据中的异常点。
该算法基于假设，即正常数据的值集中在一个均值附近，并且其方差相对稳定。
因此，我们可以考虑在保持一定精度的同时，限制均值和标准差的范围，以便检测到异常值。
K-Sigma算法的原理是：假设数据集的均值为μ，标准差为σ。
通过选择一个k值，我们可以将正常数据的范围定义为区间[μ - kσ，μ + kσ]。
如果某个数据点超出了该区间，我们就可以认
为它是异常值。
在实际应用过程中，我们通常选择k为2或3，因为这些值可
使得约95%或99%的数据属于正常数据范围内。
如果我们需
要更高的精度，可以选择更小的k值，但这会增加误报率。
K-Sigma算法的另一个优点是，它不需要任何关于数据分布的
先验知识，即便是数据存在多峰分布或非正态分布，也可以使用该算法进行检测。
但是，K-Sigma算法也有其局限性，在某些情况下，它可能会
忽略一些重要的异常值或将正常数据误报为异常值。
因此，我们需要根据具体情况选择合适的异常检测算法。
什么是计算机模式识别异常检测请解释几种常见的异常检测算法
什么是计算机模式识别异常检测请解释几种常见的异常检测算法计算机模式识别是通过计算机对数据进行处理和分析，识别出不同模式和规律。
异常检测是模式识别中的一个重要部分，其目的是识别出数据中的异常或异常行为。
计算机模式识别异常检测的方法有很多种，其中常见的包括基于规则的方法、基于统计学方法、基于机器学习方法和基于深度学习方法等。
1.基于规则的方法：基于规则的异常检测方法是最简单直观的方法之一，它通过定义一些规则或者阈值来识别异常值。
例如，如果一组数据的一些特征超过了设定的阈值，那么就可以将该数据标记为异常值。
这种方法的优点是易于理解和实现，但是对于复杂数据和多维数据不太适用。
2. 基于统计学方法：基于统计学方法是一种常见的异常检测方法，它基于数据的统计特性和分布来识别异常值。
其中，一种常用的方法是离群值检测，通过计算数据点与数据集中其他点之间的距离来判断是否为异常值。
常用的统计学方法包括Z-score方法、箱线图法、Grubb's检验等。
3. 基于机器学习方法：机器学习方法在异常检测领域得到了广泛的应用，可以自动学习数据的特征和模式，从而准确地识别异常值。
常用的机器学习异常检测算法包括：K近邻算法（K-Nearest Neighbors）、支持向量机（Support Vector Machine）、局部异常因子（Local Outlier Factor）等。
这些算法在处理大规模高维数据时表现出色，但是对数据的处理和参数调优要求较高。
4. 基于深度学习方法：深度学习是一种基于神经网络的机器学习方法，在异常检测领域也取得了很好的效果。
深度学习方法可以有效地捕捉数据中的复杂模式和规律，从而实现精确的异常检测。
常用的深度学习异常检测算法包括：自编码器（Autoencoder）、变分自编码器（Variational Autoencoder）、生成对抗网络（GenerativeAdversarial Networks）等。
异常检测算法的应用和优化
异常检测算法的应用和优化随着互联网和物联网的发展，大量的数据每天产生并被存储和处理。
这些数据包含着丰富的信息和价值，但同时也存在着噪声、异常或错误。
异常检测算法就是针对这种数据的一种分析技术，用于寻找并识别数据中存在的异常值。
一、异常检测算法的应用异常检测算法可以应用于许多领域，如金融、医疗、工业等，以下是一些具体应用场景：1. 网络入侵检测网络入侵检测是异常检测技术的一个重要应用场景。
攻击者可能使用各种方式攻击系统，因此需要一些技术手段来检测和防范。
异常检测算法可以通过对网络流量和行为的分析来检测非法入侵。
2. 医疗领域医疗领域也可以借助异常检测算法来识别医学数据中的异常值，如疾病诊断过程中的异常结果、异常体征、异常药物反应等。
这些异常值可以为医生提供帮助，在对疾病进行治疗或预防时提供指导。
3. 工业生产在工业生产中也存在着大量的数据和信息，通过异常检测算法可以对生产过程进行监控和检测。
如检测机器故障、生产线异常、产品质量异常等，可以有效维护生产效率和质量。
4. 金融领域金融领域对异常值的检测更为敏感，例如信用卡欺诈、证券交易异常等。
异常检测算法可以在金融系统中被广泛应用，对数据进行实时监测和检测。
二、异常检测算法的优化虽然异常检测算法被广泛应用于各个领域，在实际应用过程中，仍然存在着一些问题，如准确度、效率等。
以下是一些常见的异常检测算法优化方法：1. 学习算法学习算法是一种基于无监督学习和半监督学习的异常检测方法。
这种方法强调了数据的“相似性”，即将数据分成若干个簇，对于不属于任何簇的数据，则认为是异常值。
这种方法的优点是可以适用于多种数据类型，并且对于异常点的识别能力强。
但是，需要花费一定的时间和资源来寻找数据点的相关性。
2. 模型算法模型算法基于一个预先确定的模型建立概率分布，通过比较数据点的实际值和该概率分布的值来判断异常点。
这种方法的优点是对于异常点的识别更加准确，缺点是对于正常数据点分布的要求较高。
svdd算法原理
svdd算法原理SVDD（Support Vector Data Description）算法是一种用于异常检测和无监督学习的机器学习算法。
它的原理基于支持向量机（SVM）算法，通过将正常数据映射到高维空间，构建一个边界区域，从而实现对异常数据的识别。
SVDD算法的主要思想是通过找到一个最小的球形区域，将正常数据包围其中，而异常数据则远离这个区域。
这个球形区域的中心被称为支持向量，它是由一些正常数据点决定的。
而在球形区域外部的数据点则被认为是异常点。
为了构建这个球形区域，SVDD算法首先需要将数据映射到高维空间。
这是通过使用核函数来实现的，核函数能够将原始数据从低维空间映射到高维空间，从而使数据更容易分离。
常用的核函数包括线性核函数、多项式核函数和径向基核函数等。
在映射到高维空间后，SVDD算法通过最小化球形区域的半径来确定最优解。
这个优化问题可以通过拉格朗日乘子法转化为一个凸优化问题，然后使用支持向量机的方法来求解。
通过求解这个优化问题，SVDD算法能够找到一个最小的球形区域，使得正常数据点尽可能地靠近球的中心，而异常数据点则远离球的边界。
SVDD算法在异常检测和无监督学习中有广泛的应用。
在异常检测中，它可以用于检测网络入侵、信用卡欺诈等异常行为。
在无监督学习中，它可以用于聚类分析、数据降维等任务。
与传统的聚类算法相比，SVDD算法能够更好地处理非球状的数据分布，具有更强的泛化能力。
然而，SVDD算法也存在一些限制和挑战。
首先，由于SVDD是一种无监督学习算法，它对异常数据的定义是相对的，需要根据具体应用场景进行调整。
其次，SVDD算法对参数的选择比较敏感，需要通过交叉验证等方法来确定最优参数。
最后，由于SVDD算法需要将数据映射到高维空间，计算复杂度较高，对大规模数据集的处理效率较低。
为了克服这些问题，研究者们提出了一些改进的SVDD算法。
例如，基于核函数的耦合SVDD算法（Coupled SVDD）可以处理带有标签信息的数据，进一步提高异常检测的准确性。
数据异常值检测算法准确度评估说明
数据异常值检测算法准确度评估说明数据异常值检测是数据预处理的重要步骤之一，其目的是找出数据中可能存在的异常值或离群点。
准确度评估是判断一个数据异常值检测算法优劣的主要指标之一。
本文将对数据异常值检测算法的准确度评估进行详细说明。
首先，准确度评估的目的是评估数据异常值检测算法对异常数据的识别能力。
在进行准确度评估时，需要先准备好一组已知的含有异常值的数据集，并标注出异常值的位置。
然后，将这个数据集作为测试数据集，通过异常值检测算法进行异常值识别，得到检测结果。
与其他分类算法相似，数据异常值检测算法的准确度评估可以使用混淆矩阵来计算。
混淆矩阵是一个2x2的矩阵，表示算法对异常数据的分类结果和实际标签之间的关系。
混淆矩阵的四个元素包括真正例（True Positive, TP）、假正例（False Positive, FP）、真反例（True Negative, TN）和假反例（False Negative, FN）。
其中，真正例表示算法正确地将异常数据识别为异常数据的数量，假正例表示算法将正常数据错误地识别为异常数据的数量，真反例表示算法正确地将正常数据识别为正常数据的数量，假反例表示算法将异常数据错误地识别为正常数据的数量。
通过混淆矩阵的计算，可以得到一系列评价指标，例如准确率（Accuracy）、召回率（Recall）和精确率（Precision）等。
准确率是指算法正确分类的样本占总样本数的比例，计算公式为：准确率 = （TP + TN）/ （TP + FP + TN + FN）召回率是指算法正确识别异常数据的能力，计算公式为：召回率 = TP / （TP + FN）精确率是指算法正确识别异常数据的准确性，计算公式为：精确率 = TP / （TP + FP）准确度评估不仅仅关注算法对异常数据的识别能力，还需要考虑到不同的评价指标可能带来的权衡。
例如，当我们需要尽可能快速地识别出所有异常数据时，可以更关注召回率；而在需要确保识别出的异常数据准确性的场景下，则更关注精确率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
集包围，尤其对边界线上的数据更是如此，其次所谓 的异常数据和常规数据在某些情况下可能会相互转
化，另外有时候很难将异常与噪声点进行很好的区 分，并且不同领域中对于异常的理解和定义也是不 尽相同的＂Ｊ。研究人员通过不断地扩充拓展异常 的定义，发展并提出了许多不同的异常检测方法，例
Ｄｉｓｔａｎｃｅ）是一种能够度量两图相似性
的方法，但是图编辑距离受代价函数的影响很大， 并且复杂度高，如何定义合理的代价函数以及寻找 代价函数的替代现今仍在继续研究中。本文利用 图核的方法来度量图数据之间的相似性，对数据进
万方数据
目标类样本的间隔最大，超平面（训．６）通过下式求
解获得：
１
ｎ
学分子，按照其是否具有诱变性质分为正类和负类， 具有诱变性质的认为是正类，没有诱变性质的认为 是负类。数据集ＮＣＩ由国际癌症协会（Ｎａｔｉｏｎａｌ
ｖｅｃｔｏｒ ｔｏ
ｄａｔａ ａｎｄ
ｃｏｎｖｅｒｔ
ｂｅ ｄｉｒｅｃｔｌｙ ａｐｐｌｉｅｄ
ｔｏ
ｔｈｅｓｅ ｃｏｍｐｌｅｘ ｄａｔａ．Ｔｈｉｓ ｐａｐｅｒ ｕｓｉｎｇ ｔｈｅ ｇｒａｐｈ ｋｅｒｎｅｌ ｍｅｔｈｏｄ
ｏｎｅ
ｔｈｅｓｅ ｄａｔａ ａｎｄ ｒｅｄｕｃｅ ｔｈｅ ｄｉｍｅｎｓｉｏｎ ｏｆ ｔｈｅｍ，ａｔ ｌａｓｔ ｕｓｉｎｇ ｔｈｅ
ｄｏ ｓｏｍｅ ｈａｒｍ
ｔｏ
ｔｈｅｉｒ ｆｉｅｌｄ，ｉｔ ｈａｓ
ａ
ｇｒｅａｔ ｓｉｇｎｉｆｉｃａｎｃｅ ｆｏｒ ｈｕｍａｎ ｔｈａｔ
ａｒｅ
ｄｅｔｅｃｔ ｄａｔａ ａｎｏｍａｌｉｅｓ．Ｍａｎｙ ｏｆ ｔｒａｄｉｔｉｏｎａｌ ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ
ｃａｎｎｏｔ
ｐｒｏｐｏｓｅｄ ｆｏｒ
ｃｌａｓｓ ＳＶＭ ｍｅｔｈｏｄ
ｔｏ
ｔｒａｉｎｉｎｇ
ｔｈｅ ｄａｔａ，ａｎｄ ｔｈｅｎ ｉｔ ｐｕｔｓ ｆｏｒｗａｒｄ ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｏｆ ｃｏｍｐｌｅｘ ｄａｔａ，ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｖｅｒｉｆｙ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ＂ａｌｇｏｒｉｔｈｍ． Ｋｅｙ ｗｏｒｄｓ：ｃｏｍｐｌｅｘ ｄａｔａ；ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ；ｇｒａｐｈ ｋｅｒｎｅｌ；ｄｉｍｅｎｓｉｏｎ ｒｅｄｕｃｔｉｏｎ；ｏｎｅ ｃｌａｓｓ ＳＶＭ
异常检测是数据挖掘中一个重要的分支，被广 泛应用于各种领域中，例如商业金融领域中的信用
卡欺诈检测，生物医药学中的疾病检测与化学物质
支持向量机一般只适用于由向量表示的数据，早期
的数据挖掘、模式识别领域中数据往往用特征向量 来表示，例如表示成戈＝（Ｘ１ ｍ，…，戈。）∈Ｒ“的形
式，这种表达形式具有一定的优势，例如数据之间的
Ｃａｎｃｅｒ
ｍｉｎ÷忪｜Ｉ ２＋ｃ∑邑一ｂ
－
￡＝ｌ
Ｉｎｓｔｉｔｕｔｅ）公布，包含有６０个数据集，按照其
Ｓ．ｔ．们・戈ｉ≥ｂ—手ｉ亭ｉ≥０
是否对人类肿瘤细胞株具有抑制作用分为正类和负 类，有抑制作用的为正类，没有抑制作用的为负类， 本文采用ＮＣｌｌ数据集中的５００个数据进行实验，实 验过程中采用十倍交叉验证法。
运用到图数据中是现实可行的。
１
相关工作
２０世纪８０年代起，异常检测就受到了广大学
者的广泛关注。异常检测目前存在很多挑战，例如
给定数据集时，很难用一个紧密的边界将全部数据
图核的定义是：假设Ｇ是图数据集，函数ｋ：Ｇ× Ｇ＿Ｒ称为一个图核，通过映射ｐ将原始数据映射 到高维数据空间中去，使得下式成立： ．｜｝（Ｇｌ，Ｇｚ）＝（９（Ｇ１），妒（Ｇ２）） 目前专家学者们提出了一些图核的方法，大致 分为以下三类：扩散核，卷积核，通路核。其中通路 核中又包含随机路径核，子树核等。 ２．２复杂数据的异常检测算法 经过图核处理后的图数据更易用传统的数据分 析方法进行分析，图核通过非线性映射将原始空间 中不可分的问题变得在特征空间中线性可分，数据 被映射到高维空间后可以根据ＫＰＣＡ的思想对数据 进行降维处理，以防存在的冗余特征影响实验结果 或者造成“维数灾难”。针对降维后的数据再利用 单类支持向量机【８１进行异常检测模型的建立从而
ＹＥ
Ｑｉｎｇ．ＺＨＡＮＧ
Ｌｉ．１ｉ １００，Ｃｈｉｎａ）
ａｒｅ
（Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｈｏｈｍ Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ ２１ １
Ａｂｓｔｒａｃｔ：Ｗｉｔｈ ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ，ｍｏｒｅ ａｎｄ ｍｏｒｅ ｄａｔａ
如基于距离的异常检测算法，基于密度的异常检测 算法，基于深度的异常检测算法等Ｍ Ｊ，这些异常检 测算法大都是通过对已知的数据进行学习从而建立 相关模型，通过设定的模型及阈值判定样本是否异 常。这些已有的异常检测算法中大都涉及数据之间 距离或者相似性的相关概念，这些概念基本都是基
于向量型数据提出的，由于图数据的复杂性，如何
收稿日期：２０１４—０５—２７ 作者简介：叶青（１９８７一），女，硕士研究生，研究方向为数据挖掘。
检测口１等。 传统的模式识别、机器学习中的许多算法例如 一１７６一 万方数据
数据进行表示，图能够较好地显示数据之间内部的 结构关系，并且其表达形式灵活多样，如图１所示为 化学分子用图表示的例子。近年来，基于图数据的 分析得到了越来越多的关注Ｍｊ，本文即是针对这些 可以用图表达的复杂数据中的异常问题提出的复杂 数据的异常检测算法。
Ｗｅｉｓｆｅｉｌｅｒ—Ｌｅｈｍａｎ图核方法¨０１，使用的数据集是 ＭＵＴＡＧ和ＮＣｌｌ０９。ＭＵＴＡＧ数据集包含１８８个化
１００
１５０
２００
Ｎｕｍｂｅｒ ｏｆ ｓａｍｐｌｅｓ
图２不同图核下的运算速度
本文在实验过程中对数据降维到不同的维度下
检验其异常检测效果，图３显示了不同维度下的异
常检测效果。由图可以看出在不同数据集下异常检 测的效果是不同的，实验中抽取ＮＣｌｌ０９数据集中
复杂的数据中，因此利用图核的方法先将这些数据进行转化接着降维，再利用单类支持向量机
训练模型提出了复杂数据的异常检测算法，在数据集上的实验结果验证了算法的有效性。 关键词：复杂数据；异常检测；图核；降维；单类支持向量机
中图分类号：ＴＭ５６１ 文献标识码：Ａ
Ａｂｎｏｍａｌ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｏｆ ｃｏｍｐｌｅｘ ｄａｔａ
ｍａｎｙ ｆｉｅｌｄｓ，ａ ｌａｒｇｅ ａｍｏｕｎｔ ｏｆ ｄａｔａ ｈａｖｅ ｍｕｌｔｉｐｌｅ ｆｏｒｍｓ，ｍａｎｙ ｏｆ ｔｈｅｓｅ ｄａｔａ ｔｈｅ ｅｘｉｓｔｅｎｃｅ ｏｆ ａｂｎｏｒｍ＇，ｄ ｔｅｎｄ ｈｏｗ
ｔｏ ｔｏ
ｃａｎ
ｇｅｎｅｒａｔｅｄ ｉｎ
ｂｅ ｅｘｐｒｅｓｓｅｄ ｂｙ ｇｒａｐｈ，
就是在已知常规数据集的基础上，判断未知样本是 否属于异常，以此检测出数据集中不符合期望行为 的数据…，有时候也被称为新颖性检测【２ Ｊ，外边界
展，数据的形式变得多种多样，很多的数据无法只
用向量的形式完全表达，其中的一些数据呈现出结
构化的特征，例如化学分子、社交网络关系、蛋白质 序列等，对这些数据而言图则是一种比向量更好的 表达方式，现实世界中的很多系统都可以用图来对
的毒性检测，计算机图像领域的分析检测等。异常
数据的存在会对这些领域带来一定的危害与损失，
相似性或者距离可以利用欧氏距离等计算方法方便
地得出结果。然而随着计算机技术、网络的飞速发
例如在金融领域中异常数据往往会导致经济损失， 严重威胁着人们的财产安全，因此如何检测出数据 中的异常具有重要的意义。所谓异常检测，其目的
Ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］．
Ｌｅｔｔｅｒｓ，１９９７，１８（６）：５２５—５３９．
ｐａｔｔｅｒｎ
［４］Ｃｏｎｔｅ
Ｄ，Ｆｏｇｇｉａ Ｐ，ｅｔ ａ１．Ｔｈｉｒｔｙ ｙｅａｒｓ ｏｆ ｇｒａｐｈ ｍａｔｃｈｉｎｇ ｉｎ ｏｆ
文利用图的方法对那些需要显示其内部结构关系的数
据进行表示，随后利用图核的方式将图数据转化为核
的５００个，数据较为复杂，明显可见异常检测的效果
§
得 霉 目
也要明显低于ＭＵＴＡＧ，在不同维度下的异常检测效 果也略有不同，总体上来说维度越大异常检测的效 果有一定降低的趋势，这表明降维是有一定的必
要性。
∞钙∞踮舳”加：８∞竹∞钙∞
图４则显示了单类支持向量机在最后的异常检 测效果与实验过程中用到两类数据的最后分类精度 对比，图中显示了在只使用一类训练样本进行异常 检测模型的建立虽然在总体上比使用了两类数据在 最终的结果上效果稍低，但是总体上也能达到与两 一】７８一 万方数据
图３
不同维度下的异常检测效果
类分类器相近的效果，这对于在日常生活中只有一 类目标类样本的时候具有较强的优势。
ＭＵｌＩＡＧＮＣＩｌ０９源自３ 审《卜器Ⅲ
图４实验结果对比
４
结束语
随着信息技术的飞速发展，复杂数据越来越多，本
ａｎｄ Ａｎ Ａｐｐｌｉｃａｔｉｏｎ
Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ
ｔｏ
Ａｕｔｏｍａｔｉｃ ＣｈｒｏｍｏＳＯＭＥ
２０１５年摹置期
文章编号：１００９—２５５２（２０１５）０５—０１７６—０４ ＤＯＩ：１０．１３２７４／ｊ．ｃｎｋｉ．ｈｄｚｊ．２０１５．０５．０４７
复杂数据的异常检测算法
叶 青，张丽丽
（河海大学计算机与信息学院，南京２１１１００）
摘要：随着信息技术的快速发展，不同领域产生越来越多的数据，大量的数据形式多种多样， 其中有一些数据用图表示更合适，异常数据会对相关领域造成一定危害，如何检测复杂数据中 的异常有着重要的意义。传统的异常检测算法大都针对向量型数据提出，不能直接运用于这些