基于泊松方程的异常行为检测
一种基于行为分析的程序异常检测方法
收稿日期 : 2008 - 04 - 07;修回日期 : 2008 - 05 - 26。 作者简介 :罗亚丽 (1983 - ) ,女 ,四川成都人 ,硕士研究生 ,主要研究方向 : 网络系统与信息安全 ; 周安民 ( 1963 - ) ,男 , 四川成都人 ,研究 员 ,主要研究方向 : 网络系统与信息安全 ; 吴少华 (1977 - ) ,男 ,福建福安人 ,讲师 ,博士研究生 , 主要研究方向 : 网络系统与信息安全 ; 胡勇 (1982 - ) ,男 ,重庆荣昌人 ,硕士研究生 ,主要研究方向 : 网络系统与信息安全 ; 丁怡 ( 1983 - ) ,女 ,四川成都人 ,硕士研究生 ,主要研究方向 : 网络系统与信息安全 。
图 1 进程行为检测结构框图 2. 2 Detours技术在本策略中的应用
W indow s下的 AP I拦截方法有很多 ,本文利用 Detours技 术来实现 AP I的拦截 。Detours是微软公司提供的一个通用 开发工具库 ,用来在 x86 平台上截获任意 W in32 函数调用 。 中断代码可以在运行时动态加载 。Detours使用一个无条件
转移指令来替换目标函数的最初几条指令 ,将控制流转移到 一个用户提供的截获函数 。而目标函数中的一些指令被保存 在一个被称为 ”Trampoline”的函数中 。 Trampoine函数由目标 函数开始几条指令和一条跳转到目标函数的剩余位置的指令 组成 。利用 Detours可以实现一个动态链接库的导入函数能 在一个应用程序的进程中被拦截 ,而另一个同时运行的进程 可不受影响 。Detours函数的插入是在运行态实现的 。目标 函数修改可执行文件在内存中的进程映像 ,而非磁盘上 ,这样 对二进 制 函 数 的 拦 截 能 控 制 在 非 常 合 适 的 粒 度 [3 ] 。利 用 Detours拦截 AP I前后的调用过程如图 2所示 。
基于泊松图像融合的自监督缺陷检测方法
第37卷第1期湖南理工学院学报(自然科学版)V ol. 37 No. 1 2024年3月 Journal of Hunan Institute of Science and Technology (Natural Sciences) Mar. 2024基于泊松图像融合的自监督缺陷检测方法陈腾飞1,2, 戴元杰1,3, 廖杜杰1,2, 朱志鹏1,2, 吴健辉1,3(1. 三维重建与智能应用技术湖南省工程研究中心, 湖南岳阳 414006;2. 湖南理工学院机械科学与工程学院, 湖南岳阳 414006;3. 湖南理工学院信息科学与工程学院, 湖南岳阳 414006)摘要: 提出一种基于泊松图像融合的自监督缺陷检测方法, 采用泊松图像融合对无标注的正常样本进行数据增强, 生成多样化的、更贴近实际的模拟缺陷样本, 解决缺陷样本数量少且不易标注的问题. 结合缺陷样本的特征提出一种CANet网络, 引入卷积注意力模块对编码器—解码器结构进行优化, 防止采样过程中的信息丢失, 并在网络末端添加掩码卷积层以提高输入数据的重建精度. 在MV Tec数据集上进行实验, 总体检测AUROC达到96.1%; 通过与三种典型检测方法的比较, 证明所提方法的有效性且具备较好的泛化性, 能满足工业生产中不同种类产品的表面缺陷检测要求.关键词:泊松图像融合; 自监督学习; 注意力机制; 掩码卷积层中图分类号: TP391.4 文章编号: 1672-5298(2024)01-0027-07Self-supervised Defect Detection Method Based onPoisson Image FusionCHEN Tengfei1,2, DAI Yuanjie1,3, LIAO Dujie1,2, ZHU Zhipeng1,2, WU Jianhui1,3(1. Hunan Engineering Research Center of 3D Reconstruction and Intelligent Application Technology, Yueyang 414006, China;2. School of Mechanical Engineering, Hunan Institute of Science and Technology, Yueyang 414006, China;3. School of Information Science and Engineering, Hunan Institute of Science and Technology, Yueyang 414006, China)Abstract:In this paper, a self-supervised defect detection method based on Poisson image fusion is investigated, Poisson image fusion is used to augment the data of unlabeled normal samples to generate diversified and more realistic simulated defect samples. This method solves the problem of the small number of defect samples and not easy to label. A CANet network is proposed by combining the characteristics of defective samples, and a convolutional attention module is introduced to optimize the encoder-decoder structure, in order to prevent information loss in the sampling process. At the same time, a masked convolutional layer is added to improve the reconstruction accuracy of the input data at the end of the network. The experimental results on the MV Tec dataset achieved an overall detection AUROC of 96.1%, and the comparison with three typical detection methods further proves the effectiveness of our method with better generalization, which can meet the requirements of surface defect detection for different kinds of products in industrial production.Keywords:Poisson image fusion; self supervised learning; attention mechanism; masked convolutional layer0 引言产品表面缺陷检测是产品质量检测中的重要一环. 工业缺陷检测旨在发现各种工业制品的外观瑕疵, 是保障产品质量、维持生产稳定的关键技术之一[1]. 由于人的注意广度的限制, 人工目视很难精准检测出产品表面的细微瑕疵. 因此, 现代工业迫切需要一种新颖的缺陷检测方法. 在这样的背景下, 利用工业摄像头与计算机视觉技术的缺陷检测方法应运而生. 工业产品表面缺陷检测是计算机视觉异常检测领域的一个分支, 传统检测方法以大量样本为基础进行监督训练, 但与典型的监督分类问题不同, 缺陷检测类问题面临着独特的挑战[2]. 首先, 实际生产中缺陷实例出现频率低, 不同的缺陷外观可能存在很大差异, 无论是标注的还是未标注的缺陷数据都很难大量获得; 其次, 真实标签的标注要求由在此领域有丰富经验的专家来完成, 且进行标签标注的过程费时费力; 最后, 正常和缺陷实例之间的差异通常是细粒度的.鉴于上述问题，研究人员开始关注无需手动进行标签标注的无监督方法[3,4]. 无监督学习的核心思想收稿日期: 2022-11-24基金项目:湖南省研究生科研创新项目(CX20221237, CX20221219)作者简介: 陈腾飞, 男, 硕士研究生. 主要研究方向: 缺陷检测通信作者: 吴健辉, 男, 博士, 教授. 主要研究方向: 图像处理、计算机视觉、模式识别与智能系统28 湖南理工学院学报(自然科学版) 第37卷是通过对这些无标签样本的学习来揭示数据的内在特性及规律. 但现有的无监督方法大多依赖预训练的ImageNet模型提取深层特征, 当涉及ImageNet模型作用有限的检测对象时, 无监督方法的检测结果很难达到实际应用的需求. 因此又有研究人员提出了一种自监督学习方法[5], 同样不需要人工对样本进行标注, 而是通过设计恰当的代理任务来进行数据标注以完成监督训练. 目前在已出现的自监督方法中, 利用数据增强来模拟真实缺陷的方法取得了较好的效果[6,7], 但检测精确度受模拟缺陷与真实缺陷相似程度的影响较大, 导致模拟缺陷具有明显的不连贯性, 因而影响实验结果的准确性和稳定性.基于上述分析, 本文提出一种自监督图像异常检测方法, 通过泊松图像融合[8]将提取自源图像的一小部分图像无缝融合进目标图像, 以创造出大量人工合成的模拟异常图像, 从而获得监督学习的训练样本. 与CutMix[6]、CutPaste[9]等已有的经典自监督缺陷检测的数据增强方法相比, 本文方法生成的模拟异常样本更接近自然的异常类别, 结合样本的特征改进现有的深度卷积神经网络, 在MVTec AD (MV Tec Anomaly Detection)数据集上取得了良好的检测效果.本文的主要贡献包括以下三个方面:(1) 提出一种基于泊松图像融合方法的自监督代理任务. 仅使用正常样本来生成近似于真实缺陷样本的模拟缺陷样本, 为网络的监督训练提供充足且多样化的训练数据集; 省去了标签标注过程, 实现了降本增效, 对实际工业检测有重要意义.(2) 提出改进的编码器—解码器结构的CANet, 通过应用注意力机制与遮蔽卷积层, 有效避免了编码器—解码器结构中图像信息丢失、仿射变换泛化能力有限的问题, 增强了重建过程中的特征表示, 提高了重建精度, 进一步提升了网络的检测性能.(3) 广泛的实验证明, 在表面缺陷检测任务上, 本文方法拥有较高的检测精度, 优于大部分相似的自监督检测方法, 并且具有良好的泛化性, 能满足实际工业生产中缺陷检测任务的需要.1 相关工作1.1 图像重建采用图像重建的缺陷检测方法可以仅使用正常样本便学习到强大的重建模型, 因此受到了广大学者和研究人员的关注. 此类方法的原理是以较小的误差重建正常图像, 以较大的误差重建缺陷图像. 常用的方法有自编码器[10,11]、生成对抗网络(Generative Adversarial Networks, GAN) [12,13]等. 但由于网络学习能力过强, 这些基于重建的方法有一个缺点, 即很难控制模型容量, 而且由于网络学习能力过强, 有可能将缺陷部分也重建出来, 导致基于重建误差的检测无效. 为了减少异常区域对重建的影响, RIAD[14]基于自编码器对原始图像进行多尺度互补掩码操作, 并尝试用掩码覆盖异常区域. 但是由于并不清楚异常区域的确切位置, 重构模型在推理阶段仍然会受到异常区域的影响.1.2 缺陷图像模拟鉴于缺陷检测问题的特殊性质, 现有的大多数检测方法都仅使用正常样本进行训练. 在这种情况下, 为了能使模型学习到正常样本与缺陷样本的差别, 利用正常样本生成模拟缺陷样本以供训练的方法应运而生. 例如, CutOut[15]将图像中随机选择的矩形区域擦除以创造局部不规则样本, 从而增强不变性, 提高多类分类任务的准确性. CutPaste使用了类似于复制粘贴的数据增强方法, 从输入的源图像中随机裁剪出一小块矩形区域, 对其进行随机缩放、旋转等操作后, 将其随机粘贴到目标图像中以模拟异常样本. 以上方法旨在产生结构异常. DREAM[16]将额外的纹理图像作为噪声叠加到正常图像上以产生异常区域, 这种类型的数据增强方法旨在产生纹理异常. 现有的缺陷模拟方法在遇到某些待检样本时会因为目标与背景区分不佳而影响模拟缺陷的效果.1.3 泊松图像编辑将一张源图像粘贴至另一张目标图像上时, 会使目标图像具有明显的不连续性. 针对这种情况, 文[8]第1期 陈腾飞, 等: 基于泊松图像融合的自监督缺陷检测方法 29 提出泊松图像融合方法, 它可以将一张源图像无缝地融入另一张目标图像中. 具体来说, 对于由g 给出的源图像和由*f 给出的目标图像, 在一个边界为∂Ω的区域Ω内部寻找一个插值函数f , 以满足由式(1)给出的最小化问题:2*arg min |.|,with ||f f f f f ∂Ω∂ΩΩ=∇-=⎰⎰v (1) 其中v 为制导场. 这个问题的唯一解是满足带有目标图像提供的狄利克雷边界条件的泊松偏微分方程*div over ,with ||f f f ∂Ω∂Ω∆=Ω=v (2)的解.定义制导场v 有以下两种选择:①使用源图像梯度:.g =∇v (3)②使用源图像和目标图像梯度的混合:**(),if |()||()|,,()(),otherwise.f f g g ⎧∇∇>∇∀∈Ω=⎨∇⎩x x x x v x x (4) 2 方法本文采用改进的编码器—解码器架构, 在瓶颈处利用两次1×1卷积和ReLU 激活函数来减少通道数量、保留更多原始数据的信息并减少非线性变换的累积效应. 该方法主要由泊松图像融合的代理任务及改进的编码器—解码器网络CANet 两部分组成, 如图1所示.Label模拟缺陷图像Pred正常图像图1 本文方法结构 2.1 基于泊松图像融合的自监督任务鉴于训练中仅能使用无标签的正常样本, 因此通过设计代理任务来提供监督学习样本. 代理任务设计如下, 其产生过程如图2所示.Step 1 在训练图像中随机选取一张源图像, 并在源图像中随机选取一小块矩形图像块.Step 2 对选出的矩形块进行随机尺寸变换, 在训练图像中随机选取一张目标图像以确定融合位置.Step 3 将选定的矩形块无缝融合进目标图像指定位置.Step 4 根据待测图像的种类来确定是否重复Step1~3.Step 5 根据无缝融合操作创造一个像素级标签.针对两张尺寸为H ×W 的正常样本图像, 根据正常样本图像的总面积来设定取出矩形块的总面积s ,根据s 随机生成矩形块的高h 与宽w , 再通过均匀分布在源图像中确定矩形块的中心点. 我们希望通过确定矩形块总面积的方法使缺陷区域形状兼顾更多的形状变化, 以尽可能地接近实际生产中出现的缺陷.在从源图像中选定矩形块后, 先对其进行一定比例的缩放再将其融入目标图像. 计算每个像素x 和背景b的亮度绝对差值, 再通过比较得出源图像与目标图像的掩膜. 对于每个像素i , 掩膜的计算公式为:30 湖南理工学院学报(自然科学版) 第37卷()()s s ||,i i m x b t =-< (5)()()d d ||.i i m x b t =-< (6)其中, m 为掩膜计算结果, s 表示原图像, d 表示目标图像.将选定的矩形块无缝融入目标图像后, 利用是否存在局部像素强度差异来创建二分类标签, 然后对标签进行中值滤波以提升连贯性:()()()d 1,if 0,otherwise ,.i i i x x y ⎧≠=⎨⎩(7) 其中y 为中值滤波结果, d x 为目标图像像素值. 损失函数使用二元交叉熵来定义:()()()()bce 1ˆˆlog (1)log (1).i i i i iy y y y W H =----⨯∑ (8) 其中ˆ()yf x = 是深度卷积编码器—解码器的输出. 随机缩放与旋转Patch hwPatch'h ' w '源图像模拟缺陷图像目标图像Label图2 模拟缺陷样本的产生过程 2.2 改进的编码器—解码器网络CANet传统的编码器—解码器结构网络在进行缺陷检测任务时, 常常会遇到信息丢失、感受野固定以及特征重建不足等问题. 针对这些问题, 本文提出CANet 网络(Convolutional Attentive Net). CANet 将注意力机制与编码器—解码器网络结合, 同时在网络输出处增加一个遮蔽卷积层以改善重建精度, 提升网络检测性能. CANet 的结构如图3所示.图3 CANet 网络结构2.2.1 卷积注意力模块传统的编码器—解码器网络对局部细节不敏感, 不能充分挖掘输入图像的特征信息; 同时数据会在编码解码过程中经历多次采样操作, 极易丢失图像的特征信息. 因此本文引入卷积注意力模块对网络进行优化, 增强局部特征感知, 防止图像信息丢失, 提高检测性能.第1期 陈腾飞, 等: 基于泊松图像融合的自监督缺陷检测方法 31不同于传统基于卷积神经网络的注意力机制, 卷积注意力模块引入通道注意力和空间注意力两个分析维度, 将通道注意力模块与空间注意力模块串联起来, 组合构成卷积注意力模块, 实现从通道到空间的顺序注意力结构. 卷积注意力模块如图4所示.通道注意力模块空间注意力模块××输入特征输出特征图4 卷积注意力模块 当数据输入卷积注意力模块时, 先由通道注意力模块对原始输入特征图分别进行全局最大池化和全局平均池化, 对特征映射进行两个维度的压缩, 获得两张不同维度的特征描述. 池化后的特征图共用一个多层感知器网络, 通过两个全连接层来分别降低与恢复通道数. 将两张特征图在通道维度堆叠, 经过sigmoid激活函数对特征图每个通道的权重进行归一化, 然后和原始输入特征图相乘, 以增强有意义的特征表示并抑制无关的特征, 同时有助于保留关键特征, 防止特征信息丢失. 再由空间注意力模块对输入特征图在通道维度下做最大池化和平均池化, 以捕获通道间的依赖关系. 将池化后的两张特征图在通道维度堆叠, 使用7×7的卷积核融合通道信息, 并让卷积后的结果经过sigmoid 函数对特征图的空间权重归一化, 然后将输入特征图和权重相乘, 使得网络能够更好地关注空间上连续的结构, 从而抑制背景信息的干扰, 同时更好地捕获细微的缺陷特征.2.2.2 掩码卷积层传统的卷积神经网络对于新的视角或仿射变换的泛化能力有限, 所以模型需要从局部细节中推断出整体的结构和特征. 因此在靠近网络输出处设计了一个掩码卷积层, 可以利用上下文信息重建被遮蔽的区域, 目的是通过训练重建遮蔽区域, 增强特征表示, 使特征在正常图与异常图间的差异更加显著, 以实现对输入数据的有效重建, 从而提升网络的缺陷检测性能.掩码卷积层的感受野如图5所示. K i 区域表示感受野可见区域, M 表示感受野中心遮蔽区域.图5 掩码卷积层感受野对于选定的感受野范围, 取周边四个角落处的子卷积核进行卷积, 其他部分忽略. 子卷积核用k k c i K ''⨯⨯∈ , {1,2,3,4}i ∀∈来表示, k '是定义子卷积核大小的超参数, k +'∈ , c 为通道数. 中心遮蔽区域的大小11c M ⨯⨯∈ , 每个子卷积核与中心遮蔽区域的距离为d , 也是可设置的超参数. 所以, 整体感受野范围K 的大小221k k d '=++. 针对输入张量X , 对其进行卷积操作时只考虑四个子卷积核所在位置的输入, 将输入经过每个子卷积核卷积后的结果求和为单个数字, 以此来表示对M 位置的预测. 考虑到要对32 湖南理工学院学报(自然科学版) 第37卷输入的每个空间位置进行学习和重建, 所以在输入的周围添加k d '+个像素的零填充, 并将步长设置为1,使输入的每个像素都用于计算遮蔽区域信息. 最后通过ReLU 激活函数传递输出张量.3 实验结果与分析3.1 数据集与评估指标MVTec AD 数据集是用于检测工业产品表面缺陷的数据集[13], 由德国MVTec 公司发布, 旨在帮助开发和评估用于工业生产中表面缺陷检测的算法和模型. MVTec AD 数据集包含15类不同种类高分辨率彩色图像, 其中有10类物体图像与5类纹理图像, 每种图像包括60~400张用于训练的正常样本图像与若干组作为测试的正常或异常图像样本. 对每张缺陷图像样本, 数据集都提供了像素级的背景真值. 在实验中使用接收器操作特征曲线下面积(AUROC)来评估网络在MVTec AD 数据集上的缺陷检测性能.3.2 实验设置及结果分析实验批次大小设置为32, 使用Adam 优化器对模型进行训练, 激活函数采用sigmoid 函数. 对于MVTec AD 数据集中大部分已对齐的类别, 采用320个epoch 来完成训练; 少部分未对齐的类别(如榛子、螺钉等类别), 采用480个epoch 来完成训练. 初始学习率设置为310-, 最终余弦退火学习率衰减至610-.本文方法与其他缺陷检测方法的AUROC 得分见表1和表2.表1 本文方法与其他方法在MV Tec AD 数据集上的图像级AUROC 比较结果(%)Cutpaste FPI NSA OursObject Bottle 97.6 89.7 97.5 98.7Cable 80.5 68.2 90.2 89.1Capsule 96.0 86.6 92.8 85.4Hazelnut 97.2 94.7 89.3 95.4Metal-nut 98.2 89.2 94.6 100.0 Pill 92.1 72.9 94.3 97.0Screw 86.1 63.5 90.1 89.5Toothbrush 97.4 86.7 99.6 100.0Transistor 95.3 80.8 92.8 92.4Zipper 99.1 97.5 99.5 100.0Average93.9 83.0 94.1 94.8 Texure Carpet 92.9 60.0 90.9 96.1Grid 98.6 99.6 98.5 100.0Leather 100.0 92.1 100.0 100.0 Tile 93.2 91.3 100.0 100.0Wood 97.7 72.6 97.8 98.2Average 96.8 83.1 97.5 98.9Overall Average 94.8 83.0 95.2 96.1 在将图像输入模型之前, 使用ImageNet 数据集的均值和标准差来对图像强度进行归一化, 以确保模型在处理图像时具有一致的基准. 数据集中的图像样本从840像素×840像素到1024像素×1024像素不等,在训练时, 将物体类别的图像尺寸统一调整为256像素×256像素, 针对旋转后图形不发生较大改变和未对齐的对象进行随机角度旋转, 然后中心裁剪为230像素×230像素, 最后随机裁剪为224像素×224像素的图像以供自监督学习训练使用, 保证一定的旋转与平移不变性. 可以看出, 本文方法要优于其他类似的检测方法, 证明了本文方法的有效性.4 结束语本文提出了一种自监督缺陷检测代理任务, 使用泊松图像融合方法创造更贴近生产场景的模拟缺陷样本, 以供网络进行有监督训练. 模拟缺陷样本提供了更一致的训练信号, 有助于更精准地检测真实异常.在MVTec AD 数据集中多种图像上的检测效果证明了本文方法的有效性, 同时该方法具有一定的泛化性,第1期陈腾飞, 等: 基于泊松图像融合的自监督缺陷检测方法 33 能满足工业生产的缺陷检测要求.表2 本文方法与其他方法在MVTec AD数据集上的像素级AUROC比较结果(%)CutpasteFPINSAOursObjectBottle 96.4 90.9 97.3 97.0Cable 89.1 67.1 91.0 83.6 Capsule 96.9 95.1 91.6 96.5Hazelnut 96.4 89.2 97.7 95.4Metal-nut 92.5 95.6 97.3 100.0 Pill 95.2 63.197.197.9Screw 95.8 89.7 92.3 89.5 Toothbrush 97.2 81.4 94.5 97.0Transistor 92.5 78.1 80.2 92.4Zipper 98.1 90.6 90.7 95.3 Average 95.0 84.1 93.0 94.5TexureCarpet 97.1 71.3 81.8 92.0 Grid 96.2 93.498.0 99.3 Leather 96.9 87.6 99.5 99.3 Tile 89.8 64.597.499.4 Wood 95.5 71.8 90.6 95.5 Average 95.1 77.7 93.5 97.1Overall Average 95.0 82.0 93.1 95.4参考文献:[1]陶显, 侯伟, 徐德. 基于深度学习的表面缺陷检测方法综述[J]. 自动化学报, 2021, 47(5): 1017−1034.[2]张国云, 欧阳慧婷, 涂兵, 等. 空间一致核协同优化的高光谱异常检测方法[J]. 湖南理工学院学报(自然科学版), 2022, 35(3): 10−16+43.[3]SALEHI M, SADJADI N, BASELIZADEH S, et al. Multiresolution knowledge distillation for anomaly detection[C]// Proceedings of the 2021 IEEE/CVFConference on Computer Vision and Pattern Recognition (CVPR), 2021: 14897–14907.[4]REISS T, COHEN N, BERGMAN L, et al. PANDA: Adapting pretrained features for anomaly detection and segmentation[C]// Proceedings of the 2021IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021: 2805–2813.[5]YANG H, ZHOU Q, SONG K, et al. An anomaly feature-editing-based adversarial network for texture defect visual inspection[J]. IEEE Transactions onIndustrial Informatics, 2021, 17(3): 2220–2230.[6]YUN S, HAN D, OH S J, et al. CutMix: Regularization strategy to train strong classifiers with localizable features[C]// Proceedings of the 2019 IEEE/CVFInternational Conference on Computer Vision (ICCV), 2019: 6022–6031.[7]TAN J, HOU B, DAY T, et al. Detecting outliers with Poisson image interpolation[C]// Proceedings of the 24th International Conference of Medical ImageComputing and Computer Assisted Intervention, 2021: 581–591.[8]PÉREZ P, GANGNET M, BLAKE A. Poisson image editing[J]. ACM Transactions on Graphics, 2023, 22(3): 313–318.[9]LI C L, SOHN K, YOON J, et al. CutPaste: Self-supervised learning for anomaly detection and localization[C]// Proceedings of the 2021 IEEE/CVFConference on Computer Vision and Pattern Recognition (CVPR), 2021: 9659−9669.[10]PAWLOWSKI N, LEE M C H, RAJCHL M, et al. Unsupervised lesion detection in brain CT using Bayesian convolutional autoencoders[C]// Proceedingsof the International Conference on Medical Imaging with Deep Learning (MIDL), 2018:1−3.[11]TANG T W, KUO W H, LAN J H, et al. Anomaly detection neural network with dual auto-encoders GAN and its industrial inspection applications[J].Sensors, 2020, 20(12): 3336.[12]SCHLEGL T, SEEBÖCK P, WALDSTEIN S M, et al. f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks[J]. MedicalImage Analysis, 2019, 54: 30−44.[13]SCHLEGL T, SEEBÖCK P, WALDSTEIN S M, et al. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery[C]//Proceedings of the International Conference on Information Processing in Medical Imaging (IPMI), 2017: 146−157.[14]ZA VRTANIK V, KRISTAN M, SKOČAJ D. Reconstruction by inpainting for visual anomaly detection[J]. Pattern Recognition, 2021, 112: 107706.[15]YANG M, WU P, FENG H. MemSeg: A semi-supervised method for image surface defect detection using differences and commonalities[J]. EngineeringApplications of Artificial Intelligence, 2023, 119: 105835.[16]ZA VRTANIK V, KRISTAN M, SKOČAJ D. Draem: A discriminatively trained reconstruction embedding for surface anomaly detection[C]// Proceedingsof the 2021 IEEE/CVF International Conference on Computer Vision (ICCV), 2021: 8310−8319.[17]BERGMANN P, FAUSER M, SATTLEGGER D, et al. MVTec AD: A comprehensive real-world dataset for unsupervised anomaly detection[C]//Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019: 9584−9592.。
如何利用粗糙集理论进行异常检测与异常数据处理
如何利用粗糙集理论进行异常检测与异常数据处理异常检测与异常数据处理在许多领域中都是重要的任务，如金融、网络安全和医疗等。
而粗糙集理论是一种有效的工具，可以帮助我们进行异常检测和异常数据处理。
本文将介绍粗糙集理论的基本原理和应用，并探讨如何利用该理论进行异常检测与异常数据处理。
粗糙集理论是由波兰学者Zdzisław Pawlak于1982年提出的一种数学理论，它主要用于处理不确定性和不完备性的问题。
粗糙集理论的核心思想是通过粗糙近似来描述不确定和不完备的信息。
在异常检测和异常数据处理中，我们经常面临着数据缺失、噪声干扰和数据不完整等问题，而粗糙集理论可以帮助我们处理这些问题。
首先，我们需要将异常数据与正常数据进行区分。
在粗糙集理论中，我们可以通过属性约简来找到最重要的属性，从而降低数据维度。
属性约简是指从原始属性集中选择一部分属性，使得这些属性能够保持原始数据集的分类能力。
通过属性约简，我们可以提取出最相关的属性，从而更好地区分异常数据和正常数据。
其次，我们可以利用粗糙集理论进行异常检测。
异常检测是指通过分析数据的统计特征和规律，识别出与正常模式不符的数据。
在粗糙集理论中，我们可以使用下近似和上近似来描述数据的边界。
下近似表示数据的下界，上近似表示数据的上界。
通过比较数据的下近似和上近似，我们可以找出异常数据。
除了异常检测，粗糙集理论还可以帮助我们进行异常数据处理。
异常数据处理是指对异常数据进行修正或剔除，以提高数据质量和准确性。
在粗糙集理论中，我们可以利用下近似和上近似来判断数据的可信程度。
如果数据的下近似和上近似相差较大，说明数据存在较大的不确定性，可能是异常数据。
通过对异常数据进行修正或剔除，我们可以提高数据的准确性和可信度。
在实际应用中，我们可以结合机器学习和数据挖掘的方法，利用粗糙集理论进行异常检测与异常数据处理。
例如，我们可以使用决策树算法来进行属性约简和异常检测。
决策树算法可以根据数据的属性和标签来构建一棵树状结构，从而实现数据的分类和预测。
机器学习中的异常检测方法
机器学习中的异常检测方法机器学习是一门通过训练模型来分析和理解数据的学科。
在这个领域中，异常检测是一个重要的课题。
异常检测的目标是识别出与正常情况不同的数据点，这些数据点可能表示潜在的问题或异常情况。
本文将介绍几种在机器学习中常用的异常检测方法。
一、基于统计的异常检测方法基于统计的异常检测方法是一种常见且直观的方法。
它基于数据的统计分布来判断某个数据点是否异常。
其中，最常见的方法是使用概率统计模型，比如高斯分布模型。
通过计算数据点与该模型的概率之间的差异来判断是否为异常值。
如果数据点的概率低于某个阈值，则可以认为它是异常的。
二、基于距离的异常检测方法基于距离的异常检测方法通过测量数据点之间的距离来确定异常值。
常用的方法有k最近邻算法和LOF算法。
k最近邻算法将每个数据点与其最近的k个邻居进行比较，如果一个数据点的k个邻居与其距离较远，则可以认为该数据点是异常的。
LOF算法通过计算每个数据点的局部可达密度来确定异常值，如果一个数据点的局部可达密度与其邻居的密度差异较大，则认为该数据点是异常的。
三、基于聚类的异常检测方法基于聚类的异常检测方法将数据点分为不同的簇(cluster)或群组，并使用簇的紧密度或离群程度来判断数据点是否为异常。
其中，一种常用的方法是使用DBSCAN算法。
DBSCAN算法通过将数据点分为核心点(core point)、边界点(border point)和噪声点(noise point)来判断异常值。
如果一个数据点没有足够的邻居，则被认为是异常的。
四、基于深度学习的异常检测方法随着深度学习的发展，基于深度学习的异常检测方法变得越来越流行。
这些方法使用神经网络和自编码器(autoencoder)来学习数据的表示，并通过重构误差(reconstruction error)来判断数据点是否为异常值。
如果一个数据点的重构误差较大，则可以认为它是异常的。
五、基于集成学习的异常检测方法基于集成学习的异常检测方法是将多个异常检测模型组合起来来进行异常检测。
一种基于行为分析的程序异常检测方法
基于机器学习的异常检测算法
基于机器学习的异常检测算法异常检测是机器学习领域的重要研究方向之一。
随着大数据时代的到来，异常检测算法在各个领域得到了广泛应用。
本文将介绍基于机器学习的异常检测算法的原理、方法和应用，并探讨其在实际应用中的挑战和未来发展方向。
1. 异常检测简介异常是指与正常行为或模式显著不同的数据点或行为。
在许多领域，如金融、网络安全、工业控制等，异常往往是重要事件或问题发生的标志。
因此，准确地识别和处理异常对于保障系统安全和提高效率至关重要。
2. 基于机器学习的异常检测算法基于机器学习的异常检测算法通过训练模型来识别正常行为，并利用模型对未知数据进行预测和判断是否为异常。
常见的基于机器学习的方法包括：无监督方法、半监督方法和有监督方法。
2.1 无监督方法无监督方法是指不需要标记样本进行训练，通过对数据进行聚类或密度估计来识别异常。
其中，聚类方法将数据点分为不同的簇，异常点则被归为孤立的簇或离群点。
密度估计方法则通过估计数据的分布来判断是否为异常。
2.2 半监督方法半监督方法是指利用少量标记样本和大量未标记样本进行训练。
通过利用未标记样本的信息来提高模型的泛化能力和异常检测性能。
半监督方法常用的技术包括半监督聚类、半监督分类和半监督降维等。
2.3 有监督方法有监督方法是指通过已知异常和正常样本进行训练，构建分类模型来判断未知数据是否为异常。
有监督方法通常需要大量标记样本，但在已有标记数据较少或者正常样本分布不均衡时存在一定局限性。
3. 基于机器学习的异常检测算法应用基于机器学习的异常检测算法在各个领域都得到了广泛应用。
3.1 金融领域金融领域是一个重要应用领域，其中包括信用卡欺诈检测、交易风险监测等。
基于机器学习的异常检测算法可以通过对用户行为和交易模式的分析，识别出潜在的异常行为和欺诈行为。
3.2 网络安全领域网络安全领域是另一个重要应用领域，其中包括入侵检测、恶意代码检测等。
基于机器学习的异常检测算法可以通过对网络流量、用户行为和系统日志等数据的分析，及时发现潜在的入侵行为和恶意代码。
基于轨迹坐标的异常行为检测
安全 性 ， 对 区 域 内 的 行 为进 行 防 范 ， 国 内外 已经 有很 多 学 者 对 异
常行 为 进行 研 究 ［ １ － ２ ］ ０ 例 如 徘 徊行 为 ， 可 以定义 为 在 某一 个 区 域 内 ，
运动 物 体 在做 无 规 则 运动 或 者 不 问断 的 往复 运 动 。目前 很 多 的学 者都 在对 监 控 视 频 序 列 的徘 徊 进 行 研 究 ， 文献 ［ ３ ］ 利 用 贝 叶 斯 表
状态差分方程 ：
一 ， ＋ Ｂ Ｕ ｋ ＿ ， ＋
（ １ ） （ ２ ）
征跟 踪 器 ， 对 行 人 的 特 征进 行 建 模 ， 形 成 一 个 候选 行 人 数 据 库 ， 然 后根 据 保 存 的时 间 戳 ， 判 断行 人 行 为是 否 属 于徘 徊 行 为 。 文献［ ４ ］
基 于 轨 迹 坐 标 的 异 常 行 为 检 测
基于轨迹坐标的异常行为检测
Ａ ｂ ｎ ｏ ｒ ｍａ ｌ Ｂ ｅ ｈ ａ ｖ ｉ ｏ ｒ Ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ Ｂ ａ ｓ ｅ ｄ ｏ ｎ Ｔ ｒ ａ ｊ ｅ ｃ ｔ ｏ ｒ ｙ Ｃ ｏ ｏ ｒ ｄ ｉ ｎ ａ ｔ ｅ
提 出 了一 种 基 于 目标 在 监 控 区域 内 总 移 动距 离 和 滞 留时 间 的 徘
监控视频中的车辆异常行为检测
① 基 金项 目：四川 省科 技支 撑项 目 （２０１５ＧＺＸ０１０１）；四 川省应 用基 础研 究基 金 （２０１４ＪＹ０２１２） 收 稿 时 间：２０１７·０５－０４；修 改时 间：２０１７．０５．２６；采 用时 间：２０１７—０６—０５
Ｓｏｆｔｗａｒｅ Ｔｅｃｈｎｉｑｕｅ·Ａｌｇｏｒｉｔｈｍ 软 件技术 ·算法 １２５
引用格式：黄鑫，肖世德，宋波．监控视频 中的车辆 异常行为检 测．计算机系统应用 ，２０１８，２７（２）：１２５—１３１．ｈｔｔｐ：／／ｗｗｗ．Ｃ＿ｓ＿ａ．ｏｒｇ．ｃｎ／１００３—３２５４／６１９７．ｈｔｍｌ
Ｄ ｅｔｅｃｔｉｏｎ ｏｆ Ｖｅｈｉｃｌｅ’Ｓ Ａｂｎｏｒｍ ａｌ Ｂｅｈａｖｉｏｒｓ ｉｎ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｖｉｄｅｏ
为 ，使 得交 警人 员能够 迅速 出警 ，立 即处理 事故现 场， 减少车辆拥堵 时间和 次生 事故的发生【１］．目前使用 图像 处理 技术检测车辆异 常行 为，已取得一定 的成效．孙玉 砚等 人【２】建立车辆 轨迹 的隐马尔科夫模 型 以提取 车辆 异常行为，能够准确检测车 辆异常行为，但 大部分车辆 轨迹线相重 合，占用 内存空 间大且造成重复运算 ，降低 检测效率．尹宏鹏等人［３】使用 均值漂移法跟踪车辆得到
引 言 随着 物联 网时代 的到来，国家 致力 于研 究智 能交
通视频 监控系统 ．作为城 市安防 的“护城河”，交通 监控 与城 市安全 相关 ．现今 海量 的交 通视频 信 息大多采 用 人工检视，易造成漏检且 效率低下 ．但 随着智 能交 通的 发 展，这种 工作状态得 到改善．利用 图像处理技术检测 视 频 中的车 辆异常 行为，能及 时 发现车 辆异常 违规行
计 算机 系 统应用 ＩＳＳＮ １００３．３２５４，ＣＯＤＥＮ ＣＳＡＯＢＮ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍｓ＆ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１８，２７（２）：１２５—１３１［ｄｏｉ：１０．１５８８８￣．ｃｎｋｉ．ｃｓａ．００６１９７］ ＠中 国科 学院 软件 研 究所版 权所 有．
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
器对正常行为和异常行为进行正确分类。常用分类 器为贝叶斯分类器 、 决策树分类器、 支持向量机分类 器等 。如林春 丽等人 。 。 利用 Ｓ Ｖ Ｍ ． Ｋ Ｎ Ｎ组 合分
２ ０ １ ３年 ８月 １ ２日收到 ， ９月 １ １日修改 国家 自然科学基金
（ ６ １ ０ ７ ４ １ ８ ６ ） 、 河海大学中央高校基本基金 （ ２ ０ ０ ９ Ｂ ０ ３ ７ １ ４ ） 资助
⑥ ２ ０ １ ４ Ｓ ｃ ｉ ． Ｔ ｅ ｃ ｈ ． Ｅ ｎ ｇ ｒ ｇ ．
计算机技术
基于泊松方程的异常行为检测
罗志琳 钱 惠敏 周 军
（ 河海大学能源 与电气学院 ， 南京 ２ １ １ １ （ ７ ０ ）
摘 要
异常行 为检 测是 家居 监护 系统 的重要功 能之一。提 出 了一种基 于泊松方 程的特征提 取算 法， 并采用 Ｋ均值 算法 实
体数字识别领域取得了较好 的效果 。文献 ［ １ ２ ］ 将 该算法拓展 到人体行 为识别领 域 ， 但 因其是对 运 动 序 列 中 的点建 立 三 维 时 空泊 松 方 程 ， 计算量大 ， 不 易 实 现 实 时 识 别 。而 在 家 居 监 护 系 统 中 ， 发 生 跌倒行为时 ， 往往越早发现 ， 对病人 的救 护几 率就 越大。本文对视频帧 中的运动 区域 内部各像 素点 构 建二 维 泊松 方 程 ； 采 用多重网格法求解方程 ， 得 到 该 点与 运 动 区域 边 界 的相 对 关 系 ； 由 此 得 到 人 体 行 为 的矩 特 征 ； 最 后 通 过 用 Ｋ均 值 分 类 器 对 所 提 取 的特 征 进行 分 类 。本 文 将 此 方 法 用 于 对 异 常 行 为 的检 测 中 ， 实 验证 明 ， 该 方 法 对 异 常行 为 具 有 良好 的检 测效 果 。 由于老年 人 的异常行 为 中最常 发生 的为跌倒 行 为， 通过钱惠敏等人¨ 录制的视频数据库 ， 对走 、 慢 跑、 蹲、 坐、 站立及跌倒 ６ 种室内行为进行异常检测 ， 其中跌倒为异常行 为， 其他为正常行 为。首先介绍 泊松方程的构建过程 ； 其次 ， 给出泊松方程的求解方 法——多重网格法 ， 并用该方法求解上一步骤 中所 建立的二维泊松方程 ； 再次 ， 根据各点的像素值构建 行为的矩特征 ； 最后 ， 根据所提取 的特征 ， 采用 Ｋ均 值算法对异常行为进行检测。
当今 社会 ， 更 多的人忙 于事 业 ， 无 暇在 家看 护老
人或病人 ， 且相 当一部分家庭没有能力聘请专业 的 家 庭护 理人员 。因此 ， 空 巢 老人 和 病 人 的看 护 成 为 了当今社 会 亟需解 决 的 问题 之 一 ｌ ２ Ｊ 。 日常 生 活 中 ，
跌 倒对 老人 或 病 人 来 说 是 最 危 险 的行 为 之 一 。 因
９８． ７２％ 。
关键词 泊松方程
特征提取
异常行为
均值分 类
中图法分类号
Ｔ Ｐ ３ ９ １ ． ４ １ ３ ；
文献标志码
Ａ
基 于视觉 的人 体行 为 识别 在人 工 智 能 、 运 动 分析、 虚 拟现实 、 用户 接 口等领域 有着 良好 的应用 前 景 。从技 术 角度来 看 ， 基 于视 觉 的人 体行 为识 别 涉
第１ ４卷
第 ２期
２ ０ １ ４年 １月
科
学
技
术
与
工
程
Ｖ０ １ ． １ ４ Ｎｏ ． ２ Ｊ ａ ｎ ．２ ０ １ ４
１ ６ ７ １ —１ ８ １ ５ ｆ ２ ０ １ ４ ） ０ ２ — ０ ０ ５ ０ — ０ ６
Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ０ ｇ ｙ ａ ｎ ｄ Ｅｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ
第一作者简介 ： 罗志 琳 （ １ ９ ８ ８ 一）， 女， 硕士 。研 究方 向 ： 人 工智能 。
此， 本文主要检测人体 日常活动中的异常行为——
跌倒 。异 常行 为通 常 具有 偶 发 性 和 多样 性 ， 往 往 不 易 获得样 本数 据 ， 很 难 直接 建 模 。现 有 的异 常 行 为 检 测方法 大体 可 以分 为两 类 Ｊ ： 一 类 是基 于模 型 的 检 测方 法 ， ， 即定 义 正 常行 为 的模 型 ， 与 已知 模 型 不 匹配 的行 为 即为 异 常行 为 ， 如 Ｚ ｈ ａ ｎ ｇ等 人 提 出 了一种半 监 督 的 Ｈ ＭＭ 模 型 ， 用 该 模 型 对 正 常 行 为 进 行建模 ， 与所 建模 型不 匹配 的被认 为是异 常行 为 ； 另 一类是 基 于 分 类 器 的检 测 方 法 ７ １ 引， 究表 明， 物体剪影 中包含 大量信息 。文 献［ １ １ ］ 通 过对剪 影 中的每 个像 素点 建立 泊松 方
程， 并 用方 程 的解 表 征 该 点 自由 运 动 到 剪 影 轮 廓 所 有点 所 需 的 平 均 时 问 ； 算 法 在 形 状 识 别 和 手 写
现人体异常行为—— 跌倒的检 测。首先采用基于混合高斯模型 的运动 目标检测算 法获得运 动人体 的二值 图像 序列； 然后 ， 对 图像序列提取基于二维泊松方程的矩特征描述人体行 为； 最后采 用 Ｋ均值分 类器对 异常行 为进 行检测 。所使 用 的数据库包 括 ６种可能发生 的 日常行为 ： 站立 、 走、 慢跑 、 坐、 蹲， 以及跌倒。实验表明 ， 采用该算法检测异常行为—— 跌倒的正确识别率为
类器 对异 常行 为进行 检测 。本文 将通 过人体 剪影 提 取行 为特 征 ， 并 采用 均值 分 类器 对 异 常行 为进 行
检测 。
及到计算机视觉 、 人工智能、 图像 处理 、 模式识别等 学科 ， 是利用计算机技术从人运动 的图像序列 中对 运动 目 标进行检测及跟踪， 并对所获取的信息进行