Halcon学习笔记之缺陷检测(二)教学教材
[Halcon学习笔记]机器视觉缺陷检测常用方法对比总结
![[Halcon学习笔记]机器视觉缺陷检测常用方法对比总结](https://img.taocdn.com/s3/m/c0b2023baa00b52acec7ca7f.png)
1、介绍缺陷检测时机器视觉需求中最复杂难度较的一类需求。
究其原因,主要在发过程中首先要保证检测的稳定性和精度,又要实现缺陷检测的通用性,常见的缺陷:凹凸、污瑕疵、划痕、裂缝、伤痕、毛刺等等类型种类繁杂,缺陷检测不同于尺寸、、OCR识别等算法。
后者的应用场景比较单一,基本使用一些成熟的算法实现,最多增加一些定位、图像增强的算法,应用门槛相对较低,也比较容易成通用的产品或工具。
但缺陷检测主要针对工业场景,不同的行业的需求和重都有差别,这导致不同的行业所使用的缺陷算法迥然不同,这也注定了缺陷检测被工业场景非标定制所束缚。
随着缺陷检测要求的不断提高和技术的不断发展,机器学习和深度学习也成了缺陷领域一个不可或缺的技术难。
2、缺陷检测目前解决方案2.1 传统算法检测缺陷优:可根据需求和图像进行不同需求的发,可直观展示;缺:调试难度,图像变化后会导致检测算法不稳定进而需要反复调参,而且复杂缺陷误检的概率较,兼容性不好,很难成通用。
2.2 机器学习检测缺陷一般使用类似MLP的一些单层神经网络,对缺陷特征进行训练分类,该方法需要事先提取出缺陷部分,一般用来与传统分割法搭配使用,达到缺陷检测分类的。
2.3 深度学习检测缺陷优:通用性好,可以通过迭代训练模型不断提升某个产品的检测准确度。
缺:需要量的数据样本(缺陷样本),而且缺陷种类越多,特征性越模糊,检测精度要求越高,其需要的缺陷样本就越,而且深度学习中的缺陷样本需要人工去标注标签,样本越,手动标注的工作量也越,训练的周期也越长。
只适合产品产量且缺陷样本较多的案例。
2.4 深度学习检测缺陷(迁移学习方法)其操作方法如2.3,但同一行业或相似行业有量的缺陷样本库,如果深度训练网络具有泛化和迁移的特,可以在常规缺陷少的情况下,根据统一行业缺陷进行迁移学习训练,进而解决缺陷样本少的问题。
该方法感觉会成为后面工业领域检测瑕疵的一个趋势,但需要一些去收集各种行业的缺陷类型图片和训练的网络模型,并共享出来,然后后来者可以使用迁移学习的方法学习前人训练好的模型。
Halcon学习笔记之缺陷检测(二)教学教材

Halcon学习笔记之缺陷检测(二)例程:detect_indent_fft.hdev说明:这个程序展示了如何利用快速傅里叶变换(FFT)对塑料制品的表面进行目标(缺陷)的检测,大致分为三步:首先,我们用高斯滤波器构造一个合适的滤波器(将原图通过高斯滤波器滤波);然后,将原图和构造的滤波器进行快速傅里叶变换;最后,利用形态学算子将缺陷表示在滤波后的图片上(在缺陷上画圈)。
注:代码中绿色部分为个人理解和注释,其余为例程中原有代码*Initialization(初始化)dev_updata_off() //这一句包含如下三个算子://dev_updata_pc(‘off’) 关闭更新程序计数器//dev_updata_var(‘off’) 关闭更新变量窗口//dev_updata_window(‘off’) 关闭更新图像窗口(即通过命令来显示想要在图像窗口显示的图片)dev_close_window() //关闭活动的图像窗口read_image(Image,’plastics/plastics_01’) //载入图片//参数说明:为读入图片命名(Image)// 文件名(’plastics/plastics_01’)get_image_size(Image,Width,height) //获取图片的长宽;//参数说明:之前读入或生成的图片(Image)// 图片的宽(Width)// 图片的高(Height)dev_open_window(0,0,Width,Height,’Black’,WindowHandle) //打开一个新的图像窗口//参数说明:起始坐标(0,0)// 大小(Width,Height)// 背景颜色(’Black’)// 窗口句柄(WindowHandle)set_display_font (WindowHandle,14,’mono’,’ture’,’false’)//设置不依赖操作系统的字体//参数说明:窗口句柄(WindowHandle)// 字体大小(14)// 字体类型(’mono’)// 是否黑体(’ture’)// 是否倾斜(’false’)dev_set_draw(‘Margin’) //定义区域填充模式//参数说明:填充模式(’Margin’或者’Fill’)dev_set_line_width(3) //设置输出区域轮廓线的线宽//可以修改参数来看最后缺陷区域标示的区别dev_set_color(’red’) //设置一种或者多种输出颜色**Optimize the fft speed for the specific image size(根据指定图像大小进行fft速度最优化)optimize_rft_speed(Width,Height,’standard’) //对指定大小的图片的fft速度进行优化//参数说明:图片大小(Width,Height)// 优化模式(’standard’)**Construct a suitable filter by combining two Gaussian filters(结合两个高斯滤波器构造一*个合适的滤波器)Sigma1 := 10.0Sigma2 := 3.0 //定义两个常量gen_gauss_filter(GaussFilter1,Sigma1,Sigma1,0.0,’none’,’rft’,Width,Height)gen_gauss_filter(GaussFilter2,Sigma2,Sigma2,0.0,’none’,’rft’,Width,Height) //在频域生成两个高斯滤波器//参数说明:生成的高斯滤波器(GaussFilter)// 空域中高斯在主方向上的标准差(Sigma)// 空域中高斯在正交于主方向的方向上的标准差(Sigma)// 滤波器主方向的角度(0.0)// 滤波器的规范(’none’)// 直流项在频域的位置(’rft’)// 图片的大小(Width,Height)sub_image(GaussFilter1,GaussFilter2,Filter,1,0) //两图片相减(灰度)//sub_image(ImageMinuend, ImageSubtrahend : ImageSub : Mult, Add : )//g' := (g1- g2) * Mult + Add//以上为函数原型以及运算公式**Process the images iteratively(对图像进行迭代运算)NumImages := 11For Index := 1 to NumImages by 1 //for循环从1到NumImages,步长为1**Read an image and convert it to gray valuesread_image(Image,’plastics/plastics_’+Index$’02’)rgb1_to_gray(Image,Image) //将原图转化为灰度图,第一个参数为原图*Perform the convolution in the frequency domainrft_generic(Image,ImageFFT,’to_freq’,’none’,’complex’,Width)//对计算一幅图片实部进行快速傅里叶变换 //参数说明:输入的图片(Image) // 傅里叶变换后输出的图片(ImageFFT) // 变换方向(’to_freq’或’from_freq’) //变换因子的规范(’none’) // 输出图片的数据类型(’complex’) //图片的宽(Width)convol_fft(ImageFFT,Filter,ImageConvol) //对图片用一个滤波器在频域进行卷积运算 //参数说明:输入的图片(ImageFFT) // 频域滤波器(Filter) //运算后输出的结果 rft_generic(ImageConcol,ImageFiltered,’from_freq’,’n’,’real’,Width) //对滤波后的图片进行傅里叶反变换**Process the filtered imagegray_range_rect(ImageFiltered,ImageResult,10,10)//用一个矩形掩膜计算像素点的灰度范围 //参数说明:输入的图片(ImageFiltered) // 输出的灰度范围图(ImageResult) // 矩形掩膜大小(10,10)min_max_rect(ImageResult,ImageResult,0,Min,Max,Range)//判断区域内灰度值的最大和最小值 //参数说明:待分析图片区域(ImageResult) // 图片(ImageResult)// 被去除的直方图两边像素点所// 占总像素数的百分比(0)// 得到的最小值最大值及灰度值范围(Min,Max,Range)threshold(ImageResult,RegionDynThresh,max([5.55,Max*0.8]),255)//利用全局阈值对图像进行分割 //参数说明:输入的图片(ImageResult) // 分割后得到的区域(RegionDynThresh) // 阈值(max([5.55,Max*0.8]),255)// 公式:MinGray <= g <= MaxGrayconnection(RegionDynThresh,ConnectedRegions) //计算区域内的连通部分 //参数说明:输入的图片(RegionDynThresh) // 得到的连通区域(ConnectedRegions)select_shape (ConnectedRegions,SelectedRegions,’area’,’and’,4,99999)//根据指定的形态特征选择区域//参数说明:输入的图片(ConnectedRegions)// 满足条件的区域(SelectedRegions)// 将要计算的形态特征(’area’)// 独立特征间的连接关系(’and’)// 特征的最小限制(4)// 特征的最大限制(99999)union1(SelectedRegions,RegionUnion) //返回包含所有区域的集合 //参数说明:包含所有区域的待计算区域的图片(tedRegions) // 所有输入区域合(RegionUnion)closeing_circle(RegionUnion,RegionClosing,10)//用一个圆圈来封闭一个区域 //参数说明:将要被封闭的区域(RegionUnion) // 被封闭的区域(RegionClosing)// 圆圈的半径(10) connection(RegionClosing,ConnectedRegions1)select_shape(ConnectedRegions1,SelectedRegions1,’area’,’and’,10,99999)area_center(SelectedRegions1,Area,Row,Column) //计算区域的面积以及中心位置//参数说明:待计算的区域(SelectedRegions1) // 区域的面积(Area) // 区域中心的行(Row) // 区域中心的列(Column)**Display the resultsdev_display(Image) //显示原图 Number := |Area| //将区域面积赋给Number用于后面检查是否存在缺陷 if(Number)gen_circle_contour_xld(ContCircle,Row,Column,gen_tuple_const(Number,30),gen_tuple_const(Number,0), gen_tuple_const(Number,rad(360)),’positive’,1)//构造一个与设定的圆弧或圆相一致的边界//参数说明:生成的边界(ContCircle)// 圆弧或圆的中心坐标(Row,Cloumn)// 圆弧或圆的半径(gen_tuple_const(Number,30))// 圆弧或圆的起始角度(gen_tuple_const(Number,0))// 圆弧或圆的结束角度(gen_tuple_const(Number,rad(360)))// 不明白是什么意思// 相邻两点间的距离(1)ResultMessage := [‘Not OK’,Number + ‘defect(s) found’]Color := [‘red’,’black’]dev_display(ContCircle) elseResultMessage := ‘OK’Color := ‘forest green’endifdisp_message(WindowHandle,ResultMessage,’window’,12,12,Color,’ture’)if(Index#NumImages)disp_continue_message(WindowHandle,’black’,’ture’)stop()endifendfor算法讲解:在实际的表面缺陷检测系统中,针对的检测表面很多是具有一定纹理的比如:布匹、皮革、塑料等,针对这一类表面的检测就不能单纯依靠帧差或者背景差来完成,因为背景的纹理不可能和当前图像的纹理完全相同。
halcon 缺陷检测处理流程

halcon 缺陷检测处理流程Halcon缺陷检测处理流程引言:缺陷检测是工业生产中非常重要的环节,它可以帮助制造商在生产过程中及时发现并处理产品中的缺陷,提高产品质量。
Halcon是一款强大的机器视觉软件,提供了丰富的功能和工具来进行缺陷检测。
本文将介绍Halcon缺陷检测处理流程,帮助读者理解并应用该软件进行缺陷检测。
一、图像采集与预处理:在进行缺陷检测之前,首先需要采集产品的图像。
Halcon支持多种图像采集设备,例如相机、扫描仪等,并提供了丰富的接口和驱动程序来与这些设备进行连接。
在图像采集之后,还需要对图像进行预处理,以提高后续缺陷检测的准确性和效率。
预处理包括图像去噪、灰度调整、滤波等操作,可以根据具体情况选择适当的方法进行处理。
二、特征提取与分割:在进行缺陷检测之前,需要对图像中的缺陷进行分割和提取。
Halcon提供了多种特征提取和分割的工具和算法,例如边缘检测、形状匹配、颜色分割等。
这些工具和算法可以帮助用户准确地提取出图像中的缺陷,并进行分类和分析。
三、缺陷检测与分类:在特征提取和分割之后,就可以进行缺陷检测和分类了。
Halcon提供了多种缺陷检测和分类的方法和算法,例如模板匹配、机器学习等。
用户可以根据具体需求选择适当的方法进行缺陷检测和分类。
在进行缺陷检测和分类时,需要设置合适的参数和阈值,以确保检测结果的准确性和稳定性。
四、缺陷定位与标记:在进行缺陷检测之后,需要对检测到的缺陷进行定位和标记。
Halcon提供了多种定位和标记的方法和工具,例如边缘定位、区域标记等。
这些方法和工具可以帮助用户准确地定位和标记图像中的缺陷,便于后续处理和修复。
五、缺陷分析与统计:在进行缺陷检测之后,可以对检测结果进行分析和统计。
Halcon提供了多种分析和统计的工具和函数,例如缺陷数量统计、缺陷大小分析等。
这些工具和函数可以帮助用户对缺陷进行分析和评估,以改进生产工艺和提高产品质量。
六、结果显示与输出:在进行缺陷检测之后,需要将检测结果显示和输出。
基于HALCON的标签模切缺陷的检测

2018年第1期信息通信2018 (总第181 期)INFORMATION & COMMUNICATIONS (Sum. N o 181)基于HALCON的标签模切缺陷的检测陈萍(北京信息科技大学自动化学院,北京101192)摘要:针对标签模切的凸起缺陷,采用模板对比检测方法中存在的误报和漏报的问题,文章提出了利用图像形态学处理的 方法和通过提取轮靡的方法对现有的视觉检测算子改进以提升检测效果。
使用H A L C O N软件实现模板比对、形态学和 提取亚像素轮廣的三种检测的方法,并进行误报、漏报和算子处理速度进行比较。
通过样本标签测试结果说明,针对样本 中的凸起缺陷,改进后的方法误报和漏报为0,正确率较高。
此方法对于规则物体边缘凸起缺陷的检测有较高的参考价值。
关键词:标签检测;图像处理;机器视觉;缺陷检测中囹分类号:TP27 文献标识码:A文章编号:1673-1131( 2018 )01-0116-04Detection and implementation of die cutting defects based on HALCONChen Ping(School of A utomation,Beijing lofarmation Science&Technology U n i v ersi ty,Beijing,100192) Abstract:For the bump d e f e c t s of t h e l a b e l7s d i e c u t t i n g,t h e method using templates comparison o f t e n l e a d s t o f a l s e p o s i t i v e s and&lse ne gatives,and the method of u sing image moiphological processing and the method of e x t r a c t i n g contour a r e put f o rward i n t h i s paper t o Improve t h e e x i s t i n g v i s u a l i n s p e c t i o n effect^nd use H A L C O N soft ware t o accomplish t h e s e t h r e e v i s u a li n s p e c t i o n methods of templa te matching,morphological processing and e x t r a c t i o n of sub p i x e l contour,and compare the f a l s enegatives,f a l s e p o s i t i v e s and the pro ce ssing speed of t h r e e methods.Through t h e sample7s t e s t r e s u l t s f o r convex d e f e c t s i n t h e l a b e l s,f a l s e p o s i t i v e s r a t e and f a l s e n egatives r a t e has improved t o be0. The c o r r e c t r a t e i s h i g h e r.T h i s method of m orphological proce ssing has a high r ef er en ce value f a r t h e d e t e c t i o n of d e f e c t s i n t he edge of t h e r e g u l a r o b j e c t.Keywords:Label E>etection;l i n ag e Processing;Machine^s io n;Defect Detection0引言印刷业的标签大部分用来标识产品相关说明,且一般背 面自带胶。
halcon边缘提取缺陷检测的思路

一、边缘提取1、设置ROI兴趣区域2、快速二值化,并连接相邻区域。
这样做的目的是进一步减少目标区域,通过二值化将目标区域大概轮廓提取出来3、提取最接近目标区域的轮廓.常用函数有boundary,gen_contour_region_xld4、根据自己的需求提取需要的初步轮廓5、将初步提取的初步轮廓进行膨胀操作6、将膨胀后的区域和原图进行减操作(在这步之前有可能需要对原图进行高斯滤波)。
这样就能得到只有边缘的真实图像7、用canny或其他算子(根据需要)提取亚像素轮廓,一般使用edges_sub_pix函数8、处理和计算得到真实的边缘XLD后你可能需要进一步处理得到你想要的线、弧等。
你可能用到的函数segment_contours_xld(分割)union_collinear_contours_xld(联合相邻或相同角度直线)select_contours_xld(提取想要的轮廓)union_cocircular_contours_xld(联合相同圆)等等得到轮廓后如果你不知道怎么处理后得到你想要的东西(线、弧、圆、角、矩形)你都可以将轮廓转化为点,然后用点集合来拟合任何你想要的东西。
二、BLOB分析检测(前面一篇有详细讲解,本骗只讲思路)1、应用ROI,可以使Blob分析加速。
2、匹配ROI区域或图像,详将GUIDEIIB以形状为基础的匹配。
3、校正图像<经常用来去除镜头畸变或把图像转换到参考点视角,如双目视觉时的图像校正>4、图像前处理5、引用分割参数6、分割图像7、区域处理8、特征提取9、把提取的结果转换到世界坐标中10、结果可视化。
三、赃物检测1、得到两个不同高斯标准差的高斯积卷2、对原始图像进行傅里叶变换'to_fre'3、用之前的积卷对图像做积卷滤波4、傅里叶反变换‘from_fre’。
halcon——缺陷检测常用方法总结(光度立体)

halcon——缺陷检测常⽤⽅法总结(光度⽴体)引⾔机器视觉中缺陷检测分为⼀下⼏种:blob分析+特征模板匹配(定位)+差分光度⽴体特征训练测量拟合频域+空间域结合:深度学习前⼀篇总结了频域与空间域的结合使⽤,本篇就光度⽴体的缺陷检测做⼀个总结。
光度⽴体在⼯业领域,表⾯检测是⼀个⾮常⼴泛的应⽤领域。
在halcon中,使⽤增强的光度⽴体视觉⽅法,三维表⾯检测被加强。
利⽤阴影可⽅便快速的检测物体表⾯的缺⼝或凹痕。
使⽤光度⽴体视觉⽅法可在复杂图像中轻松找到表⾯缺陷。
适⽤场景:光度⽴体法可以看作是2.5维,适⽤于检测⾦属物料上⾯的凹凸特征。
函数原理:1.通过photometric_stereo算⼦获得表⾯梯度图像,该算⼦可以得到表⾯梯度图像和反照率图像。
需要输⼊多张从不同⾓度照明所得到的图像。
2.通过derivate_vector_field算⼦获得⾼斯(平均)曲率图像,该算⼦中需要输⼊表⾯梯度图像。
光源:光度⽴体法不需要特殊的光源,只需要从不同的⾓度打光⽽已。
1 光度⽴体法的典型应⽤:光度⽴体法的典型应⽤是检测物体表⾯微⼩变化,例如,受打光⽅向影响的缺陷。
⽐如⾮平⾯的打印检测(个⼈理解:普通打光⽅式受光线影响特征成像不理想,可以通过光度⽴体法检测)。
值得注意的是:光度⽴体法不适⽤于绝对⾼度的重建,也就是说,它不能替代传统的3D重建算法,如对焦测距和激光三⾓测量。
2 光度⽴体法的局限性:光度⽴体法基于Woodham算法。
因此:⼀⽅⾯假定相机是⽆畸变成像,也就是说必须使⽤远⼼镜头或者长焦镜头。
另⼀⽅⾯假定每⼀个光源发射的光束都是平⾏且均匀的,也就是说必须使⽤具有均匀强度的远⼼照明光源,或者使⽤远距离的点光源代替。
此外,物体必须具有朗伯反射特性,即它必须以漫反射的⽅式反射⼊射光。
有镜⾯反射的物体或者区域(镜⼦或者光滑的表⾯)不能使⽤此⽅法,会得到⼀个错误的结果。
3 采集图像设置:带有远⼼镜头的相机必须与被测物体表⾯垂直安装,在采集多幅图像时,⼀定要保证相机和物体不被移动。
halcon——缺陷检测常用方法总结(模板匹配(定位)+差分)

halcon——缺陷检测常⽤⽅法总结(模板匹配(定位)+差分)引⾔机器视觉中缺陷检测分为⼀下⼏种:blob分析+特征模板匹配(定位)+差分光度⽴体:特征训练测量拟合频域+空间域结合:深度学习本篇主要总结⼀下缺陷检测中的定位+差分的⽅法。
即⽤形状匹配,局部变形匹配去定位然后⽤差异模型去检测缺陷。
模板匹配(定位)+差分整体思路(形状匹配):1. 先定位模板区域后,求得模板区域的坐标,创建物品的形状模板create_shape_model,注意把模板的旋转⾓度改为rad(0)和rad(360)。
2. 匹配模板find_shape_model时,由于物品的缺陷使形状有局部的改变,所以要把MinScore设置⼩⼀点,否则匹配不到模板。
并求得匹配项的坐标。
3. 关键的⼀步,将模板区域仿射变换到匹配成功的区域。
由于差集运算是在相同的区域内作⽤的,所以必须把模板区域转换到匹配项的区域。
4. 之后求差集,根据差集部分的⾯积判断该物品是否有缺陷。
模板匹配(定位)+差分的⽅法主要⽤来检测物品损坏,凸起,破洞,缺失,以及质量检测等。
halcon例程分析:1,印刷质量缺陷检测(print_check.hdev)该例程⽤到了差异模型,将⼀个或多个图像同⼀个理想图像做对⽐,去找到明显的不同。
进⽽鉴定出有缺陷的物体。
差异模型的优势是可以直接通过它们的灰度值做⽐较,并且通过差异图像,⽐较可以被空间地加权。
变化模型检测缺陷的整体思路:1. create_variation_model —— 创建⼀个差异模型2. get_variation_model —— 获得差异模型3. train_variation_model —— 训练差异模型4. prepare_variation_model —— 准备差异模型5. compare_variation_model —— ⽐较模型与实例6. clear_variation_model —— 清除差异模型dev_update_off ()* 选择第1张图像创建形状模板read_image (Image, 'pen/pen-01')get_image_size (Image, Width, Height)dev_close_window ()dev_open_window (0, 0, Width, Height, 'black', WindowHandle)set_display_font (WindowHandle, 16, 'mono', 'true', 'false')dev_set_color ('red')dev_display (Image)* 把我感兴趣的区域抠出来,原则上范围越⼩越好,因为这样创建模板时⼲扰会少很多threshold (Image, Region, 100, 255)fill_up (Region, RegionFillUp)difference (RegionFillUp, Region, RegionDifference)shape_trans (RegionDifference, RegionTrans, 'convex')dilation_circle (RegionTrans, RegionDilation, 8.5)reduce_domain (Image, RegionDilation, ImageReduced)inspect_shape_model (ImageReduced, ModelImages, ModelRegions, 1, 20)gen_contours_skeleton_xld (ModelRegions, Model, 1, 'filter')* 获得抠图区域的中⼼,这是参考点area_center (RegionDilation, Area, RowRef, ColumnRef)* 创建形状模板create_shape_model (ImageReduced, 5, rad(-10), rad(20), 'auto', 'none', 'use_polarity', 20, 10, ShapeModelID)* 创建变化模型(⽤于和缺陷⽐较)create_variation_model (Width, Height, 'byte', 'standard', VariationModelID)* ⽂件夹中前15张图⽚是质量良好的,可以⽤来训练模板for I := 1 to 15 by 1read_image (Image, 'pen/pen-' + I$'02d')* 先寻找模板的实例find_shape_model (Image, ShapeModelID, rad(-10), rad(20), 0.5, 1, 0.5, 'least_squares', 0, 0.9, Row, Column, Angle, Score)if (|Score| == 1)if (|Score| == 1)* 使⽤仿射变换,将当前图像平移旋转到与模板图像重合,注意是当前图像转向模板图像vector_angle_to_rigid (Row, Column, Angle, RowRef, ColumnRef, 0, HomMat2D)affine_trans_image (Image, ImageTrans, HomMat2D, 'constant', 'false')* 训练差异模型train_variation_model (ImageTrans, VariationModelID)dev_display (ImageTrans)dev_display (Model)endifendfor* 获得差异模型get_variation_model (MeanImage, VarImage, VariationModelID)* 做检测之前可以先⽤下⾯这个算⼦对可变模型进⾏设参,这是⼀个经验值,需要调试者调整prepare_variation_model (VariationModelID, 20, 3)dev_set_draw ('margin')NumImages := 30* 可变模板训练完成后,我们终于可以进⼊主题,马上对所有图像进⾏缺陷检测,思想就是差分for I := 1 to 30 by 1read_image (Image, 'pen/pen-' + I$'02d')* 要注意做差分的两幅图像分辨率相同,当然也需要通过仿射变换把待检测的图像转到与模板图像重合* 先寻找模板的实例find_shape_model (Image, ShapeModelID, rad(-10), rad(20), 0.5, 1, 0.5, 'least_squares', 0, 0.9, Row, Column, Angle, Score) if (|Score| == 1)* 使⽤仿射变换,将当前图像平移旋转到与模板图像重合,注意是当前图像转向模板图像vector_angle_to_rigid (Row, Column, Angle, RowRef, ColumnRef, 0, HomMat2D)affine_trans_image (Image, ImageTrans, HomMat2D, 'constant', 'false')* 抠图reduce_domain (ImageTrans, RegionDilation, ImageReduced)* 差分(就是检查两幅图像相减,剩下的区域就是不同的地⽅了,与模板图像不同的地⽅就是缺陷)*这⾥可不能⽤difference做差分啊,halcon为变形模板提供了专门的差分算⼦:compare_variation_modelcompare_variation_model (ImageReduced, RegionDiff, VariationModelID)connection (RegionDiff, ConnectedRegions)* 特征选择:⽤⼀些特征来判断这幅图像印刷是否有缺陷,这⾥使⽤⾯积* 其实可以考虑利⽤区域⾯积的⼤⼩来判断缺陷的严重程度,这⾥就不过多讨论了select_shape (ConnectedRegions, RegionsError, 'area', 'and', 20, 1000000)count_obj (RegionsError, NumError)dev_clear_window ()dev_display (ImageTrans)dev_set_color ('red')dev_display (RegionsError)set_tposition (WindowHandle, 20, 20)if (NumError == 0)dev_set_color ('green')write_string (WindowHandle, 'Clip OK')elsedev_set_color ('red')write_string (WindowHandle, 'Clip not OK')endifendifif (I < NumImages)disp_continue_message (WindowHandle, 'black', 'true')stop ()endifendfor* 结语:如果发现前⾯作为训练变形模板的良好图像也被判定为NG,* 可以调整prepare_variation_model参数* 或者调整select_shape特征筛选的标准相关算⼦分析:create_variation_model(创建⼀个差异模型)create_variation_model(Width, Height, Type, Mode ,ModelID)//创建⼀个ID为ModelID,宽为Width,⾼为Height,类型为Type的差异模型参数参数Mode决定了创建标准图像和相应的变化图像的⽅法。
基于Halcon的圆形陶瓷片表面缺陷检测方法

第39卷第2期2021年3月佛山科学技术学院学报(自然科学版)Journal of Foshan University(Natural Sciences Edition)Vol.39No.2Mar.2021文章编号:1008-0171(2021)02-0028-05基于Halcon的圆形陶瓷片表面缺陷检测方法贺潇苏彩红仔,詹宁宙2,林军帆-梁智宇1(1.佛山科学技术学院机电工程与自动化学院,广东佛山528000;2.佛山精视自动化科技有限公司,广东佛山528000)摘要:针对圆形陶瓷片的产品特性以及厂家检测的需要,设计了一种基于Halcon平台的表面缺陷分区检测算法。
通过前期预处理中的灰度化、图像增强处理以及ROI的选取后,再针对不同缺陷分别采用阈值分割、极坐标转换及边缘提取等方法获取产品缺陷区域并进行检测。
实验结果证明本检测算法具有较高的准确性,并能较好地满足实际检测要求。
关键词:缺陷检测;Halcon;阈值分割;边缘提取中图分类号:TP391.41;TQ174文献标志码:A圆形陶瓷片在生产过程中,由于生产工艺和生产环境的影响,会出现一定比例的缺陷产品。
如果不能及时筛选出来,对于产品后续的使用会存在一定的安全隐患。
目前针对圆形陶瓷片的缺陷筛选主要是人工目检,而人工目检存在检测效率低、人工成本高等缺点。
近年来,随着图像处理技术和机器视觉技术的不断发展,出现了越来越多的机器视觉检测来代替人工目检的情况。
Halcon是由德国MVTec公司研发的机器视觉图像处理软件,提供了全面的图像处理函数库。
本文基于Halcon算法平台,主要研究了圆形陶瓷片表面的气泡、斑点、粉尘和炸裂等缺陷的图像处理算法。
1缺陷分类及检测流程圆形陶瓷片在生产线上通过面阵CCD进行图像采集,在Halcon软件上进行处理、分析和检测[1]o 圆形陶瓷片的表面缺陷主要包括气泡、斑点、粉尘和炸裂4种,缺陷特点及分类如表1所示。
表1缺陷分类及特点缺陷类型缺陷出现位置缺陷特点气泡外环白色缺损,区域图像灰度比周围背景图像大10以上斑点大内环黑色缺损,区域图像灰度比周围背景图像小15以上粉尘大内环边缘黑色缺陷,区域内连续多个面积大于10的黑色缺陷炸裂内孔边缘白色缺损,内孔边缘出现的裂缝,区域裂缝长度大于5圆形陶瓷片缺陷检测流程如图1所示,检测步骤主要包括:1)利用图像灰度化和增强技术,将原始图片进行预处理;2)利用阈值分割的方法提取图片中各类缺陷对应的感兴趣区域ROI(Region of收稿日期:2020-06-10基金项目:广东省普通高校科研资助项目(2019KZDZX1034)作者简介:贺潇(1996-),男,湖南南县人,佛山科学技术学院硕士研究生。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Halcon学习笔记之缺陷检测(二)例程:detect_indent_fft.hdev说明:这个程序展示了如何利用快速傅里叶变换(FFT)对塑料制品的表面进行目标(缺陷)的检测,大致分为三步:首先,我们用高斯滤波器构造一个合适的滤波器(将原图通过高斯滤波器滤波);然后,将原图和构造的滤波器进行快速傅里叶变换;最后,利用形态学算子将缺陷表示在滤波后的图片上(在缺陷上画圈)。
注:代码中绿色部分为个人理解和注释,其余为例程中原有代码*Initialization(初始化)dev_updata_off() //这一句包含如下三个算子://dev_updata_pc(‘off’) 关闭更新程序计数器//dev_updata_var(‘off’) 关闭更新变量窗口//dev_updata_window(‘off’) 关闭更新图像窗口(即通过命令来显示想要在图像窗口显示的图片)dev_close_window() //关闭活动的图像窗口read_image(Image,’plastics/plastics_01’) //载入图片//参数说明:为读入图片命名(Image)// 文件名(’plastics/plastics_01’)get_image_size(Image,Width,height) //获取图片的长宽;//参数说明:之前读入或生成的图片(Image)// 图片的宽(Width)// 图片的高(Height)dev_open_window(0,0,Width,Height,’Black’,WindowHandle) //打开一个新的图像窗口//参数说明:起始坐标(0,0)// 大小(Width,Height)// 背景颜色(’Black’)// 窗口句柄(WindowHandle)set_display_font (WindowHandle,14,’mono’,’ture’,’false’)//设置不依赖操作系统的字体//参数说明:窗口句柄(WindowHandle)// 字体大小(14)// 字体类型(’mono’)// 是否黑体(’ture’)// 是否倾斜(’false’)dev_set_draw(‘Margin’) //定义区域填充模式//参数说明:填充模式(’Margin’或者’Fill’)dev_set_line_width(3) //设置输出区域轮廓线的线宽//可以修改参数来看最后缺陷区域标示的区别dev_set_color(’red’) //设置一种或者多种输出颜色**Optimize the fft speed for the specific image size(根据指定图像大小进行fft速度最优化)optimize_rft_speed(Width,Height,’standard’) //对指定大小的图片的fft速度进行优化//参数说明:图片大小(Width,Height)// 优化模式(’standard’)**Construct a suitable filter by combining two Gaussian filters(结合两个高斯滤波器构造一*个合适的滤波器)Sigma1 := 10.0Sigma2 := 3.0 //定义两个常量gen_gauss_filter(GaussFilter1,Sigma1,Sigma1,0.0,’none’,’rft’,Width,Height)gen_gauss_filter(GaussFilter2,Sigma2,Sigma2,0.0,’none’,’rft’,Width,Height) //在频域生成两个高斯滤波器//参数说明:生成的高斯滤波器(GaussFilter)// 空域中高斯在主方向上的标准差(Sigma)// 空域中高斯在正交于主方向的方向上的标准差(Sigma)// 滤波器主方向的角度(0.0)// 滤波器的规范(’none’)// 直流项在频域的位置(’rft’)// 图片的大小(Width,Height)sub_image(GaussFilter1,GaussFilter2,Filter,1,0) //两图片相减(灰度)//sub_image(ImageMinuend, ImageSubtrahend : ImageSub : Mult, Add : )//g' := (g1- g2) * Mult + Add//以上为函数原型以及运算公式**Process the images iteratively(对图像进行迭代运算)NumImages := 11For Index := 1 to NumImages by 1 //for循环从1到NumImages,步长为1**Read an image and convert it to gray valuesread_image(Image,’plastics/plastics_’+Index$’02’)rgb1_to_gray(Image,Image) //将原图转化为灰度图,第一个参数为原图*Perform the convolution in the frequency domainrft_generic(Image,ImageFFT,’to_freq’,’none’,’complex’,Width)//对计算一幅图片实部进行快速傅里叶变换 //参数说明:输入的图片(Image) // 傅里叶变换后输出的图片(ImageFFT) // 变换方向(’to_freq’或’from_freq’) //变换因子的规范(’none’) // 输出图片的数据类型(’complex’) //图片的宽(Width)convol_fft(ImageFFT,Filter,ImageConvol) //对图片用一个滤波器在频域进行卷积运算 //参数说明:输入的图片(ImageFFT) // 频域滤波器(Filter) //运算后输出的结果 rft_generic(ImageConcol,ImageFiltered,’from_freq’,’n’,’real’,Width) //对滤波后的图片进行傅里叶反变换**Process the filtered imagegray_range_rect(ImageFiltered,ImageResult,10,10)//用一个矩形掩膜计算像素点的灰度范围 //参数说明:输入的图片(ImageFiltered) // 输出的灰度范围图(ImageResult) // 矩形掩膜大小(10,10)min_max_rect(ImageResult,ImageResult,0,Min,Max,Range)//判断区域内灰度值的最大和最小值 //参数说明:待分析图片区域(ImageResult) // 图片(ImageResult)// 被去除的直方图两边像素点所// 占总像素数的百分比(0)// 得到的最小值最大值及灰度值范围(Min,Max,Range)threshold(ImageResult,RegionDynThresh,max([5.55,Max*0.8]),255)//利用全局阈值对图像进行分割 //参数说明:输入的图片(ImageResult) // 分割后得到的区域(RegionDynThresh) // 阈值(max([5.55,Max*0.8]),255)// 公式:MinGray <= g <= MaxGrayconnection(RegionDynThresh,ConnectedRegions) //计算区域内的连通部分 //参数说明:输入的图片(RegionDynThresh) // 得到的连通区域(ConnectedRegions)select_shape (ConnectedRegions,SelectedRegions,’area’,’and’,4,99999)//根据指定的形态特征选择区域//参数说明:输入的图片(ConnectedRegions)// 满足条件的区域(SelectedRegions)// 将要计算的形态特征(’area’)// 独立特征间的连接关系(’and’)// 特征的最小限制(4)// 特征的最大限制(99999)union1(SelectedRegions,RegionUnion) //返回包含所有区域的集合 //参数说明:包含所有区域的待计算区域的图片(tedRegions) // 所有输入区域合(RegionUnion)closeing_circle(RegionUnion,RegionClosing,10)//用一个圆圈来封闭一个区域 //参数说明:将要被封闭的区域(RegionUnion) // 被封闭的区域(RegionClosing)// 圆圈的半径(10) connection(RegionClosing,ConnectedRegions1)select_shape(ConnectedRegions1,SelectedRegions1,’area’,’and’,10,99999)area_center(SelectedRegions1,Area,Row,Column) //计算区域的面积以及中心位置//参数说明:待计算的区域(SelectedRegions1) // 区域的面积(Area) // 区域中心的行(Row) // 区域中心的列(Column)**Display the resultsdev_display(Image) //显示原图 Number := |Area| //将区域面积赋给Number用于后面检查是否存在缺陷 if(Number)gen_circle_contour_xld(ContCircle,Row,Column,gen_tuple_const(Number,30),gen_tuple_const(Number,0), gen_tuple_const(Number,rad(360)),’positive’,1)//构造一个与设定的圆弧或圆相一致的边界//参数说明:生成的边界(ContCircle)// 圆弧或圆的中心坐标(Row,Cloumn)// 圆弧或圆的半径(gen_tuple_const(Number,30))// 圆弧或圆的起始角度(gen_tuple_const(Number,0))// 圆弧或圆的结束角度(gen_tuple_const(Number,rad(360)))// 不明白是什么意思// 相邻两点间的距离(1)ResultMessage := [‘Not OK’,Number + ‘defect(s) found’]Color := [‘red’,’black’]dev_display(ContCircle) elseResultMessage := ‘OK’Color := ‘forest green’endifdisp_message(WindowHandle,ResultMessage,’window’,12,12,Color,’ture’)if(Index#NumImages)disp_continue_message(WindowHandle,’black’,’ture’)stop()endifendfor算法讲解:在实际的表面缺陷检测系统中,针对的检测表面很多是具有一定纹理的比如:布匹、皮革、塑料等,针对这一类表面的检测就不能单纯依靠帧差或者背景差来完成,因为背景的纹理不可能和当前图像的纹理完全相同。