【CN109859171A】一种基于计算机视觉和深度学习的楼面缺陷自动检测方法【专利】
基于深度学习的带钢表面缺陷检测系统的研究与实现
基于深度学习的带钢表面缺陷检测系统的研究与实现基于深度学习的带钢表面缺陷检测系统的研究与实现一、引言带钢是制造钢材产品的重要材料之一，在钢铁生产和加工过程中扮演着重要的角色。
然而，由于制造和运输过程中的因素，带钢表面往往会存在各种各样的缺陷，例如划痕、凹陷、氧化等。
这些缺陷如果无法及时发现和处理，将会严重影响带钢的品质和使用寿命，甚至导致产品质量问题和经济损失。
因此，研究和实现一种基于深度学习的带钢表面缺陷检测系统具有重要的理论和实际意义。
二、深度学习在图像识别领域的应用深度学习是一种人工智能的方法，它通过模拟人脑神经网络的结构和功能来实现图像和数据的自动识别和分析。
在图像识别领域，深度学习已经取得了巨大的成功，例如在物体检测、人脸识别、自动驾驶等领域都有广泛的应用。
三、带钢表面缺陷检测系统的设计与实现基于深度学习的带钢表面缺陷检测系统的设计和实现主要包括以下几个关键步骤：1. 数据采集与预处理：利用高清摄像设备对带钢表面进行拍摄，将获得的图像数据进行去噪、灰度化、尺寸归一化等处理，以提高数据的质量和一致性。
2. 数据标注与训练集构建：人工对带钢图像进行标注，标注出图像中存在的不同缺陷区域，并将标注结果与相应的图像进行关联。
构建包含大量带钢图像和相应标注信息的训练集，作为后续深度学习模型的训练数据。
3. 深度学习模型的选择与训练：根据带钢表面缺陷检测的特点和需求，选择适合的深度学习模型，如卷积神经网络（Convolutional Neural Network，CNN）。
利用训练集对选择的模型进行训练和优化，以提高模型的准确性和泛化能力。
4. 缺陷检测与分类：将训练得到的深度学习模型应用于实际的带钢图像中，通过图像的特征提取和比对，检测出图像中存在的缺陷区域，并根据缺陷的类型进行分类。
通过将缺陷与标注信息进行比对，判断出缺陷的位置和严重程度。
5. 结果评估与优化：对检测结果进行评估和统计分析，计算系统的准确率、召回率、误报率等指标，根据评估结果对系统进行优化和调整，以提高系统的检测性能和效果。
基于深度学习的点胶缺陷检测系统设计
基于深度学习的点胶缺陷检测系统设计基于深度学习的点胶缺陷检测系统设计摘要：随着工业自动化程度的不断提高，点胶作为重要的加工工艺在工业生产中的应用越来越广泛。
但是在实际应用中，由于环境因素和操作原因等多种因素，点胶过程中会引入各种缺陷，导致产品质量下降。
因此，研发一种高效准确的点胶缺陷检测系统具有十分重要的现实意义。
本文提出了一种基于深度学习的点胶缺陷检测系统，通过使用卷积神经网络（CNN）实现点胶图像中有缺陷区域的准确定位和分类。
其中，我们的系统采用Yolo算法进行目标检测，设计了一种支持多尺度的模型，在不同场景下准确检测出缺陷目标。
同时，我们对CNN模型进行了深入优化，提出了一种加强损失函数的方法，并对数据集进行了合理构建，有效提升了模型的检测效果。
实验结果表明，本文所提出的点胶缺陷检测系统具有较高的准确率和实用价值，为点胶质量控制及生产效率提升提供了可行的技术手段。
关键词：点胶；缺陷检测；深度学习；卷积神经网络；Yolo 算1.引言点胶技术是一种广泛应用于电子、汽车、航空航天等领域的精细加工工艺，具有高精度、高可靠性、高灵活性等优点。
但是在点胶过程中，常常会出现各种缺陷，如气泡、漏胶、堵胶等，这些缺陷会对产品的性能和可靠性造成不良影响，甚至导致产品失效，因此点胶缺陷检测是点胶技术中十分关键的环节。
传统的点胶缺陷检测方法通常是利用人眼进行检查，由于人眼检测的主观性和疲劳性，会严重影响检测效率和准确性。
随着深度学习技术的发展，基于深度学习的点胶缺陷检测方法逐渐成为研究热点。
深度学习算法可以从大量数据中学习到特征，可以有效解决传统方法中特征提取难、噪声影响大等问题。
本文提出了一种基于深度学习的点胶缺陷检测系统，通过采用卷积神经网络（CNN）对点胶图像进行处理，实现了点胶缺陷的准确定位和分类。
其中，我们采用了Yolo算法进行目标检测，设计了一种支持多尺度的模型，在不同场景下准确检测出缺陷目标。
同时，我们对CNN模型进行了深入优化，提出了一种加强损失函数的方法，并对数据集进行了合理构建，有效提升了模型的检测效果。
一种基于深度信息的障碍物检测方法
第 ８期
计 算 机 技 术 与 发 展
ＣＯＭＰ ＵＴＥ Ｒ Ｉ ＥＣ ＨＮＯＬ ＯＧＹ ＡＮＤ ＤＥＶＥＬ ＯＰ ＭＥＮＴ
２ ０ １ ５年 ８ 月
Ｖ０ １ ． ２５ Ｎｏ ． ８ Ａｕ ｇ ． ２ ０１ ５
一
种基 于深 度信 息 的 障碍 物 检 测 方 法
用Ｋ ｉ ｎ ｅ ｃ ｔ 可以有效地对地面障碍物进行检测并提取出道路信息 ， 可为室内移动机器人提供 良好的导航信息。
关键词 ： 深度 数据 ； 视差 图 ； 最ｄ ｘ －乘； 最 大类 间方差 法 ； 障碍物 检测
中图分 类号 ： Ｔ Ｐ ３ ０ １ 文献标 识码 ： Ａ 文章编 号 ： １ ６ ７ ３ — ６ ２ ９ Ｘ（ ２ ０ １ ５ ） ０ ８ — ０ ０ ４ ３ — ０ ５ ｄ ｏ ｉ ： １ ０ ． ３ ９ ６ ９ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ６ ７ ３ — ６ ２ ９ Ｘ ． ２ ０ １ ５ ． ０ ８ ． Ｏ Ｏ ９
ａ ｎ ｄ Ａｕ ｔ ｏ ｍａ ｔ ｉ ｏ ｎ ， Ｓ ｈ ｎｇ ａ ｈ ａ ｉ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ， Ｓ ｈ ｎｇ ａ ｈ ｉ ａ ２ ０ ０ ０ ７ ２， Ｃｈ ｉ ｎ ａ；
２ ． Ｄａ ｔ ａ ｎ ｇ Ｓ ｈ ａ ａ ｎ ｘ ｉ Ｆ ｕ ｇ Ｉ ｌ Ｐ ｏ ｗ ｅ ｒ Ｇ ｅ ｎ ｅ ｒ ａ ｉ ｔ ｏ ｎ Ｃ ｏ ． ， Ｌ ｔ ｄ ． ， Ｘｉ ’ ａ ｌ ｌ பைடு நூலகம் ７ １ ９ ４ ０ ５ ， Ｃ ｈ ｉ ｎ ａ ）
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ： Ｉ ｌ ０ ｅ ｎ ｈ ａ ｎ ｃ ｅ ｏ ｂ ｓ ｔ ａ ｃ ｌ ｅ ｄ ｅ ｔ ｅ ｃ ｉｏ ｔ ｎ ａ ｎ ｄ ｒ ｏａ ｄ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ ａ ｂ ｉ ｌ ｉ ｔ ｙ ｏ ｆｔ ｈ ｅｉ ｎ ｄ ｏ ｏｒｍｏ ｂ ｉ ｌ ｅ ｒ ｏ ｂ ｏ ｔ ， ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｒ ｔ ｏ ｂｓ ｔ ａ ｃ ｌ ｅ ｄ ｅ ｔ ｅ ｃ ｉｏ ｔ ｎ ｍｅ ｔ ｈ ｏ ｄ ｂ ａ ｓ ｅ ｄ
基于深度学习的机器人电路板自主故障检测系统
基于深度学习的机器人电路板自主故障检测系统
黄威;袁廷翼;邓百川;邹文峰;张锋;曹晖
【期刊名称】《电工电能新技术》
【年(卷),期】2022(41)2
【摘要】机器人在生产制造以及使用过程中,由电路板问题导致机器人故障的情况屡见不鲜,因此印刷电路板的故障检测是保障机器人可靠性的关键。
基于深度学习的电路板故障缺陷检测方法不仅能够有效克服人工目视检测和线上仪器检测的弊端,提高效率,同时能为生产节省很大的成本。
随着深度学习在目标检测领域的不断发展,深度学习网络可以快速准确地从图像中识别目标,并且具有较强的鲁棒性和可迁移性。
本文针对电路板的故障检测问题,提出了基于深度学习的机器人电路板自主故障检测系统,该系统通过注意力网络以及多尺度特征融合,大大提高了模型对细小故障的检测召回率,且结合了级联神经网络,提升了故障的定位精度。
该模型在电路板故障检测测试数据集上的精度达到平均准确率为99.4%,满足电路板缺陷检测的实际检测需求。
【总页数】9页(P72-80)
【作者】黄威;袁廷翼;邓百川;邹文峰;张锋;曹晖
【作者单位】广东省惠州供电局;西安交通大学电气工程学院
【正文语种】中文
【中图分类】TP24
【相关文献】
1.基于红外热像仪的印刷电路板故障检测系统设计
2.基于深度学习的机器人电气故障检测与诊断研究
3.基于自主定位导航和深度学习的视觉感知的巡检机器人检测方法
4.基于自主定位导航和深度学习的视觉感知的巡检机器人检测方法
5.基于虚拟仪器的电路板故障检测与诊断系统的研究
因版权原因，仅展示原文概要，查看原文内容请购买。
基于人工智能的表面缺陷检测算法研究
基于人工智能的表面缺陷检测算法研究在制造业领域，表面质量是产品质量的重要指标之一。
然而，传统的表面缺陷检测方法通常需要大量的人力和时间成本，并且容易受到主观因素的影响。
随着人工智能技术的快速发展，基于人工智能的表面缺陷检测算法成为了一种新的解决方案。
人工智能技术的发展使得计算机能够模拟人类的智能行为，具备学习和推理的能力。
基于人工智能的表面缺陷检测算法可以通过机器学习和深度学习的方法，从海量的图像数据中学习和识别表面缺陷，并且具备较高的准确率和效率。
首先，基于人工智能的表面缺陷检测算法通常需要一个大规模的训练数据集。
这个数据集包含了正常和有缺陷的表面图像样本。
通过使用这个数据集，算法可以学习到各种类型的表面缺陷，并能够准确地区分正常和有缺陷的表面。
其次，基于人工智能的表面缺陷检测算法通常采用深度学习的方法。
深度学习是一种模仿人脑神经系统工作原理的机器学习方法。
通过构建深度神经网络模型，算法可以从输入的图像数据中自动提取特征，并进行分类或回归预测。
对于表面缺陷检测来说，深度学习可以帮助算法自动学习表面缺陷的特征表示，从而实现准确的检测。
另外，基于人工智能的表面缺陷检测算法还可以结合传感器和图像处理的技术。
传感器可以采集表面图像数据，并将其转化为数字信号，然后通过图像处理算法对这些信号进行分析，提取有用的特征信息。
然后，这些特征信息可以输入到人工智能的算法中进行学习和预测。
在实际应用中，基于人工智能的表面缺陷检测算法已经取得了一些令人瞩目的成果。
例如，在电子产品制造业中，利用人工智能算法可以实现对电子元件表面的缺陷进行快速准确的检测。
在汽车制造业中，人工智能算法可以帮助实现对车体表面的缺陷进行实时监测和检测。
这些应用不仅提高了产品的质量，同时还提高了生产效率和降低了成本。
然而，基于人工智能的表面缺陷检测算法仍面临一些挑战。
首先，训练数据的质量和规模直接影响算法的性能。
如果训练数据中的样本过于单一或缺乏代表性，算法可能无法准确地区分正常和有缺陷的表面。
基于深度学习算法的装配式建筑施工质量检测
基于深度学习算法的装配式建筑施工质量检测随着城市化进程的推进，装配式建筑在近年来得到了广泛应用。
相比传统建筑方式，装配式建筑具有施工周期短、质量可控、环保节能等优势。
然而，在实际的施工过程中，如何保证装配式建筑的质量成为一项关键挑战。
传统的人工检测方式既费时又费力，并且存在主观判断性强的问题。
为解决这一问题，深度学习算法应运而生，成为一种有效的装配式建筑施工质量检测手段。
一、深度学习在装配式建筑施工质量检测中的应用深度学习是一种机器学习方法，通过模拟人脑神经网络结构和功能实现对数据进行分析与处理。
在装配式建筑施工质量检测中，可以利用深度学习算法对图像进行处理和分析，从而实现对各个构件的质量评估。
1. 装配构件缺陷检测装配式建筑通常包含大量预制构件，在制造和运输过程中难免会出现一些缺陷。
深度学习算法可以通过对构件图像进行训练，识别和检测出各种缺陷，例如表面裂纹、破损、变形等。
利用这些技术，可以及时发现构件的问题，并采取有效措施进行修复或更换，确保整个建筑的质量。
2. 焊缝质量评估装配式建筑中焊接是一个重要的工艺环节，焊接缺陷可能导致整体强度不足、漏水等问题。
深度学习算法可以通过对焊缝图像进行分析和处理，判断焊接质量是否合格。
例如，可以检测焊接处是否存在裂纹、气孔等问题。
如果存在问题，及时进行修正，以确保装配式建筑在使用过程中的安全性。
二、基于深度学习算法的装配式建筑施工质量检测方法1. 数据集构建与准备为了进行深度学习算法的训练与应用, 需要构建一个包含足够多样本数据的数据集。
首先需要收集大量不同状态下的装配式建筑图像，并根据实际需要标注相应信息。
例如，在构件缺陷检测中，需要标注每个构件的位置、缺陷具体类型等信息。
在焊缝质量评估中，需要标注焊接处是否合格等信息。
确定好数据集后，还需要对图像进行预处理和增强，以提高算法的准确率。
2. 模型训练与优化选择适当的深度学习模型对数据集进行训练。
常用的深度学习模型包括卷积神经网络（Convolutional Neural Networks, CNN）和循环神经网络（Recurrent Neural Networks, RNN）等。
基于深度学习的焊接缺陷检测技术研究
基于深度学习的焊接缺陷检测技术研究在工业制造领域中，焊接是常见的连接方法，但是焊接质量会影响产品性能和安全。
因此，对焊接质量进行检测尤为重要。
传统的焊接缺陷检测方法主要依靠人力进行目视检测，这种检测方法有低效、低准确性和主观性等问题。
近年来，随着深度学习技术的发展，基于深度学习的焊接缺陷检测技术受到越来越多的关注和研究。
一、深度学习技术在焊接缺陷检测中的应用深度学习是一种机器学习的方法，可以通过对大量数据进行学习，构建出具有多层结构的神经网络。
相比传统的机器学习方法，深度学习具有更强的自适应和自学习能力。
在焊接缺陷检测中，深度学习技术可以通过对焊接图像的学习和提取，实现自动化的缺陷检测。
基于深度学习的焊接缺陷检测技术主要分为两类：一类是利用卷积神经网络（CNN）进行图像特征提取和分类；另一类是基于生成对抗网络（GAN）生成合格和不合格的焊缝图像，并通过区分器对生成的图像进行分类。
其中，以CNN为基础的深度学习算法应用更为广泛。
二、基于深度学习的焊接缺陷检测技术的优势和局限性相比传统的焊接缺陷检测方法，基于深度学习的方法具有以下优势：1. 提高检测准确率。
深度学习算法具有更强的自适应和自学习能力，可以通过大量的标注数据进行训练，提高检测准确率。
2. 减少人力成本。
传统的检测方法需要依赖专业技术人员进行目视检测，而基于深度学习的方法可以实现自动化检测，减少人力成本。
3. 提高检测效率。
基于深度学习的方法可以对大批量数据进行快速处理，减少检测时间。
但是，基于深度学习的焊接缺陷检测技术也存在一些局限性：1. 对标注数据要求高。
深度学习算法需要大量的标注数据进行训练，而焊接缺陷图像数据的获取和标注需要一定的专业技术和人力成本。
2. 对模型参数调整要求高。
深度学习算法具有多个参数需要进行调整，对算法工程师的技术要求较高。
3. 对硬件计算要求高。
深度学习算法的计算量较大，需要使用高性能的计算设备进行处理。
三、未来发展趋势基于深度学习的焊接缺陷检测技术在智能制造和工业安全方面具有广阔的应用前景。
基于机器视觉技术的物体表面缺陷检测.
基于机器视觉技术的物体表面缺陷检测何小利1, 宋钰2(1. 四川理工学院计算机学院, 四川自贡643000; 2. 四川理工学院网络中心, 四川自贡643000;摘要:本文对物体表面缺陷进行研究和检测. 而检测的方法是采用LED 环形灯光直接暗视场正面照明方式来提取插座面板划痕图像. 具体过程是使用动态阈值分割图像, 并采用放射变换、区域特征处理及连通区域提取等技术来检测出插座面板划痕. 关键词:机器视觉; 物体表面; 缺陷检测中图分类号:T P393文献标识码:A文章编号:1009-4970(2011 02-0064-050 引言在传统的产品生产过程中, 一般情况下对产品的表面缺陷检测是采用人工检测的方法. 随着科学技术的不断发展, 特别是计算机技术的发展, 出现了计算机视觉检测技术. 利用这种新技术设计出来的系统不受恶劣环境和主观因素的影响, 能快速、准确地检测产品的质量, 完成人工无法完成的检测任务. 机器视觉检测结合了计算机图像处理和模式识别理论, 它综合了计算机技术、数据结构、图像处理, 模式识别和软件工程等不同领域的相关知识.一个典型的机器视觉系统应该包括以下五大块, 照明、镜头、相机、图像采集卡、视觉处理器.1 物体表面缺陷检测物体表面缺陷检测是机器视觉的一种典型应用. 本文以插座面板划痕检测为例, 通过采用LED 环形灯直接暗视场正面照明方式采集图像, 然后使用动态阈值分割法将插座面板区域中划痕检测的感兴趣区域提取出来, 再通过使用区域特征、区域形态学对插座面板区域使用腐蚀运算去掉分割区域中杂点和小的突出物, 确保计算上有足够的精度, 最后使用放射变换、图像平滑、连通区域提取等算法检测出划痕并显示其结果(见图1.图1 插座面板划痕检测流程图1. 1 图像获取照明的方向性通常有两种:漫射和直接照射.漫射时, 光在各个方向的强度几乎是一样的. 直接照射时, 光源发出的光集中在非常窄的空间范围内. 本文检测对象是插座面板划痕, 由于此类缺陷检测面积小, 划痕不明显等条件, 明场照明方式下, 难以得到理想的划痕图像. 因此本次检测采用LED 环形灯直接暗视场照明方式, 环形光与物体表面呈非常小的角度, 这样可以突出被测物的缺口及凸起, 所以划痕、纹理或雕刻文字等被增强, 看得更加清晰(见图2.收稿日期:2010-07-03基金项目:四川理工学院网格计算人才引进项目(2008RCY J04 作者简介:何小利(1982-, 女, 四川南充人, 硕士, 助教.2011年2月第30卷第2期洛阳师范学院学报Journa l o f Luoyang N or m a lU n i versityFeb . , 2011V o. l 30No. 2图2 直接暗视场正面照明1. 2 目标分割采集到的图像不能提供图像中包含物体的信息. 为了得到图像中的物体信息, 必须进行图像分割, 图像分割就是将图像划成一些区域, 在同一区域内, 图像的特征相近; 而不同的区域内, 图像特征相差较大. 图像特征可以是图像本身的特征, 如像素的灰度、边缘轮廓和纹理等. 图像阈值化分割是一种最常用, 同时也是最简单的图像分割方法. 图像阈值化的目的是按照灰度级, 对像素集合进行一个划分, 得到的每个子集形成一个与现实景物相对应的区域, 各个区域内部具有一致的属性, 而相邻区域布局有这种一致属性. 阈值分割操作被定义为S ={(r , c R |g m in f r , c g max }(1 因此, 阈值分割将图像RO I R 内灰度值处于某一指定灰度值范围内全部点选到输出区域S 中. 使g m in =0或g m ax =2b-1. 如果光照能保持恒定, 阈值g m in 和g max 能在系统设置时被定选且永远不用被调整. 阈值分割分为固定阈值分割和动态阈值分割. 动态阈值分割将图像与其局部背景进行比较的操作被称为动态阈值分割处理, 用f r , c 表示输入图像, 用g r , c 表示平滑后的图像, 则对亮物体的动态阈值分割处理如下S ={(r , c R |f r , c -g r , c g d iff }(2而对暗物体的动态阈值分割处理是S ={(r , c R |f r , c -g r , c -g d iff }(3 在动态阈值分割处理中, 平滑滤波器的尺寸决定了能被分割出来的物体的尺寸. 如果滤波器尺寸太小, 那么在物体的中心估计出的局部背景将不理想., 选择动态阈值分割方式来进行处理. 此时, 图像g r , c 代表理想物体, 即无缺陷物体的图像. 为检测出同理想物体的偏差, 我们仅需要使用等式(公式2 或等式(公式3 找到图像f r , c 中太亮的那些像素. 1. 3 感兴趣区域提取经过前面的处理, 可以得到从图像中提取到的区域或亚像素精度轮廓. 但它们只包含了对分割结果的原始描述. 后面还必须从分割结果中选出某些区域或轮廓, 作为分割结果中不想要的部分去除. 到目前为止, 最简单的区域特征是区域的面积:a =R =(r , c R1=ni-1ce i-cs i +1(4由上式可知, 区域的面积a 就是区域内的点数|R|. 如果区域用一幅二值图像表示, 那么用公式4中的第一个求和等式计算区域的面积; 如果区域是用行程编码表示的, 那么用公式4中的第二个求和等式计算区域的面积. 一个区域能够被视为其所有行程的一个并集, 而每个行程的面积是极容易计算的. 注意第二个累加式的项比第一个累加式的少很多. 所以, 区域的行程表示法可以使区域面积的计算速度快很多, 这个特点对几乎所有的区域特征都适用.1. 4 划痕检测通过前面一系列的处理过后, 可以对感兴趣区域进行缺陷检测, 需要再次使用动态阈值分割操作来检测缺陷, 可以用中值滤波器来估计背景.中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个拎域中各点值的中值代替, 让周围的像素值接近的真实值, 从而消除孤立的噪声点. 方法是去某种结构的二维滑动模板, 将板内像素按照像素值的大小进行排序, 生成单调上升(或下降的为二维数据序列. 阈值分割的结果中含有噪声, 这并不是最后结果. 噪声的处理, 通过使用图像平滑来进行抑制. 1. 5 检测结果通过上述操作, 插座面板划痕检测基本结束, 由于在去除噪声的过程中, 所有少于4个像素的连通区域被看作噪声并被去除. 为了区分噪声和缺陷, 假设噪声是均匀分布的, 而同属一个划痕的缺陷是彼此靠近的, 因此, 可以通过膨胀将缺陷区域中小的缝隙闭合. 为了能够计算出连通区域, 必须定义合适两个像素应被视为彼此连通.以上便是本次检测过程, 通过上述操作, 就能65 洛阳师范学院学报2011年第2期2 检测过程详细实现2. 1 读入图像从指定目录中连续读入插座面板划痕图像的模板, 并对图像大小进行设置, 运行结果如图3所示, 使用LED 环形光直接暗视场照明所得插座面板划痕图.图3 插座面板划痕图2. 2 目标分割如图4所示, 划痕在黑色背景区域中显示为高亮, 但是插座面板的边缘以及插座面板平面部分中的4个内部正方形的边缘也是高亮的, 为了区分划痕与插座面板的边缘, 首先分割出亮的边缘区域. 然后从插座面板的区域中减去分割出的区域, 从而将划痕检测的感兴趣区域缩小到相减后的区域.图4 动态阈值操作结果2. 3 感兴趣区域提取通过以上处理, 下一步来确定需要检测的平面, 因此要对感兴趣区域进行提取. 需要从分割结果中去掉插座面板的亮边界和中间4个小的正方形的亮边界. 首先必须知道插座面板在图像中的方向和大小,为得到插座面板的方向和尺寸, 再次使用区域形态学分割出内部的4个正方形. 首先使用2次闭运算填充前面分割出的内部正方形边缘上的小空洞, 内部正方形边界上有缝隙. 闭运算的结果示于图.图5 图6图5分割区域的细节; 图6经过闭运算的结果, 缝隙成功闭合.至此, 划痕任在分割出的亮的边界区域中. 为了能够检测出划痕, 需要将划痕从分割结果中分离出来. 由于已知内部正方形的边界区域的形状, 可以使用合适的结构元素开运算去除划痕. 为此生成一个结构元素, 由二个轴平行的矩形组成, 代表内部正方形的两个对边.图7和图8为产生的两个结构元素. 当在合适的方向生成矩形时, 结构元素可以不作旋转. 但是需要根据方向变换矩形中心.图7 对应内部正方形边界上、下的结构元图8 对应内部正方形边界左、右的结构元图9 结构元素图图9是使用结构元图7和图8进行开运算的结果. 开运算可以用作模板匹配, 会返回输入区域内所有与结构元素相匹配的点.966 洛阳师范学院学报2011年第2期期待的, 结果含有内部正方形边界. 然而结果任含有插座面板部分外边界, 这是因为内正方形到插座面板边界的距离与内正方形的边长大小一样. 为了去掉为边界部分, 取开运算的结果和腐蚀后的插座面板区域交集.这样得到仅含有4个内部正方形边界的区域Reg i o nSquares . 最后要检查的表面就是插座面板区域与内正方形边界的差.在计算差值之前, 使用圆形结构元素对插座面板区域进行腐蚀以去除边界. 圆的半径为Border W i d th 与Bo r der T o lerance 的和, 这两个值都是事先定义的. 半径加上Border Tolerance 是为了检测时去掉与边界非常靠近的像素, 这些像素灰度会受到边界的影响, 可能被错误地判断缺陷. 同理, 代表内正方形边界区域也要膨胀一些. 如图10和图11显示得到的含有插座面板检测平面的感兴趣区域Re gionSurface . 注意插座面板白色边界和内正方形白色边界没有包含在区域中.图10 含有插座面板平面的感兴趣区域(黑色图11 感兴趣区域边界用白色叠加到原始图像上2. 4 划痕检测经过上面的处理, 现在可以对感兴趣区域进行缺陷检测了:再次使用动态阈值分割操作来检测缺陷, 此时可以用中值滤波器来估计背景. 基于已知的最大划痕宽度Scratch W idth M ax , 利用Scratch W i d th M ax 作为中值滤波器半径去除所有划痕. 由, 域, 可以容易地使用预先定义的ScratchGray D ifM f i n作为阈值分割. 图12(a 为动态阈值分割的结果, 如图所示, 结果中含有的噪声, 需要在后面处理中去除掉.(a 动态阈值分割结果以白色叠加到原始图像上,对比度已减小, 区域中有噪声.(b 去除(a 中小于4个像素的连通区域后的结果,并不是所有噪声都去掉了.(c 表面检测结果, 检测出的划痕以白色显示.图12 检测过程及检测结果图2. 5 检测结果在这种情况下, 所有少于4个像素的连通区域被看做噪声并被去除. 但是从图12(b 中可以看出并不是所有噪声都完全被去除了, 进一步提高阈值可能会同时去除部分不连续的缺陷区域. 为了区分噪声和缺陷, 假设噪声是均匀分布的, 而同属一个划痕的缺陷是彼此靠近的, 因此, 可以通过膨胀将缺陷区域中小的缝隙闭合.67 洛阳师范学院学报2011年第2期胀后的区域重新计算连通区域. 为了得到缺陷的原始形状, 取未膨胀前的原始区域与连通区域的交集. 注意交集运算不影响各成分的连通性, 于是, 通过膨胀仅增加了连通区域的轮廓. 最后选出所有比预定最小划痕大的区域. 最终显示结果显示于图12(c.3 结语本文从实际出发, 结合HALCON 软件, 完成基于机器视觉技术的插座面板划痕检测. 本文通过图像处理的过程包括预处理、分割、平滑、特征提取等. 最后检测出插座面板上面的缺陷, 并识别缺陷. 在整个过程中, 对插座面板图像做跟踪实验, 对各种不同的算法做出分析, 选取最合适的算法进行处理, 以保证算法的可靠性. 由于插座面板缺陷多种多样, 本文只是完成了比较简单的缺陷检测, 为达到功能的完善性, 应不断的增加检测其他缺陷类型的功能. 参考文献[1]李国辉, 苏真伟, 晏开华, 黄明飞. 可疑目标区域的机器视觉检测算法[J].四川大学学报(工程科学版 , 2010, (1 .[2]唐锐, 文忠波, 文广. 一种基于BP 神经网络的模糊P ID 控制算法研究[J].机电产品开发与创新, 2008, (2 .[3]姚迅, 李德华, 黄飞, 石永辉. 基于视觉注意机制的红外图像小目标检测方法[J].武汉大学学报(工学版 , 2006, (6 .[4]怎样更好地推广机器视觉技术[J].现代制造, 2008,(3 .[5]覃仁超. 基于机器视觉的图像识别技术应用[J].电气时代, 2006, (2 .[6]姆比, 罗四维, 须德. 使用反馈信号的竞争学习算法[J].北京交通大学学报, 1993, (4.[7]陈道佳, 陈兆仁. 基于神经网络的开关电器设计与算法[J].微计算机信息, 2004, (8 .[8]朱邦太, 杨晓宇, 张自强. BP 网络的一种泛化算法[J].洛阳工学院学报, 1998, (4.[责任编辑胡廷锋]The D etecti on of Surface D efect Based on M achine V isi on Technol ogyHE X iao li 1, SONG Yu2(1. Schoo l o f Co mputer Science , S ichuan U niversity o f Science &Eng i n eering , Z i g ong 643000, Ch i n a ; 2. Net w ork Adm inistrati o n, S ichuan U niversity o f Science &Eng i n eering , Z i g ong 643000, Ch i n a Abst ract :Th is paper i n troduces a surface defect on the research and testi n g . The detecti o n m ethod is to use LED ring li g h ts d irect light dar k fie l d positi v e w ay to extract the socket pane lscratch i m age . Specific process is the use of dyna m ic t h reshold segm entati o n i m age , and usi n g rad i o acti v e transfo r m ation , the reg i o na l characteristics o f t h e reg i o n extraction processing and connecti v ity techno l o g ies to detect t h e socket panel scratches . K ey w ords :m ach i n e v i s ion ; surface ; defect detection68 洛阳师范学院学报2011年第2期。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(10)申请公布号 CN 109859171 A (43)申请公布日 2019.06.07
( 54 )发明 名称 一种基于计算机视觉和深度学习的楼面缺
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910010889 .4
(22)申请日 2019 .01 .07
(71)申请人 北京工业大学 地址 100124 北京市朝阳区平乐园100号
(72)发明人 孙光民 陈佳阳 白云鹍 关世奎 李煜
(74)专利代理机构 北京思海天达知识产权代理 有限公司 11203
2
CN 109859171 A
权 利 要 求 书
2/2 页
wcrop＝wssd hcrop＝hssd (2)然后根据剪裁框中心坐标计算剪裁框的4个参数： wcrop＝wssd hcrop＝hssd xcrop＝CXcrop-0 .5*wcrop ycrop＝CYcrop-0 .5*hcrop。 3 .根据权利要求1所述的方法，其特征在于楼面图像的墙体区域提取具体步骤如下： 当新拍摄的一组楼体照片需要进行缺陷检测时 ，需要先应 用传统图 像处理方法将待检 测的楼面区域与非墙体区域进行分割，非墙体的分割要采用基于HSV颜色空间的阈值分割 算法，算法具体执行如下： (1)首先将原始图像I从RGB空间转换为HSV空间； (2)设定非墙体每一点(x，y)在H通道上的分量H(x，y)∈(Tl，Th) ，其中Tl和Th分别为设定 的上下限 ；其中设定Tl＝100 ，Th＝124 ， (3)以此二者为阈值进行分割，得到相应的二值图像I_B；
陷自动检测方法 ( 57 )摘要
本发明公开了一种基于计算机视觉和深度 学习的楼面缺陷自动检测方法，包括：在检测前， 先利用已有楼面缺陷图像制作样本，并依据迁移 学习理论进行楼面缺陷检测模型的 训练 ；检测流 程是首先依据传统图像处理对楼面图像墙体区 域进行分割提取 ；然后对楼面图像的墙体区域分 块 ，应 用模型对每一子块进行检 测 ，可以 采 用并 行处理的方式加速；接着对子块检测结果进行整 合与转换 ，标注出缺陷 在原始图 像上的 位置 ；最 后对检测结果进行修正，并制作新样本用于模型 的再次训练，以提升模型的检测性能 ；本发明解 决了现有技术中楼面图像缺陷检测的速度与精 度难以 兼得 ，且检 测算法适应能 力不强 ，检 测效 果易受照片拍摄环境影响的难题。
(4)然后通过形态学操作处理修整I_B； (5)设I_B有K个连通域，计算各连通域Pk的面积，设定阈值T，保留面积超过T的连通域， 舍弃面积未超过阈值的连通域，面积阈值T＝300，得到楼面图像的墙体区域的掩膜I_Mask。 4 .根据权利要求1所述的方法，其特征在于楼面图像墙体区域分块具体步骤如下： 采 用重叠式滑窗分割原始大图 ；以 原图的 左上 角为起始点 ，用固定尺寸、固定滑动步长 的窗口 进行图 像的 分块 ；窗口的 尺寸 (WW ，WH) 为SSD模型的 输入尺寸 ，其中WW为窗口 宽度 ，WH 为窗口高度；水平和竖直方向的滑动步长分别为StepW和StepH皆设为窗口对应尺寸的一半； 是否对滑窗内的图像进行保存则需要根据第三步得到的楼体照片的墙体掩膜进行判断 ；如 果一个窗口 完全处于非楼体区域 ，则不 用保存 ；否则 ，将每次 滑窗内的图 像保存下来 ，并记 录其左上角点在原图中的坐标信息，即(Xsub，Ysub)。
权利要求书2页 说明书7页 附图9页
CN 109859171 A
CN 109859171 A
权 利 要 求 书
1/2 页
1 .一种基于计算机视觉和深度学习的楼面缺陷自动检测方法，其特征在于步骤如下： 一 .模型预训练 对SSD模型进行预训练，得到模型初始化参数； 二 .制作标注样本 首先对楼面图像进行缺陷位置及种类的标注；然后依据SSD模型的输入尺寸，以缺陷为 中 心将原图 裁剪成小图 像块 ，同时应 用数据扩 增技术 增加其数量 ，将其作为该模型的 训练 和验证样本集； 三 .模型迁移学习 使预训练好的SSD模型在上述样本集上进行迁移学习，得到用于墙面缺陷检测的模型； 四 .楼面图像的墙体区域提取 对新拍摄的楼面图像I进行墙体与非墙体的区域分割，得到墙体掩膜I_Mask； 五 .楼面图像墙体区域分块 对楼面图 像I进行重叠式 分块 ，依 据掩膜对分块进行筛选 ，舍弃处 于非 墙体区 域的 分 块，得到待检测分块集I_Sub 六 .对分块进行缺陷检测 应 用训练 好的 SSD对I_ Su b中的 各分 块 进行 检 测 ，得 到每个分 块中 缺陷的 种类以 及位 置； 七 .分块检测结果整合 将上述分块检测结果进行拼接整合，直接将缺陷的种类与位置对应到原始大图I上； 八 .修正检测结果并制作新样本进一步优化模型 去掉不包含缺陷的检测框，修正包含缺陷的检测框，修正方式为重新调整检测框大小， 使其为缺陷的最小外接矩形。 2 .根据权利要求1所述的方法，其特征在于制作标注样本具体步骤如下： 初始样本集的制作是需要对楼面图像进行缺陷位置及种类的标注，要求标注框为缺陷 的最小外接矩形，得到初始标注框(xi，yi，wi，hi) ，其中xi、yi分别为初始标注框的左上角点 的横轴和纵轴坐标，wi、hi分别为初始标注框的宽度和高度； 修正初始标注框，为缺陷主动保留背景；设修正后的标注框为(xc，yc，wc，hc)修正依据如 下公式，其中a∈(0 .2，0 .5)为扩展参数： wc＝wi*(1+a) hc＝hi*(1+a) xc＝xi-0 .5*wc*a yc＝yi-0 .5*hc*a 然后以 缺陷标注框为中心剪切宽为wssd ，高为hssd的 小图 像块作为 训练 和测试样本 ，并 应 用数据扩增技术 增加样本的 数量 ，最终得到 用于 训练 和验证的 样本集 ；其中wssd 和hssd分 别为SSD模型输入图像尺寸的宽和高 ，而数据扩增采用的是随机剪裁；设剪裁框为(xcrop， ycrop，wcrop，hccrop) ，缺陷标注框均小于剪裁框，其生成方式如下： (1)首先确定剪裁框的中心点坐标为(CXcrop，CYcrop) ： CXcrop＝random(xc+wc-0 .5*wcrop，xc+0 .5*wcrop) CYcrop＝random(yc+hc-0 .5*hcrop，yc+0 .5*hcrop)