对抗样本在自动驾驶领域应用现状

合集下载

对抗样本攻击与防御机制的性能评估研究

对抗样本攻击与防御机制的性能评估研究

对抗样本攻击与防御机制的性能评估研究引言随着深度学习在各个领域的广泛应用,对抗样本攻击与防御机制的研究越来越受到关注。

对抗样本攻击是指通过对原始输入样本进行微小的、人眼无法察觉的修改,使得深度学习模型产生错误的输出结果。

这种攻击对图像分类、语音识别、自动驾驶等应用具有重大威胁。

一、对抗样本攻击的原理与方法1. 原理对抗样本攻击的基本原理是通过修改输入样本,以迷惑深度学习模型,使其产生错误的输出。

这种攻击利用了深度学习模型对输入样本的隐蔽漏洞,通过微小扰动就能够改变模型的预测结果。

2. 方法对抗样本攻击的方法主要包括两种:非定向攻击和定向攻击。

非定向攻击是指攻击者没有特定的目标类别,只关心使得模型产生错误分类。

而定向攻击则是指攻击者有明确的目标类别,希望将输入样本误分类为目标类别。

二、对抗样本攻击的影响与应用领域1. 影响对抗样本攻击对深度学习模型的性能和可靠性造成了巨大的威胁。

攻击者可以利用对抗样本攻击来欺骗自动驾驶系统,导致交通事故;也可以通过攻击语音识别系统来窃听用户的个人信息。

对抗样本攻击还可能导致深度学习模型的训练过程失败,从而降低模型的泛化能力。

2. 应用领域对抗样本攻击的研究对于保障计算机视觉、自然语言处理和语音识别等领域的应用安全具有重要意义。

该研究也可以应用于信息安全领域,用于防御网络入侵和恶意代码攻击。

三、对抗样本防御机制的方法与评估指标1. 方法对抗样本防御机制的常用方法包括:对抗样本训练、模型鲁棒性增强、检测与过滤、隐私保护等。

对抗样本训练是通过在训练集中添加对抗样本来提高模型的鲁棒性;模型鲁棒性增强是通过修改模型架构或参数来提高模型对对抗样本的抵抗能力;检测与过滤是指通过检测输入样本是否为对抗样本并过滤它们;隐私保护是指对模型输出进行加密保护,以减少攻击者获取模型信息的可能性。

2. 评估指标对抗样本防御机制的性能评估需要考虑多个指标:攻击成功率、攻击成功速度、攻击样本难度、防御成功率等。

自动驾驶技术的现状、挑战和未来展望

自动驾驶技术的现状、挑战和未来展望

自动驾驶技术的现状、挑战和未来展望
自动驾驶技术是指通过计算机控制车辆完成行驶任务,不需要人类驾驶员的干预。

随着人工智能和计算机视觉等技术的不断发展,自动驾驶技术也在快速发展。

下面是自动驾驶技术的现状、挑战和未来展望:
现状
目前,自动驾驶技术已经逐渐普及到一些高端汽车品牌和一些特定的场景,例如高速公路、物流园区等。

目前市面上较为成熟的自动驾驶技术主要有基于雷达、激光雷达、摄像头等传感器的传统视觉技术和基于人工智能的深度学习技术。

挑战
自动驾驶技术的发展还面临着许多挑战,其中包括:
(1)安全性问题:自动驾驶技术的安全性是自动驾驶技术发展的关键因素之一,需要保证自动驾驶车辆在各种复杂的场景下都能够正常行驶,并且能够在紧急情况下保证人员的安全。

(2)技术成本问题:自动驾驶技术需要大量的传感器、计算机和算法支持,技术成本非常高,需要降低技术成本才能普及。

(3)法律和道德问题:自动驾驶技术涉及到道德、法律和伦理等问题,例如自动驾驶车辆在紧急情况下如何做出决策,是否应该牺牲车内人员来保证行人的安全等。

未来展望
未来,自动驾驶技术有望在以下方面得到发展:
(1)更普及的应用场景:自动驾驶技术不仅限于高速公路、物流园区等特定场景,未来还有望应用于城市交通和公共交通等领域。

(2)更高的安全性:自动驾驶技术需要进一步提高安全性,防止出现交通事故和其他安全问题。

(3)更低的成本:自动驾驶技术需要降低成本,才能让更多的车辆采用自动驾驶技术。

对抗样本攻击方法及防御

对抗样本攻击方法及防御

对抗样本攻击方法及防御摘要:对抗样本攻击是一种针对机器学习模型的攻击方法,通过对输入样本进行微小的修改,就能够欺骗机器学习模型,使其产生错误的输出结果。

本文将介绍对抗样本攻击的几种常见方法,并探讨一些防御机制。

1. 引言随着机器学习在各个领域的广泛应用,对抗样本攻击也逐渐成为一个热门研究领域。

通过对输入样本进行微小的修改,就能够欺骗机器学习模型。

这种攻击方式可能导致严重后果,比如在自动驾驶系统中引发交通事故。

因此,研究如何防御对抗样本攻击具有重要意义。

2. 对抗样本生成方法2.1 增量式梯度方法增量式梯度方法是最常见的生成对抗样本的方式之一。

该方法通过计算输入数据相应目标函数关于输入数据梯度,并将其用于修改输入数据。

这种方法可以产生高质量、不易被检测到的对抗样本。

2.2 基于优化算法的方法基于优化算法的方法通过对输入数据进行优化,使其满足特定的约束条件,从而生成对抗样本。

这些约束条件可以是模型输出的标签,也可以是其他特定要求。

这种方法可以生成具有较高攻击成功率的对抗样本。

2.3 基于生成对抗网络(GAN)的方法生成对抗网络(GAN)是一种由生成器和判别器组成的模型。

通过训练这两个模型,可以生成逼真的样本数据。

基于GAN的方法将输入数据作为判别器网络输入,并将其输出作为优化目标函数,从而生成对抗样本。

3. 对抗样本攻击防御3.1 基于防御性训练的方法防御性训练是一种通过在训练过程中引入扰动来提高模型鲁棒性的方法。

在进行训练时,将原始数据与扰动数据混合,并根据混合后数据进行模型更新。

这种方法可以提高模型对于对抗样本攻击的鲁棒性。

3.2 基于检测和过滤机制检测和过滤机制是一种通过检测输入数据是否为对抗样本,并将其过滤掉来防御攻击的方式。

这些机制可以通过监测模型输出的置信度、检测输入数据的统计特征等方式来实现。

这种方法可以有效地减少对抗样本的影响。

3.3 基于模型解释的方法模型解释是一种通过分析模型对输入数据的响应方式来检测对抗样本攻击的方法。

对抗样本的检测及防御方法研究现状综述

对抗样本的检测及防御方法研究现状综述

对抗样本的检测及防御方法研究现状综述摘要:随着机器学习和深度学习的快速发展,对抗样本攻击在图像分类、语音识别和自然语言处理等领域中引起了广泛关注。

对抗样本是一种经过有意设计的样本,其目的是使机器学习模型产生错误的预测结果。

本文对目前对抗样本的检测和防御方法进行了综述,并分析了各种方法的优缺点。

1. 引言对抗样本是对机器学习模型的一种攻击,通过对输入样本进行微小的扰动,能够使模型产生误判。

对抗样本的存在给机器学习的应用带来了潜在的风险,如自动驾驶系统的误导、智能语音助手的误识别等。

因此,研究对抗样本的检测和防御方法具有重要的理论和实际意义。

2. 对抗样本的生成方法对抗样本的生成可以通过多种方式实现。

最常见的生成方法包括基于扰动的方法、梯度优化方法和生成对抗网络(GANs)方法。

2.1 基于扰动的方法基于扰动的方法是最早的对抗样本生成方法之一,其原理是在原始样本中添加微小的扰动,使得机器学习模型对扰动样本的预测结果发生改变。

这种方法的优点是简单易实现,但扰动必须满足一定约束,否则会导致人眼无法察觉的变化。

2.2 梯度优化方法梯度优化方法通过对输入样本的梯度进行优化,找到最小化目标函数的扰动值。

这种方法可以产生更具有迷惑性的对抗样本,但计算复杂度较高。

2.3 生成对抗网络方法生成对抗网络是一种通过博弈的方式生成数据的方法,其中包含生成器和判别器两个网络。

生成器通过学习真实数据的分布生成样本,而判别器则试图区分生成样本和真实样本。

通过交替训练,生成对抗网络可以生成逼真的对抗样本。

3. 对抗样本的检测方法对抗样本的检测方法旨在识别输入样本是否为对抗样本。

常见的检测方法包括基于规则的方法、基于特征的方法和基于模型的方法。

3.1 基于规则的方法基于规则的方法通过设定一系列规则来检测对抗样本,如检测样本中的扰动大小、扰动分布等。

这种方法的优点是简单易实现,但对于复杂的对抗样本可能无法有效检测。

3.2 基于特征的方法基于特征的方法通过提取输入样本的特征,并将其与训练数据的特征进行比较,从而判断是否为对抗样本。

自动驾驶技术发展现状及应用领域的前景分析

自动驾驶技术发展现状及应用领域的前景分析

自动驾驶技术发展现状及应用领域的前景分析自动驾驶技术一直是科技领域的热门话题,随着科技的不断发展和社会的不断进步,自动驾驶技术得到了越来越广泛的关注。

最近几年,自动驾驶技术迎来了新一轮的发展浪潮,成为全球各大科技公司瞩目的焦点。

本文将从自动驾驶技术的现状,发展趋势,以及应用领域的前景等方面进行探讨。

自动驾驶技术的现状自动驾驶技术是一个综合性很强的概念,涉及到多个领域的技术和知识,例如计算机视觉、机器学习、传感器技术、制造工艺等。

目前,自动驾驶技术仍处于发展初期,并且存在许多问题和挑战。

首先,自动驾驶车辆需要依靠大量的传感器进行环境感知,然而传感器在恶劣环境下常常会出现误判的情况,这极大地影响了自动驾驶的安全性。

其次,自动驾驶技术需要依靠强大的计算能力和大规模的数据支持,这对硬件和软件的要求非常高,也面临着成本高昂的问题。

最后,在法律法规和道德伦理方面,自动驾驶技术还存在诸多争议。

自动驾驶技术的发展趋势尽管自动驾驶技术仍然存在许多问题和挑战,但是它在未来的发展前景是非常广阔的。

在未来,自动驾驶技术将会取代传统的驾驶模式,成为道路交通的主流形式。

随着技术的不断进步和成本的不断降低,自动驾驶车辆将会变得更加安全、便捷和高效。

同时,随着自动驾驶技术的发展,将会出现许多新的商业模式和产业链,如无人配送、共享出行等,将会深刻地改变人们的生活方式。

自动驾驶技术的应用领域自动驾驶技术在未来将会广泛应用于各个领域,尤其是道路交通领域。

在道路交通领域中,自动驾驶技术将会改变人们的出行方式,大大简化人们的出行流程,缓解城市交通拥堵问题。

除此之外,自动驾驶技术还将应用于物流业、运输业、农业等领域,为这些领域带来更加高效和便捷的服务。

总结自动驾驶技术是一个非常具有前景的技术领域,尽管它在当前仍面临着许多问题和挑战,但随着技术的不断发展和成本的不断降低,自动驾驶技术将会成为未来交通出行的主流形式。

同时,自动驾驶技术将进一步强化物流、运输、农业等领域的效率和便捷性,为人们的生活带来更多便利和惠利。

对抗样本的检测及防御方法研究现状综述

对抗样本的检测及防御方法研究现状综述

对抗样本的检测及防御方法研究现状综述在人工智能领域,深度学习被广泛应用于图像分类、目标检测和语音识别等任务中。

然而,研究表明深度学习模型对抗样本存在着天生的脆弱性,这引发了对抗样本的检测和防御方法的研究需求。

本文将综述对抗样本检测及防御方法的现状,并探讨未来的研究方向。

一、对抗样本及其生成方法对抗样本是对深度学习模型产生误导性扰动后的输入图像。

对抗样本的生成方法主要包括基于优化的方法和基于生成对抗网络(GAN)的方法。

基于优化的方法通过求解优化问题来生成对抗样本;而基于GAN的方法则通过训练生成器和判别器网络来生成对抗样本。

二、对抗样本的检测方法对抗样本的检测方法可以分为基于特征提取和基于模型响应的方法。

基于特征提取的方法通过提取输入图像的特征,利用一些统计学和机器学习方法来检测对抗样本。

而基于模型响应的方法则通过分析模型对输入图像的响应,检测异常行为并判断是否存在对抗样本。

三、对抗样本的防御方法对对抗样本的防御方法主要包括基于重训练的方法和基于鲁棒优化的方法。

基于重训练的方法通过对现有的深度学习模型进行重新训练,并引入对抗样本来增强模型的鲁棒性。

而基于鲁棒优化的方法则通过在目标函数中引入鲁棒性约束,使得生成的对抗样本更难以改变模型的输出结果。

四、现有方法的局限性尽管已经提出了各种各样的对抗样本检测和防御方法,然而这些方法在实际应用中仍然存在一定的局限性。

首先,一些检测方法对抗样本的检测准确率较低,容易被对抗样本欺骗。

其次,一些防御方法在增强模型鲁棒性的同时也导致了性能的下降。

此外,对抗样本的生成方法也在不断演化,需要对现有方法进行不断的更新和改进。

五、未来研究方向在对抗样本的检测与防御方法研究方面,有以下几个未来的研究方向值得关注。

首先,研究者需要进一步提高对抗样本的检测准确率,以降低对抗样本对深度学习模型的威胁。

其次,需要开发新的防御方法,使得防御方法能够在增强模型鲁棒性的同时不降低模型性能。

对抗样本防御技术研究与应用

对抗样本防御技术研究与应用

对抗样本防御技术研究与应用随着机器学习与深度学习技术的不断发展,越来越多的企业和机构开始采用这些技术进行自动化决策、风险评估、安全检测等工作。

但是,这些技术也带来了一些问题,比如对抗样本攻击,它们可以导致机器学习模型的错误分类,进而引发实际场景中的安全或隐私问题。

针对这个问题,学者们提出了许多对抗样本防御技术。

一、什么是对抗样本?在深入探讨对抗样本防御技术之前,我们需要先了解一下对抗样本是什么。

对抗样本是指人为地对样本数据进行修改,使其欺骗机器学习模型,导致模型的错误分类。

这样的攻击可以隐蔽性地影响安全性和隐私保护。

对于深度神经网络,它们常常会在对抗样本的攻击下失效,这主要是由于网络的抗差性非常低。

事实上,对抗样本的攻击已经不仅仅是一个理论问题,而是在实际场景中非常具有实践意义。

二、对抗样本防御技术目前,学者们提出了许多对抗样本防御技术,下面着重介绍一些比较有代表性的技术。

1.基于对抗训练的方法对抗训练(Adversarial Training),在训练时,人为地产生对抗样本与原始样本,然后将它们混合在一起以进行模型的训练。

这样的方法被证明是很有效的,因为它可以增强深度神经网络的抗扰动能力。

2.基于随机性的防御技术基于随机性的防御技术包括Dropout、DropConnect等。

这些方法在模型中增加了一定的随机性,使得攻击者很难在生成对抗样本时找到恰当的方向。

3.基于反向传播法的对抗性训练该技术是在对抗样本攻击下,从模型输出开始,反向传播来修复抗性;在反向传播时,使用两个loss,将抗性误差和原误差加权求和,这样可以将抗性和原始分类任务共同优化。

4.基于梯度的方法基于梯度的方法对神经网络的输入梯度进行限制,以减轻攻击者所制造的想象空间。

三、对抗样本防御技术的应用对抗样本防御技术的应用逐渐展现出令人瞩目的成果。

首先,对抗样本防御技术对于安全和隐私问题的解决具有很大的潜力。

例如,在自动驾驶汽车和智能家居设备等具有安全保障需求的领域中,我们可以更安全地运用深度学习技术。

人工智能安全解析对抗样本在深度学习中的挑战与防御

人工智能安全解析对抗样本在深度学习中的挑战与防御

人工智能安全解析对抗样本在深度学习中的挑战与防御随着人工智能技术的快速发展和广泛应用,我们迎来了一个全新的智能时代。

然而,随着人工智能系统的普及,也出现了安全性的挑战。

其中,对抗样本攻击是人工智能安全领域一个重要的研究方向。

本文将探讨对抗样本攻击在深度学习中的挑战,并介绍一些常见的防御方法。

一、对抗样本攻击的定义和原理对抗样本攻击是指通过对输入样本进行最小干扰扰动,从而使得深度学习系统产生错误的输出结果。

其本质是通过扰动输入样本,使得深度学习模型无法正确识别输入的样本。

对抗样本攻击具有以下特点:1. 干扰几乎不可察觉:对抗样本的扰动必须非常小,以至于人眼无法察觉。

而这种微小的扰动却足以影响深度学习模型的预测结果。

2. 基于模型黑盒:对抗样本攻击可以仅仅通过观察模型的输出结果进行攻击,而无需获得模型的具体参数、结构以及训练数据。

3. 可迁移性:对抗样本攻击的扰动是可迁移的,即在一个模型上生成的对抗样本可以欺骗其他模型。

二、对抗样本攻击对深度学习的挑战对抗样本攻击给深度学习系统带来了严重的安全威胁,主要包括以下挑战:1. 目标误导:对抗样本攻击可以将深度学习模型的输出误导到攻击者指定的目标类别。

这种攻击方式对于一些关键的应用场景,比如自动驾驶系统和人脸识别系统等,可能带来严重的后果。

2. 泛化能力:对抗样本攻击的成功率不仅仅取决于攻击样本与模型的距离,还与攻击样本的泛化能力有关。

通过对抗样本攻击,攻击者可以构造具有良好泛化能力的对抗样本,从而使得攻击可以适用于未见过的样本。

3. 模型不可解释性:深度学习模型通常是黑盒的,这意味着我们无法准确理解模型是如何作出决策的。

当模型遭受对抗样本攻击时,我们很难判断攻击是否发生以及对抗样本是如何干扰模型的。

三、对抗样本攻击的防御方法为了提高深度学习模型的鲁棒性和安全性,研究者们提出了各种对抗样本攻击的防御方法。

以下是一些常见的防御方法:1. 改进模型鲁棒性:通过改进深度学习模型的设计,增强其鲁棒性,使其能够对抗对抗样本攻击。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

一、对抗样本与对抗攻击从2013年开始,深度学习模型在多种应用上已经能达到甚至超过人类水平,比如人脸识别、物体识别、手写文字识别等等。

在这之前,机器在这些项目的准确率很低,如果机器识别出错了,没人会觉得奇怪。

但是现在,深度学习算法的效果好了起来,去研究算法犯的那些不寻常的错误变得有价值起来。

其中对抗样本在自动驾驶领域应用现状□文/崔岳黄华张明星(北京千方科技股份有限公司北京)[提要]对抗样本是指通过添加干扰产生能够导致机器学习模型产生错误判断的样本。

过去几年人工智能学者取得巨大的突破,深度学习更是让冷冰冰的机器“耳聪目明”,不仅能够从视频中认出猫,还能识别路上的行人和交通信号灯。

科学家和工程师在图像、语音、自然语言处理等方面取得突破性进展,某些领域AI已经超越人类。

然而,研究者也发现,基于深度神经网络模型的系统,很容易被对抗样本欺骗愚弄。

在自动驾驶领域,研究对抗样本的攻击和防御情况,对自动驾驶行业的发展具有深远影响。

关键词:对抗样本;自动驾驶;机器学习;神经网络中图分类号:TP3-05文献标识码:A收录日期:2019年1月10日与需求匹配度高的龙头型企业,同时也要培育一批规模小、灵活度高、社区插入度深的中小型老龄服务机构。

产品集中度不仅仅在普通的护理、保健等方面,也要满足老年人的个性化、定制化、针对化的服务需求。

3、充分发挥行业组织作用。

对于当前的市场乱象以及各种资源不匹配问题,必须要政府或行业组织出台制定相应的服务标准和行业标准。

比如政府可以规定各个行业的规范标准体系,让各个企业为消费者所提供的服务都能够有依靠的标准;而行业协会则可以协助政府制定行业发展规范,发挥行业维权作用,促进老年服务业的健康发展。

4、进一步加强市场监管力度。

加强对老龄服务业的行业监管,强化责任追究制度和风险防控制度,这不仅有利于促进整个行业的规范与健康发展,也是维护老年人消费权益的重要保障。

四、研究结论及展望我国老年消费市场未来潜力巨大,对中国的经济带动力将是前所未有的。

但是当前的市场乱象和产品层次的不合理性是阻碍养老消费市场的两座巨山。

我国老年人口压力的增大是必然的,通过放开二胎等政策短时间内仍旧无法缓解中国的人口老龄化压力,将经济驱动的发展动力转向老年市场是社会和国家的必然选择。

我们唯有通过商业模式的不断探索和产品结构的不断调整,配合国家积极改进和推行老年消费产业相关配套政策,这样才能够充分释放老年消费产业的获利,推动老年消费行业活力的迸发。

主要参考文献:[1]涂奇.人口老龄化对城镇居民消费影响的门限效应研究[J].商业经济研究,2018(18).[2]李小兰.经济新常态下我国人口老龄化问题再审视[J].科学经济社会,2018.36(2).[3]韩曙光.中国人口老龄化与养老产业问题研究[D].新疆大学,2018.[4]肖凤伟.当前我国老年消费品供给结构调整问题研究[D].沈阳师范大学,2018.[5]马肖成.我国老年市场发展状况研究综述[J].中国商论,2018(7).[6]赵一美.浅析老年服装消费者消费心理特点及消费行为特征[J].西部皮革,2017.39(16).[7]黎飒.人口老龄化对我国城镇居民消费的影响研究[D].陕西师范大学,2017.[8]钱婷婷.我国老年消费产业的研究进展与前瞻[J].当代经济管理,2016.38(10).经济/产业《合作经济与科技》No.4s 201976--DOI:10.13665/ki.hzjjykj.2019.07.029一种错误就叫对抗样本。

对抗样本是机器学习模型的一个有趣现象,攻击者通过在源数据上增加人类难以通过感官辨识到的细微改变,但是却可以让机器学习模型接受并做出错误的分类决定。

一个典型的场景就是图像分类模型的对抗样本,通过在图片上叠加精心构造的变化量,在肉眼难以察觉的情况下,让分类模型产生误判。

如图1所示,对于一张熊猫的照片,分类模型可以正确地将其分类为熊猫,但是在加上人为设计的微小噪声之后,虽然人眼是对两张图片看不出分别的,计算机却会以99.3%的概率将其错判为长臂猿。

(图1)研究者们认为,大多数机器学习算法对于对抗干扰很敏感,只要从图像空间中精心选取的方向增加轻微的干扰,就可能会导致这个图像被训练好的神经网络模型误分类。

这种被修改后人类无法明显察觉,却被机器识别错误的数据即为对抗样本,而这整个过程就可以理解为对抗攻击。

基于对抗样本的此种特性,它的存在对于机器学习领域的发展是有潜在危险性的。

例如,在自动驾驶领域,攻击者可以通过对抗样本的方法攻击汽车:只要将自动驾驶汽车需要识别分类的标识进行对抗攻击,让车辆将停车标志解释为“行驶”或其他标志,就能让汽车进行错误判断。

这对于自动驾驶领域的发展无疑是不利的。

因此,研究对抗样本的攻击与防御方式对自动驾驶领域的发展具有重大意义。

二、对抗样本在自动驾驶领域研究现状2016年5月7号,在美国的佛罗里达州,一辆特斯拉径直撞上一辆行驶中的白色大货车,酿成了世界上自动驾驶系统的第一起致命交通事故。

照理说,特斯拉配备的是当今最顶尖的自动驾驶技术,对这里的人工智能来说,区分好一朵白云和一辆白色大货车,不该是最起码的要求吗?事实却是,人工智能在很多地方都不如三岁的小孩,而且很容易被愚弄,黑客们也正在利用这一点。

(一)自动驾驶领域的对抗样本。

除了基于深度神经网络模型的分类系统,很容易被对抗样本欺骗愚弄以外,近期的研究也发现,对抗样本还具有一定的鲁棒性。

研究人员将对抗样本打印到纸面上,仍然可以达到欺骗系统的效果。

也就是说,对抗样本可以通过打印等手段影响我们生活的真实环境中的。

对于汽车自动驾驶系统,攻击者可以通过这样的手段生成一个禁止通行标志的对抗样本,如图2所示,虽然在人眼看来这两张图片没有差别,但是自动识别系统会将其误判为是可以通行的标志。

当自动驾驶系统和人类驾驶员同时驾车行驶时,这足以造成灾难性的后果。

(图2)(二)针对自动驾驶领域对抗样本有效性的讨论。

在图像识别领域,对抗样本是一个非常棘手的问题,研究如何克服它们可以帮助避免潜在的危险。

但是,当图像识别算法应用于实际生活场景下时,对抗样本的有效性是否不会降低,我们是否对真实世界的对抗样本的危害性产生过度担忧?来自UIUC 的一篇论文《NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles 》提出,应用于停止标志检测的现有对抗扰动方法只能在非常仔细挑选的情况下才有效,在许多实际情况下,特别是无人驾驶不需要担心,因为一个训练好的神经网络绝大部分情况会从不同距离和角度拍摄对抗样本。

前面那些实验忽略了现实世界中物体的关键性质:相比虚拟场景下对图片单一角度和距离的识别,在现实世界中,自动驾驶汽车的相机可以从不同的距离和角度拍下物体来进行识别。

从移动观察者的角度来看,目前现实世界中的对抗样本不会对物体检测造成干扰。

(图3)他们为此在实际环境下做了一系列实验,他们收集了一系列停车标志的图像,然后用三种不同的对抗攻击方法产生干扰样本,同时攻击图像分类器和物体识别器。

然后,打印出受到干扰的图像,从不同的距离拍成照片。

实验发现,很多图片不再具有对抗性。

并检查了不再具有对抗性的图片中原来增加的干扰的受损程度。

在大多数情况下,损坏率很高,并且随着距离的增加而增加。

这说明在真实环境中,距离的变化会对干扰的效果产生影响。

最后,通过一个小实验表明,照片拍摄的角度也可以改变对抗干扰的影响。

如图3所示,实际环境下,在特定的距离和角度下拍摄的带有对抗干扰的停车标志可能会导致深度神经网络物体识别器误识别,但对于大量从不同的距离和角度拍下的停车标志的照片,对抗干扰就无法保证总能愚弄物体检测器了。

图1对抗样本导致图像错误识别图+.007×=x“panda ”57.7%confidence sign (荦x J (θ,x ,y ))“ncmatode ”8.2%confidencex+缀sign (荦x J(θ,x ,y ))“gibbon ”99.3%confidence图3实际场景中停车标志都能被正确识别0.5m1.5mN o AttackFastSign Attack Iterative Attack LBFGS Attack图2正常的交通停止标志(左)及其对抗样本(右)图77--为什么能正确识别大多数图片呢?他们认为原因是干扰的对抗特征对受到干扰的图片的大小比较敏感。

如果从不同的距离进行识别,自动驾驶汽车就不能得出正确结论。

另外,论文中提出了一个关键问题:是否有可能构建出这样的对抗性样本,使得它在大多数不同的距离观察条件下都能让机器错误判断?如果可能,这种对抗特征能够对人类理解深度学习网络的内部表征模式起到巨大的帮助。

如果不能,就可以猜测对抗性样本对现实世界包括自动驾驶领域的危害很小,不用过度担忧。

从实验结论来看,现有的对抗性干扰方法用于停车标志的识别时(在他们的数据集和控制试验之下)只在特定场景下适用。

这似乎也表明,我们可能不需要担心多数现实场景下的对抗样本问题,尤其是在自动驾驶领域。

此文一发,立马引起了争议。

OpenAI 在第一时间便在自己的博客上进行了回击,他们认为物理世界是有稳定的对抗样本的。

随后,来自华盛顿大学、密西根大学安娜堡分校、纽约州立大学石溪分校、加利福尼亚大学伯克利分校的8名工作人员,他们提出了一种新的攻击算法,而这种算法能够有效地攻击无人驾驶的神经网络。

他们提出了一种新的对抗样本攻击算法———鲁棒物理干扰(RP2):这种算法产生干扰的方式是在不同的条件下拍摄图像。

通过此对抗算法,可以产生模拟破坏或艺术的空间约束性干扰,以减少偶然观察者检测到的似然值。

他们通过实验展示了此算法所产生的对抗样本通过使用捕捉物理世界条件的评估方法,在各种条件下实现真正的道路标志识别的高成功率。

事实上,他们实现并评估了两次攻击,一个是以100%的概率将停车标志错误分类为测试条件下的速度限制标志;另一个是以100%的概率将右转标志错误分类为测试条件下的停车或添加车道标志。

(图4)顺着这个思路,研究人员又针对对抗样本对对象检测工具的影响进行了实验。

与分类器相比,对象检测工具在处理整个图像面临更多挑战,对象检测工具还需要预测上下文信息,如目标对象在场景中的方位等。

这次,如图4所示,是进行实验的实物对抗样本。

研究人员展示的是一个叫YOLO 的对象检测器,YOLO 检测器是一个流行的、实时的先进算法,拥有良好的实时性能。

检测的对象是一个现实场景中真正的停车标志,为了更好地测试YOLO 的检测性能,研究人员还录制了视频进行动态检测。

逐帧分析视频可以发现,YOLO 在实验中几乎在所有帧上都完全没有感知到停车标志。

相关文档
最新文档