目标检测目标跟踪报告课件(PPT 85页)
合集下载
YOLO实战教学：“手把手”教你做目标检测课件PPT模板
yolo实战教学：“手把手”教你做 目标检测
演讲人
2 0 2 x - 11 - 11
目录
01. 第1章目标检测算法 02. 第2章yolo实战篇 03. 第3章番外篇：fasterrcnn
01 第1章目标检测算法
第1章目标检测算法
1
1-1卷积神经网络基础卷积神 经网络基础知识，结构特点
2
1-2目标检测算法研究进展目 标检测算法研究进展，常见的 传统检测算法和深度学习的目 标检测算法及其检测流程
tiny，yolov3-tiny训练自己的数据集，怎么获取模型的准确率、召回率， map，f1分数，p_r曲线、训练曲线、交并比曲线。
2. 2-8网络模型改进创新怎么对yolov3进行改进，如何将densenet、轻量
化网络mobilenet，空洞卷积等技术引入到darknet下，以及超轻量化 网络yolo-lite的介绍
感谢聆听
3. 2-8网络模型改进创新怎么对YOLOv3进行改进，如何将Densenet、轻
量化网络MobileNet，空洞卷积等技术引入到Darknet下，以及超轻量 化网络YOLO-lite的介绍
03 第3章番外篇：fasterrcnn
第3章番外篇： fasterrcnn
3-1fasterrcnn安装与voc2007 训练（录屏fasterrcnn从零安装 以及voc2007数据集的训练，过 程实录，含问题解决资料中含有 绘制p-r曲线、检测视频的代码
2-4数据集标注如何制作数据 集
2 - 6 k- m e a n s 维 度 聚 类 k- m e a n s 维 度聚类的原理，yolov2和yolov3的 anchorbox有何区别，如何对 yolov2和yolov3进行聚类
演讲人
2 0 2 x - 11 - 11
目录
01. 第1章目标检测算法 02. 第2章yolo实战篇 03. 第3章番外篇：fasterrcnn
01 第1章目标检测算法
第1章目标检测算法
1
1-1卷积神经网络基础卷积神 经网络基础知识，结构特点
2
1-2目标检测算法研究进展目 标检测算法研究进展，常见的 传统检测算法和深度学习的目 标检测算法及其检测流程
tiny，yolov3-tiny训练自己的数据集，怎么获取模型的准确率、召回率， map，f1分数，p_r曲线、训练曲线、交并比曲线。
2. 2-8网络模型改进创新怎么对yolov3进行改进，如何将densenet、轻量
化网络mobilenet，空洞卷积等技术引入到darknet下，以及超轻量化 网络yolo-lite的介绍
感谢聆听
3. 2-8网络模型改进创新怎么对YOLOv3进行改进，如何将Densenet、轻
量化网络MobileNet，空洞卷积等技术引入到Darknet下，以及超轻量 化网络YOLO-lite的介绍
03 第3章番外篇：fasterrcnn
第3章番外篇： fasterrcnn
3-1fasterrcnn安装与voc2007 训练（录屏fasterrcnn从零安装 以及voc2007数据集的训练，过 程实录，含问题解决资料中含有 绘制p-r曲线、检测视频的代码
2-4数据集标注如何制作数据 集
2 - 6 k- m e a n s 维 度 聚 类 k- m e a n s 维 度聚类的原理，yolov2和yolov3的 anchorbox有何区别，如何对 yolov2和yolov3进行聚类
运动场景中目标检测与跟踪技术研究63页PPT
60、人民的幸福是至高无个的ห้องสมุดไป่ตู้。— —西塞 罗
31、只有永远躺在泥坑里的人，才不会再掉进坑里。——黑格尔 32、希望的灯一旦熄灭，生活刹那间变成了一片黑暗。——普列姆昌德 33、希望是人生的乳母。——科策布 34、形成天才的决定因素应该是勤奋。——郭沫若 35、学到很多东西的诀窍，就是一下子不要学很多。——洛克
运动场景中目标检测与跟踪技术研究
56、极端的法规，就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要，人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益， 而是为 了公共 的利益 ；一部 分靠有 害的强 制，一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ，那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克
第二章 运动目标监测和跟踪
第二章运动目标监测和跟踪2.1运动目标检测运动目标检测(Motion Detection)是指在输入视频图像中判断与背景图像相比是否存在相对运动的前景目标和物体，并根据灰度、边缘、纹理等二维图像特征将运动前景进一步分割为若干独立目标。
在实际应用中，一个好的运动目标检测算法，通常应该具有以下几个特征【12】：◆不受环境的变化(如天气和光照变化等)而影响结果；◆不受背景中个别物体的运动(如水波、风吹树动等)而影响结果；◆不受目标及背景中的阴影而影响结果；◆对复杂背景和复杂目标仍然有效；◆检测的结果应满足后续处理(跟踪分析)的精度要求；图2-1描述了检测算法的一般流程图。
常见的运动目标检测算法有：帧间差分法、背景差分法及光流法等，以下将分别进行介绍。
Fig.2—1Flow chart of detection algorithm2.1.1帧间差分法帧间差分法[23-241就是将视频序列中相邻的两帧或几帧做象素域上的减法运算，以得到帧间的不同图像的信息。
在摄像头固定的情况下，对连续的图像序列中的相邻两帧图像采用基于像素的帧差法来提取图像中的运动区域，设k 帧和第k+l 帧(或者看做21t t 和时刻)采集到同一背景下的两幅运动图像的灰度值为1),(+k k f y x f 和，则差分图像的定义为：),(),(),(11y x f y x f y x D k k k -=++ （2.1）对上式的差分结果进行阈值处理，就可以提取出运动物体。
对差分图像),(y x f d 二值化，当某一像素的灰度值大于给定阈值T 时，认为该像素为目标像素，即该像素属于运动目标；反之，则属于背景。
这一步的目的就是为了区分背景像素和目标像素，得到：T y x D T y x D k k k y x R >≤+++=),(),(10111{),( (2.2)其中，l 表示前景像素值，0表示背景像素值。
然后再对),(1y x R k +进行连通性分析，就可以得到连通区域的面积。
YOLOv5(PyTorch)目标检测：原理与源码解析课件PPT模板
01
第1章课程介绍
第1章课程介绍
1-1课程介绍课程介绍
02
第2章基础篇
第2章基础篇
2-1目标检测之任务说明目标检测 之任务说明
2-2目标检测之常用数据集目标检 测之常用数据集
2-3目标检测之性能指标和计算方 法目标检测之性能指标和计算方 法
03
第3章实践篇
第3章实践篇
3-1ubuntu系统上训练pascalvoc数据集ubuntu系统上训练pascalvoc数据 集 3-2windows系统上训练pascalvoc数据集windows系统上训练pascalvoc 数据集 3-3v4.0更新-ubuntu 3-4v4.0更新-windows 3-2Windows 系统上训练PASCALVOC 数据集Windows 系统上训练 PASCALVOC 数据集 3-3V4.0更新-Ubuntu 3-4V4.0更新-Windows
04
第4章原理篇
第4章原理篇
4-1yolo目标检测基本思想yolo目标检测基本思想 4-2yolov5网络架构与组件yolov5网络架构与组件 4-3yolov5损失函数yolov5损失函数 4-4yolov5目标框回归与跨网格预测策略yolov5目标框回归与跨网格预测策略 4-5yolov5训练技巧yolov5训练技巧 4-2YOLOv5网络架构与组件YOLOv5网络架构与组件 4-3YOLOv5损失函数YOLOv5损失函数 4-4YOLOv5目标框回归与跨网格预测策略YOLOv5目标框回归与跨网格预测策略 4-5YOLOv5训练技巧YOLOv5训练技巧
07
第7章源码解析篇3-数据集创建相关 代码解析
第7章源码解析篇3-数 据集创建相关代码解析
7-1矩形推理与letterbox代码矩 形推理与letterbox代码
基于视频的目标跟踪方法PPT课件
相似性函数用于描述目标模型和候选目标模型之间 的相似程度，我们使用Bhattacharyya系数作为相似性 函数，其定义为：
.
9
MeanShift迭代过程
均值漂移的迭代过程，也就是目标位置搜索的过程。 为使相似函数最大，对上式进行泰勒展开， Bhattachcyarya系数可近似为：
.
10
MeanShift迭代过程
3.计算当前窗口内各点处权值 {wi}i1...m； 4.利用MeanShift算法，计算目标新位置：
5.若
，则停止；否则y0←y1转步骤2
限制条件：新目标中心需位于原目标中心附近。
.
12
数度量初始帧目标模型和当前帧的候选模版的相
Байду номын сангаас
似性，选择使相似函数最大的候选模型并得到关
于目标模型的Meanshift向量，这个向量正是目标
由初始位置向正确位置移动的向量。由于均值漂
移算法的快速收敛性，通过不断迭代计算
Meanshift向量，算法最终将收敛到目标的真实位
置，达到跟踪的目的。
.
5
目标模型的描述
其极大化过程就可以通过候选区域中心向真实区域中心 的MeanShift迭代方程完成：
其中，g(x)=- K ' ( x) 。
.
11
MeanShift算法实现过程
1.计算目标模板的概率密度 {qu}u1...m ,在当前帧以y0为起
点2.计，算计候算选候目选标目与标目的标特的征相{p似u}度u；1...m ；
s 其中， h 是一个半径为h的高维球区域，满足以下关系的y点的集合
.
3
MeanShift算法简介
sh
目的：找出最密集的区域
.
9
MeanShift迭代过程
均值漂移的迭代过程，也就是目标位置搜索的过程。 为使相似函数最大，对上式进行泰勒展开， Bhattachcyarya系数可近似为：
.
10
MeanShift迭代过程
3.计算当前窗口内各点处权值 {wi}i1...m； 4.利用MeanShift算法，计算目标新位置：
5.若
，则停止；否则y0←y1转步骤2
限制条件：新目标中心需位于原目标中心附近。
.
12
数度量初始帧目标模型和当前帧的候选模版的相
Байду номын сангаас
似性，选择使相似函数最大的候选模型并得到关
于目标模型的Meanshift向量，这个向量正是目标
由初始位置向正确位置移动的向量。由于均值漂
移算法的快速收敛性，通过不断迭代计算
Meanshift向量，算法最终将收敛到目标的真实位
置，达到跟踪的目的。
.
5
目标模型的描述
其极大化过程就可以通过候选区域中心向真实区域中心 的MeanShift迭代方程完成：
其中，g(x)=- K ' ( x) 。
.
11
MeanShift算法实现过程
1.计算目标模板的概率密度 {qu}u1...m ,在当前帧以y0为起
点2.计，算计候算选候目选标目与标目的标特的征相{p似u}度u；1...m ；
s 其中， h 是一个半径为h的高维球区域，满足以下关系的y点的集合
.
3
MeanShift算法简介
sh
目的：找出最密集的区域
第七章 目标检测与跟踪(1)
《目标探测与识别》，周立伟等编著，北京理工大学出版社； 《成像自动目标识别》，张天序著，湖北科学技术出版社； 《动态图像分析》，李智勇 沈振康等著，国防工业出版社；
3/146
引言： 引言：学习目标检测与跟踪技术的意义
• 现代军事理论认为，掌握高科技将成为现代战争取胜的重要 因素。以侦察监视技术、通信技术、成像跟踪技术、精确制 导技术等为代表的军用高科技技术是夺取胜利的重要武器。 • 成像跟踪技术是为了在战争中更精确、及时地识别敌方目标， 有效地跟踪目标，是高科技武器系统中的至关重要的核心技 术。 • 例如：一个完整的军事战斗任务大致包括侦察、搜索、监视 以及攻击目标和毁伤目标。那么快速的信息获取和处理能力 就是战争胜利的关键，因此，目标的实时探测、跟踪与识别 也成为必要的前提条件。
7/146
7.1.1 什么是信息获取技术
• 信息获取技术： 地球上的所有物质都对外界辐射自己独特的信息－某一部分 的电磁波谱，包括自发辐射和反射日光辐射。 通过传感器接收这些信息，再通过各种信息分离、提取、增强、 融合、识别等手段最终达到应用的目的。 • 信息获取技术的手段： 电视传真、遥感技术、光纤通信、光学与光电子成像和雷 达技术 • 信息获取技术的分类： 被动信息获取技术和主动信息获取技术。 被动信息获取技术：红外热成像、微光以及可见光； 主动信息获取技术：发射电磁波、用人造光源照射被探测 目标（或红外线辐射源）。
4/146
• 随着现代高新技术的不断发展及其在军事应用领域中的日益 推广，传统的作战形态正在发生着深刻的变化。 1973年的第四次中东战争，1982年的英阿马岛之战，1991 年的海湾战争及1999年的科索沃战争，都说明了这一点。西 方各军事强国都在积极探索对抗武器，特别是美国更是投入 了巨大的物力、人力和财力积极研制弹道导弹防御系统。而 图像检测、跟踪和识别算法作为现代战场信息环境作战成败 的关键，具备抗遮挡、抗丢失和抗机动鲁棒性的智能跟踪器， 将是现代战场作战必备品，具有广泛的应用前景。
3/146
引言： 引言：学习目标检测与跟踪技术的意义
• 现代军事理论认为，掌握高科技将成为现代战争取胜的重要 因素。以侦察监视技术、通信技术、成像跟踪技术、精确制 导技术等为代表的军用高科技技术是夺取胜利的重要武器。 • 成像跟踪技术是为了在战争中更精确、及时地识别敌方目标， 有效地跟踪目标，是高科技武器系统中的至关重要的核心技 术。 • 例如：一个完整的军事战斗任务大致包括侦察、搜索、监视 以及攻击目标和毁伤目标。那么快速的信息获取和处理能力 就是战争胜利的关键，因此，目标的实时探测、跟踪与识别 也成为必要的前提条件。
7/146
7.1.1 什么是信息获取技术
• 信息获取技术： 地球上的所有物质都对外界辐射自己独特的信息－某一部分 的电磁波谱，包括自发辐射和反射日光辐射。 通过传感器接收这些信息，再通过各种信息分离、提取、增强、 融合、识别等手段最终达到应用的目的。 • 信息获取技术的手段： 电视传真、遥感技术、光纤通信、光学与光电子成像和雷 达技术 • 信息获取技术的分类： 被动信息获取技术和主动信息获取技术。 被动信息获取技术：红外热成像、微光以及可见光； 主动信息获取技术：发射电磁波、用人造光源照射被探测 目标（或红外线辐射源）。
4/146
• 随着现代高新技术的不断发展及其在军事应用领域中的日益 推广，传统的作战形态正在发生着深刻的变化。 1973年的第四次中东战争，1982年的英阿马岛之战，1991 年的海湾战争及1999年的科索沃战争，都说明了这一点。西 方各军事强国都在积极探索对抗武器，特别是美国更是投入 了巨大的物力、人力和财力积极研制弹道导弹防御系统。而 图像检测、跟踪和识别算法作为现代战场信息环境作战成败 的关键，具备抗遮挡、抗丢失和抗机动鲁棒性的智能跟踪器， 将是现代战场作战必备品，具有广泛的应用前景。
雷达原理运动目标检测PPT课件
第七章 作业解答
2、解：
理论读数测得的角度应为：
sin 1 60
d 360
sin 1 2 60 360
19.4712
两天线测角应为：ˆ
sin
1
64
d 360
sin
1
2
64 360
20.8275
三天线测角时，长基线无Βιβλιοθήκη 糊相位应为：13int
12 3
d13 d12
0
2
4
0.5
intmod2i 2.5,360 0.5,i
0,1,11，
得到各数字移相器控制数据如下表：
i 0 1 2 3 4 5 6 7 8 9 10 11
n(i) 0 2 3 5 6 8 9 11 12 14 15 1
扫描角为 30时，相邻移相器的相移量 360 0.9 sin 30 162 ，得
即信号角频率的变化值ωd = (2vr/c) ω0 = 2π 2vr/λ, 为多普勒 频移。近似后的结果, 与常用的多普勒频率表达式相同。 对 于窄带发射信号而言, 要严格地讨论运动目标回波的特点, 可将 式代入式后, 得到的结果是:
sr (t)
Rek
'
u
c c
vr vr
t
2R0 c vr
exp
j0
c c
vr vr
t
2R0 c vr
Rek
'
u
c c
vr vr
t
2R0 c vr
exp
j0
c c
vr vr
t
2R0 c vr
第20页/共134页
8.1 多普勒效应及其在雷达中的应用
2、解：
理论读数测得的角度应为：
sin 1 60
d 360
sin 1 2 60 360
19.4712
两天线测角应为：ˆ
sin
1
64
d 360
sin
1
2
64 360
20.8275
三天线测角时，长基线无Βιβλιοθήκη 糊相位应为：13int
12 3
d13 d12
0
2
4
0.5
intmod2i 2.5,360 0.5,i
0,1,11，
得到各数字移相器控制数据如下表：
i 0 1 2 3 4 5 6 7 8 9 10 11
n(i) 0 2 3 5 6 8 9 11 12 14 15 1
扫描角为 30时，相邻移相器的相移量 360 0.9 sin 30 162 ，得
即信号角频率的变化值ωd = (2vr/c) ω0 = 2π 2vr/λ, 为多普勒 频移。近似后的结果, 与常用的多普勒频率表达式相同。 对 于窄带发射信号而言, 要严格地讨论运动目标回波的特点, 可将 式代入式后, 得到的结果是:
sr (t)
Rek
'
u
c c
vr vr
t
2R0 c vr
exp
j0
c c
vr vr
t
2R0 c vr
Rek
'
u
c c
vr vr
t
2R0 c vr
exp
j0
c c
vr vr
t
2R0 c vr
第20页/共134页
8.1 多普勒效应及其在雷达中的应用
目标检测与追踪
➢ 分别提取特征，得到特征图； ➢ 把6*6*128的特征图当做卷积核
在22*22*128的特征图上进行卷 积操作，得到相似性评分矩阵 （绿色图案）； ➢ 对评分矩阵进行双三次差值上 采样，得到更精确的目标位置。
三、深度学习-EAST[30]
➢ICCV 2017: Learning Policies for Adaptive Tracking with Deep Feature Cascades.
确尺度估计的方法； ➢ 此尺度估计方法可以和任意其他没有
尺度估计的算法结合。
三、相关滤波-DSST
➢BMVC 2014: Accurate Scale Estimation for Robust Visual Tracking.
主要思想： 作者提出同时训练两个滤波器，一个是位置相关滤
波器（MOSSE），负责预测当前帧中目标的位置；另一 个是尺度相关滤波器，负责预测目标的尺度。
负样本是比较接近的，但是此时应当把此作为 正样本来检测目标。实际算法中不是这样，所 以经常会导致跟踪失败。
主要贡献： ➢ 本篇论文中输入的为多通道特征图像，特征图像可以为彩色特征也可以是HOG特征； ➢ 一种将多通道数据融入该算法的途径。由于卷积在频域是点乘求和，所以将不同通道的特征向量连
接在一起成为一个特征向量即可。 ➢ 采用不同的核函数。使用高斯核函数时模型叫做KCF，使用线性核函数时模型叫做DCF。与KCF相比，
目标检测与追踪
董云川 20171120250
➢研究背景 ➢文献统计 ➢相关方法 ➢目标检测之YOLO
目录
一、研究背景
目标跟踪是在一段视频序列中定位感兴趣的运动目标，并形 成目标运动的路径或轨迹。
目前，目标跟踪技术主要应用于以下领域： 1. 智能视频监控。 2. 机器人视觉导航。 3. 虚拟现实（人体跟踪）。 4. 医学诊断（细胞状态跟踪）。
在22*22*128的特征图上进行卷 积操作，得到相似性评分矩阵 （绿色图案）； ➢ 对评分矩阵进行双三次差值上 采样，得到更精确的目标位置。
三、深度学习-EAST[30]
➢ICCV 2017: Learning Policies for Adaptive Tracking with Deep Feature Cascades.
确尺度估计的方法； ➢ 此尺度估计方法可以和任意其他没有
尺度估计的算法结合。
三、相关滤波-DSST
➢BMVC 2014: Accurate Scale Estimation for Robust Visual Tracking.
主要思想： 作者提出同时训练两个滤波器，一个是位置相关滤
波器（MOSSE），负责预测当前帧中目标的位置；另一 个是尺度相关滤波器，负责预测目标的尺度。
负样本是比较接近的，但是此时应当把此作为 正样本来检测目标。实际算法中不是这样，所 以经常会导致跟踪失败。
主要贡献： ➢ 本篇论文中输入的为多通道特征图像，特征图像可以为彩色特征也可以是HOG特征； ➢ 一种将多通道数据融入该算法的途径。由于卷积在频域是点乘求和，所以将不同通道的特征向量连
接在一起成为一个特征向量即可。 ➢ 采用不同的核函数。使用高斯核函数时模型叫做KCF，使用线性核函数时模型叫做DCF。与KCF相比，
目标检测与追踪
董云川 20171120250
➢研究背景 ➢文献统计 ➢相关方法 ➢目标检测之YOLO
目录
一、研究背景
目标跟踪是在一段视频序列中定位感兴趣的运动目标，并形 成目标运动的路径或轨迹。
目前，目标跟踪技术主要应用于以下领域： 1. 智能视频监控。 2. 机器人视觉导航。 3. 虚拟现实（人体跟踪）。 4. 医学诊断（细胞状态跟踪）。