内弹道异常判决中的实时野值剔除方法

合集下载

靶场外弹道数据处理中野值点剔除方法

靶场外弹道数据处理中野值点剔除方法

靶场外弹道数据处理中野值点剔除方法
卓宁
【期刊名称】《测试技术学报》
【年(卷),期】2008(022)004
【摘要】为了提高靶场数据处理精度,对已有的野值点剔除方法和最新进展进行了研究,从孤立型野值点和斑点型野值点两类野值点的产生角度出发,对适用于靶场外测数据处理中的剔野方法进行了理论研究和实验分析,通过仿真和比较各种方法的结果,得出不同的剔野方法在不同应用领域的优缺点,在相关行业具有较好的参考价值.
【总页数】5页(P313-317)
【作者】卓宁
【作者单位】中国人民解放军92941部队96分队,辽宁,葫芦岛,125001
【正文语种】中文
【中图分类】TJO12.3+6
【相关文献】
1.弹道跟踪数据野值剔除方法性能分析 [J], 侯博文;王炯琦;周萱影;李冬;何章鸣
2.基于最小二乘拟合的外弹道测量数据野值剔除方法 [J], 金学军
3.内弹道异常判决中的实时野值剔除方法 [J], 高冰
4.差分辅助中值滤波外弹道野值检测与剔除方法 [J], 孟庆海
5.靶场外弹道数据处理中的实时野值剔除算法 [J], 徐利娜;陈俊彪;穆高超
因版权原因,仅展示原文概要,查看原文内容请购买。

剔除异常值的方法

剔除异常值的方法

剔除异常值的方法拉依达准则法,肖维勒准则法,狄克逊准则法,罗马诺夫斯基(t检验)准则法,格拉布斯准则法(Grubbs)各类剔除异常值方法的比较。

1.拉依达准则法(3δ):简单,无需查表。

测量次数较多或要求不高时用。

是最常用的异常值判定与剔除准则。

但当测量次数《=10次时,该准则失效。

如果实验数据值的总体x是服从正态分布的,则式中,μ与σ分别表示正态总体的数学期望和标准差。

此时,在实验数据值中出现大于μ+3σ或小于μ―3σ数据值的概率是很小的。

因此,根据上式对于大于μ+3σ或小于μ―3σ的实验数据值作为异常值,予以剔除。

在这种情况下,异常值是指一组测定值中与平均值的偏差超过两倍标准差的测定值。

与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。

在处理数据时,应剔除高度异常的异常值。

异常值是否剔除,视具体情况而定。

在统计检验时,指定为检出异常值的显著性水平α=0.05,称为检出水平;指定为检出高度异常的异常值的显著性水平α=0.01,称为舍弃水平,又称剔除水平(reject level)。

标准化数值(Z-score)可用来帮助识别异常值。

Z分数标准化后的数据服从正态分布。

因此,应用Z分数可识别异常值。

我们建议将Z分数低于-3或高于3的数据看成是异常值。

这些数据的准确性要复查,以决定它是否属于该数据集。

2.肖维勒准则法(Chauvenet):经典方法,改善了拉依达准则,过去应用较多,但它没有固定的概率意义,特别是当测量数据值n无穷大时失效。

3.狄克逊准则法(Dixon):对数据值中只存在一个异常值时,效果良好。

担当异常值不止一个且出现在同侧时,检验效果不好。

尤其同侧的异常值较接近时效果更差,易遭受到屏蔽效应。

4.罗马诺夫斯基(t检验)准则法:计算较为复杂。

5.格拉布斯准则法(Grubbs):和狄克逊法均给出了严格的结果,但存在狄克逊法同样的缺陷。

朱宏等人采用数据值的中位数取代平均值,改进得到了更为稳健的处理方法。

基于小波变换剔除数据野点的方法

基于小波变换剔除数据野点的方法

0 引

飞行器的脱靶量信息是通过雷达测量设备对 目 标的 回波进行某种数据处理计算得到的 , 在实际测量 中, 即使 目 标运动状态理想和设备工作正常、 原始 的测量数据质量非常高 , 仍存在部分的随机误差 , 使测量 的回波数据存在异常值或野点 , 也就是其中存在一个或多个明显偏离 了某运动规律 的数据。常见 的野值 类型有单个野值 、 成片野值 、 重复性野值、 固定误差、 随机性野值等。 目 前在靶场主要应用的数据处理方法 为人工干预、 多项式滤波、 平滑微分技术以及基于观测模型的 K l a 实时预报等 , a n m 这些技术存在病态和发 散 以及其他不足 , 严重影响了后续的数据处理 , 不能保 障设备在试验中的高精度快速数据处理。将小波变 换剔除数据中野值的方法应用于靶场试验 , 并结合各方面数据进行融合 , 结果表明 , 它准确、 可靠和 野 点 的方 法
葛 尧 孟 庆慈 安 玉华
(24 部 队 ・ 99 1 辽宁葫芦岛 ・200 150 )


在脱靶 量数据 处理 中, 野点的存在对采用非线性最 小二 乘法估计 多普勒频 率的精度 会产 生恶化影响 。
本文研 究利 用野值 点和 多普勒频率在 小波域上 系数的 不 同, 对不同数 据段 的 系数设 定不 同阈值进行 处理 , 而 从
达到去 除野值 点和恢 复多普勒频率 的 目的。试验结果表 明, 采用小波变换去除 了随机测量误差与野值 点对 多普
勒频率的影响, 对于后续的脱靶量参数估计没有任何不利影响。
关键词 小波变换 ; 多普勒频率 ; 野值 点; 脱靶 量
中图分 类号 :5 7 V5 文献标识码 : A
A e h d o m o i g t e Ou l r n Da a Pr c si M t o fRe vn h ti si t o e sng e

基于最小二乘拟合的外弹道测量数据野值剔除方法_金学军

基于最小二乘拟合的外弹道测量数据野值剔除方法_金学军
N
∑ ( x( n)
n =1 K
- y( n) )
k k
2
= ( 2)
的缓慢变化规律视为趋势项, 利用最小二乘法对趋势项进行 2, 提取。设包含野值的外弹道位置测量数据为 x( k) ( k = 1 , …, N) , 将其分解为 2 部分 x( k) = x ( k) + r( k) ( 8) 珓 ( k ) 为原观测数据减去趋势项的信号 式中: r( k) 为趋势项; x 珓 ( k) 利用莱特准则进行野值剔除, 珓 将剔除野值后 部分。对 x 的结果与趋势项 r( k) 相加求和, 可得到剔除野值后的外弹道 位置测量数据。 ( 3)
n fs
j
对式( 3 ) 进行整理可以得到 K + 1 个方程
4
4. 1
结果
计算机仿真
∑b ∑ (
K N k k =0 n =1
n fs
)
k +j
=
∑ x( n) (
N n =1
n fs
1, 2, …, K ) ,j = 0,
j
( 4) 式( 4 ) 中, 只要求出拟合趋势项系数 b k , 就可以得到趋势项的 估计多项式。对拟合趋势项系数 b k 的求解可以利用矩阵方 式求逆进行
如果利用莱特准则直接进行野值剔除, 则会将真实信号尾部 部分剔除, 野值却很难得到有效剔除 。 采用莱特准则剔除野 值后的结果如图 2 所示。
3 σ] 倍标准差[- 3 σ, 的概率超过 99. 7 % , 落在此区域外的概 [5 ] 0 . 3 % , 率不超过 因此, 可以认为残差落于该区域外的测 2, …, 量数据为野值。 假设 1 组观测序列为 x ( k ) ( k = 1 , N) , 在 x( k) 中存在野值数据点。 利用莱特准则剔除野值首 先要计算该组观测数据的算术均值 N 1 x x( i) 珋= ∑ 用的一种野值剔除方法, 但是对于位

靶场外弹道数据处理中的实时野值剔除算法

靶场外弹道数据处理中的实时野值剔除算法

A src: e lo i m s t de ost f xeir rjcoyd t r—rame t h l btatA n w ag r h wa u idt ai ye tr aetr aapetet n .T e — t s s ot a
g rt m o n y p o i e n e f c i e m e h d t e lt e d t r c s i g b t a s a o oi h n to l r v d d a f e t t o o r a — i a a p o e sn u lo h d l w v m c mp t t n l o t I sa d p i eo t e e v lag rt m ,wh c a o d a a t b l y o u a i a s . twa n a a tv u l rr mo a l o ih o c i ih h d g o d p a i t i f r r d rd t n h t e e t i t e d l e d t . Th t n a d d v a i n o h i e s c e s v o a a a a a d p o o l c rc h o o i a a t e s a d r e i to ft e f u c s i e v t s a a wa li l d b h e n h r d c s t k n a h e h l . Th e me h d o e td t s mu t i y t r e a d t e p o u twa a e st r s o d p e e n w t o f
算 法分析 的基础 上 , 出一种 计算 量 小 , 提 满足 实 时性要 求 , 对 雷达 、 电经 纬仪 等 大型 测试 设 且 光

剔除测量数据中异常值的若干方法

剔除测量数据中异常值的若干方法

剔除测量数据中异常值的若干方法我说实话,剔除测量数据中的异常值这事儿,我一开始也是瞎摸索。

我试过好多种方法,在这条路上走得那叫一个坎坷。

我最先用的方法是简单的阈值法。

就是先确定一个大概的范围,如果测量值超过或者低于这个范围,就判定为异常值。

比如说,我测量一群人的身高,一般来说就是150 - 200厘米之间,要是出现了300厘米,那这不用想,肯定是异常值了。

但这个方法有个大问题,我发现有些数据虽然在这个所谓正常范围里,可就是感觉不对劲。

就像我有次测量数据在看似合理的范围内,但它就是跟其他大部分数据的规律不一样,硬留着就感觉会把整个分析结果带偏。

后来又试了箱线图法。

这箱线图你们知道吧,有点像给数据画个房子。

中间的箱子是中间50%的数据范围,上下的线啊就像是房子的屋檐。

那屋檐外面的数据就是异常值了。

操作起来也不是很难,但是对于波动比较大的数据啊,容易把其实是正常波动的大数据或者小数据误判为异常值。

我当时就怎么都调不好判断的界限,总觉得数据剔除得奇奇怪怪的。

还有一种3σ原则,这个理论依据倒是很科学。

就是假设数据服从正态分布,在这个分布里啊,大约百分之的数据都在均值±3倍标准差的范围内。

我当时想着这肯定靠谱啊。

结果实际操作的时候,发现要是数据不服从正态分布,那可就全都乱套了,本来不是异常的值都被当成异常值处理了。

我现在又想到一种方法,就是利用聚类的思想。

把那些数据看成一个个小群落,如果某个数据跟其他群落的距离都特别远,就把它当成异常值。

不过这个方法还在摸索阶段,目前发现数据量小的时候效果不是很好,懒得去找出相似群落之类的。

这些就是我在剔除测量数据异常值的摸索过程中用到的方法了,每个方法都有它的优缺点,你们要是有什么更好的想法也可以跟我说一说。

一种用于GPS数据处理中剔除野值的算法

一种用于GPS数据处理中剔除野值的算法
朱荣生;施小成
【期刊名称】《中国惯性技术学报》
【年(卷),期】2000(008)002
【摘要】本文利用采样数据的变化率作为判断野值的依据,将正常数据的变化率都包含在一个随数据变化率而变化带宽的剔值带内,并可根据采样数据实时地调整该剔值带的宽度.用该算法可以对某些定位系统中GPS的信息数据进行处理,仿真结果表明它能很好地剔除GPS信息中的野值,以保证系统的定位精度.
【总页数】4页(P27-30)
【作者】朱荣生;施小成
【作者单位】华东船舶工业学院基础学科系,江苏镇江,212003;哈尔滨工程大学,哈尔滨,150001
【正文语种】中文
【中图分类】P228.4
【相关文献】
1.靶场外弹道数据处理中野值点剔除方法 [J], 卓宁
2.一种抗野值自适应滤波算法及在MEMS-SINS/GPS中应用 [J], 石静;缪玲娟;倪茂林
3.靶场外弹道数据处理中的实时野值剔除算法 [J], 徐利娜;陈俊彪;穆高超
4.一种具有野值预剔除的TTE时钟补偿算法 [J], 杨永强;周煦林;姚秦
5.GP-RBF网络应用于飞行器外测数据野值实时剔除 [J], 薛聿桢;张育林;袁建平
因版权原因,仅展示原文概要,查看原文内容请购买。

实验数据异常值的剔除方法

实验数据异常值的剔除方法说实话实验数据异常值的剔除这个事儿,我一开始也是瞎摸索。

我那时候就知道数据里有异常值不好,可怎么找出来,怎么剔除,完全没概念。

我试过很多方法呢。

最开始我就直接用肉眼看数据,觉得哪个数据特别离谱,就想把它当成异常值去掉。

比如说,我做一个测量物体长度的实验,大部分数据都在10厘米左右波动,突然有个20厘米的数据,我第一反应就是这肯定是异常值,就想直接把它剔除。

结果被实验室的老师批评了,老师说这样太主观了,可能20厘米这个数据是有特殊意义的,也许是在不同条件下产生的,不能仅凭感觉就剔除。

这算是我第一个失败的教训吧。

后来呢,我又学了一种方法叫3σ法则。

这个怎么理解呢,就好像你站在一堆数据的中间,然后数据像一群学生围绕着你。

大部分学生都离你不远,不在三倍标准差范围内的学生,那就是特殊的,或者说异常的。

这个标准差就像是大家离你的平均距离的一个衡量。

这个方法的步骤呢,就是先算出这组数据的平均值和标准差,然后看哪些数据不在平均值上下三倍标准差这个区间里,那些就是异常值。

不过这个方法也有局限性,它比较适合那种数据分布大致是正态分布的情况,要是数据分布很奇怪,那就不太好用了。

我还试过箱线图法来剔除异常值。

这就好比把数据都放在一个个盒子里,盒子有上限和下限,在盒子外面的数据就可能是异常的。

箱线图显示了数据的四分位数分布情况,把数据从小到大排序,然后算出下四分位数Q1和上四分位数Q3,然后根据公式算出上下限,小于下限或者大于上限的那些数据,就可以考虑当作异常值。

不过我在计算四分位数的时候不小心算错过一次,导致连正常数据都误判成异常值了。

以后再用这种方法的时候,计算的时候可千万要仔细啊。

还有一种方法就是Dixon准则,不过这个相对复杂点儿。

我到现在还不是很熟练,只知道大概的原理,就是根据数据的顺序统计量的比例关系来判定异常值。

如果有机会深入研究,应该会是个不错的剔除异常值的方法。

上面这些方法都要根据实际的数据情况来选择应用,可不能瞎用哦。

野值的检测与处理

@画 国 国 画 。
2 0 1 5年 第 2 9期 ( 总第 2 6 9期 )
野值 的检测 与处 理
时 书政
( 第二炮兵工程大学士官学院, 山东 潍坊

2 6 2 5 0 0 )
要 野值 又称异常值 , 它是指 量测数据 集合 中严 重偏 离大部分数据所呈现趋势的小部分数据点。在数据处理问题 中, 由于传感器
关键词 野值 ; 异常值 ; 卡 尔曼滤波
数据处理过程 中出现 的野值点 ,比较 常见 的有如下几 种类 型: ( 1 ) 孤立性野值 。 它的基本 特点是 , 某一采样 时刻处的测量数 据是 否为野值 与前 一时刻及 后一时刻数 据 的质 量无必然 联系 。 而且 , 比较常见的是 当某时刻的测量数据呈现异 常时 , 在该 时刻 的一个邻域 内的数据质 量是好 的。 即野值 点的出现是孤立 的。 动 态测量数据 中孤立异值点 的出现也是 比较普遍的情形之一 。 ( 2 ) 野值斑点 , 简称斑点 , 是指成 片出现的异常数据 。它 的基 本特征 是, 在当前时刻 出现 的野值 , 也可能带动后续时刻均严 重偏离真 值。 在本 系统中 , 类似野值 出现的可能性 比较低 , 暂时不予考虑 。
I Z ( k + l / k ) 一 Z ( k + 1 ) l 将会变大。可以确定一个适 当的阈值 e l "e : ……e k ( e > o ) , 当1 2 ( k + l / k ) 一 Z ( k + 1 ) I ≤e 。 时, 可以认为 z ( k + 1 ) 不是 野值 ; 若『 2 ( k + V k ) 一 Z ( k + 1 ) l > 0 , 则认为 z ( k + 1 ) 是一个野值 , 并用

二、 仿 真 测 试

一种时频融合的外弹道野点剔除方法[发明专利]

专利名称:一种时频融合的外弹道野点剔除方法专利类型:发明专利
发明人:谢超,崔俊峰,李鑫,成红艳,周俊相,梁静申请号:CN202010807530.2
申请日:20200812
公开号:CN114077716A
公开日:
20220222
专利内容由知识产权出版社提供
摘要:本发明公开了一种时频融合的外弹道野点剔除方法,包括以下步骤:(1)、外弹道数据多层小波分解;(2)、细分频率的3σ准则野值时间标定;(3)、对应标定时间的基于遥测信息的弹道数据矫正;(4)、多次重复步骤(1)~步骤(3),直至检测不到野值。

本时频融合的外弹道野点剔除方法是一种时频融合、能够提高野值修正精度且能够批量处理的野点剔除方法,有利于提高野值修正精度和修正效率。

申请人:中国人民解放军63729部队
地址:030000 山西省太原市漪汾街53号
国籍:CN
代理机构:太原景誉专利代理事务所(普通合伙)
代理人:马丽平
更多信息请下载全文后查看。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

(4)
根据莱特准则判别法,从概率角度考虑,服从
正态分布的测量数据,残差超过 3 倍标准方差的点 为野值点。标准方差 δ 为
å σ = 6 (yi - y-i)2 6 i=0
(5)
由于遥测参数种类多,变化规律不尽相同,即
Key Words internal trajectory,outlier data,abnormal judgment Class Number TP301
1 引言
导弹飞行试验的遥测参数是研究和分析导弹 性能指标的数值依据[1],对于导弹各种性能研究极 其重要,其数据的质量高低,将直接影响对飞行试 验结果的分析与判定,是安控系统故障判决中的一 种 越 来 越 重 要 数 值 依 据[2]。 这 些 数 据 从 采 集 、编 码、传输直至接收的过程要经历电磁干扰和随机干 扰等因素的影响,不可避免地存在野值。野值又称 跳点,是指由于传感器、变换器及无线电传输中的 干扰等造成的异常跳变点,也即由测量设备及传输 等造成的不正确点[4]。因此需要把由于传感器测 量误差等某些外界因素所产生的错误数据加以剔 除,以保证安控数判人员在数据分析和安控故障判 决时所使用的数据都是有意义的。
∗ 收稿日期:2016 年 12 月 17 日,修回日期:2017 年 1 月 19 日 基金项目:国家自然科学基金项目“弹道导弹动态总体多响应多因素飞行试验的一体化设计”(编号:61573367)资助。 作者简介:高冰,男,硕士,高级工程师,研究方向:指挥安全与控制。
1036
高 冰:内弹道异常判决中的实时野值剔除方法
方面需要积累当前时刻之后的数据,在实现时影响
到算法的效率和实时性。因此前推插值方法比较
适合实时数据处理的野值剔除。
牛顿插值一般形式为
f (x) = a0 + a1(x - x0) + a2(x - x0)(x - x1) +an(x - x0)(x - x1)(x - xn - 1)
(1)
它的系数 ai 满足插值条件:
总第 332 期 2017 年第 6 期
计算机与数字工程 Compu计te算r &机D与ig数ita字l E工ng程ineering
Vol. 45 No. 6 1035
内弹道异常判决中的实时野值剔除方法∗
高冰
(92941 部队 葫芦岛 125000)
摘 要 任务中导弹遥测关键参数的野值严重影响内弹道的异常判决结果。针对遥测关键参数的变化特点,研究了基 于多项式插值平滑算法的野值剔除方法。通过任务实测数据验证,这一算法简单,实时性强,可以剔除连续的野值,在内弹 道异常判决系统中起到了获得较好的预处理效果。
f (x0) = a0
f (x1) = a0 + a1(x1 - x0)
f (xn) = a0 + a1(x1 - x0) + ....an(xn - xn - 1)
(2)
令 n = 6,x0 = 0,
a0 = f (x0) a1 = f (x1) - f (x0) a2 = ( f (x2) - 2f (x1) + f (x 0))/2
2 前推插值数据拟合去野值算法
剔除野值的方法很多:有极大似然递推算法, 该算法从概率论统计学角度辨识野值,对参数值出 现的概率进行统计,判断野值的前提是需要积累一 定数量的样本;卡尔曼滤波等算法是根据已有的信 息预测下一个观测值的数学期望,用其残差来识别 野值,在野值影响下,滤波的新息特性容易遭到破 坏,算法不适合连续型成片的野值[5];正交模型参 数变化判别法等精度测量数据的逐点剔除野值方 法,其算法效果显著,但计算量比较大,复杂费时, 不适用于数据的实时处理的数据检择[6~7]。针对上 述算法的局限性以及遥测关键参数的变化特点,为 满足任务过程中对遥测参数实时处理的要求,本文 重点研究牛顿插值算法,该方法将试验数据进行函
GAO Bing (No. 92941 Troops of PLA,Huludao 125000)
Abstract The outliers in the telemetry parameters affect the result of internal trajectory fault. Aimed at the characteristics of telemetry parameters,this paper researched the polynomial interpolation smoothing algorithm method which can eliminate one or more contiguous outliers. At last the result of test data processing show the effectiveness of this method.
第 45 卷
数逼近,形成遥测数据高。牛顿插值算法有中心插值法、前
推插值法和后推插值法等几种方法[8~9]。用中心插
值法和后推插值法来判断某点是否是野值点时,需
要用到该点后面的数据。这样做一方面在野值判
断时用到的数据还没有经过检择,很可能将原本不
是野值的点也误判为野值,引起了野值逆传;另一
a6 = ( f (x6) - 6f (x5) + 15f (x4) - 20f (x3)
+15f (x2) - 6f (x1) + f (x0))/720
(3)
假设已经判断出前 7 个点的数据是正常数
据,f (xi) 是原始数据,f̂ (xi) 是插值数据,则 f̂ (x7) = f (x0) - 7f (x1) + 21f (x2) - 35f (x3) +35f (x4) - 21f (x5) + 7f (x6)
关键词 内弹道;野值;异常判决 中图分类号 TP301 DOI:10. 3969/j. issn. 1672-9722. 2017. 06. 005
Method of Eliminating Outlier Data during the Real-time Fault Judgement of Interior Ballistics
相关文档
最新文档