实验结果可疑数据的取舍方法选择
实验结果可疑数据的取舍方法选择
[摘要]在实际工作中，常常会遇到一组平行测定中有个别数据的精密度不甚高的情况，该数据与平均值之差是否属于偶然误差是可疑的。
实验结果对可疑数据的取合很重要。
而且对可检验疑数据取合过程中方法的选择也很重要。
[关键词]可疑数据、取合、方法选择
中图分类号：u415.1 文献标识码：a 文章编号：1009-914x（2013）05-0310-01
前言：在定量分析工作中，通常要对同一试样做几份平行测定，然后求出平均值。
如果数据中出现显著性差异，即有的数据特大或特小（称为可疑值或离群值），是否都能参加平均值的计算呢？这就需要用统计学方法进行检验，不得随意弃去或保留可疑值。
实验结果可疑数据的取合方法很多：包括q值检验法、格鲁布斯检验法、t值检验法、f检验法等等，下面借一组数据只对q检验法、格鲁布斯检验法进行对比。
看哪种方法更适合实验室应用。
1.数据整理
首先要把实验数据加以整理，剔除由于明显的原因而与其它测定结果相差甚远的那些数据，对于一些精密度似乎不甚高的可疑数据，则要通过一定的方法决定取合，然后计算数据的平均值、各数据对平均值的偏差、平均偏差与标准偏差，最后按照要求的置信度求出平均值的置信区间。
2.置信度与平均值的置信区间
有了平均值和平均值的标准偏差，就能以±s（表示平均值s表示平均值的标准偏差）的形式表示分析结果，从而推算出所要测定的真值所处的范围，这个范围就称为平均值的置信区间，真值落在这个范围内的几率称为置信度。
通常化学分析中要求置信度95%。
测定次数越多，置信区间的范围越窄，即测定平均值与总体平均值（真值）越接近，但是测定结果超过20次以上置信度的几率系数变化不大，再增加测定次数对提高测定结果的准确度已经没有什么意义了，所以只有在一定的测试次数范围内，分析数据的可靠性才随平行测定次数的增加而增加。
3.实验结果可疑数据的取舍方法对比
可疑数据的取合是对过失误差的判断，常用方法有q检验法、格鲁布斯检验法主要用于确定检测结果的真实性。
而针对分析方法准确性即系统误差的判断通常采用t值检验法和f值检验法，通常用于标准物质的数据整理。
下面借一组数据对q险验法、格鲁布斯检验法这两种方法进行对比。
例对某铅锌矿的含锌量进行七次测定，结果为：1.80，2.11，2.13，2.14，2.16，2.18，2.32试以q检验法决定极端值的取合（置信度95%）。
3.1q检验法基本要求
q检验法是一种简便易行、比较常用的方法。
当测定次数n=3-10次时，根据所要求的置信度可以按下列步骤检验可疑数据取合：（1）将数据按递增的顺序排列；（2）求出最大与最小数据之差；
（3）求出可疑数据与其最邻近数据之间的差；（4）求出q计=（xn-xn-1）/（xn-x1）或q计=（x2-x1）/（xn-x1）（5）根据测定次数n和要求的置信度（如95%），查下表得出q0.95。
（6）将q 计与q0.95相比，若q≥q0.95，则弃支可疑值，否则应予保留。
具体怎么检验，与可疑值的分布情况有关。
可疑值的分布，一般可分以下几种情况：
（1）在一组由小到大排列的数据中，一个可疑值分布于平均值的一侧；（2）两个可疑值分布于平均值的两侧；（3）两个可疑值分布于平均值的同侧。
对第一类隋况，第三类情况检验比较简单，处理方法比较一致，无需重新提出讨论。
下面对第二种情况进行的检验问题。
在实际工作中，一组由小到大排列的测定值，其离群值可能分布于平均值的两侧，因此，掌握两个极端值的检验问题，其有一定的代表l生和现实性。
从三种不同的检验处理方法着存在问题。
3.1.1用q检验法决定取合时，在三个上的数据中，如果先检验最小值，然后再检验最大值。
7次测定数据中，其中1.80和2.32与其它5个数据相差较大，要分别进行检验。
先检验最小值1.80，q计=0.60，查n值表得，n=7，q（0.59）q 计（0.27），故2.32应保留。
再检验最低值1.80，q计=0.60，查n值表得，n=7，q（0.59）q 计（0.27），故2.32应保留。
针对以上三种检验方法可以看出可疑值的先后检验顺序不同，得
出的结论也就不同，说明这种检验方法带有一定的随意性，以及处理方法不够完善等。
3.2格鲁布斯法
其中格鲁布斯法在判断可疑值过程中，由于正态分布中两个重要的样本参数和s引入进来故方法的准确性较高，特别是当几种取台方法的结论不一致时，通常以格鲁布斯法的结论作依据。
（1）将数据按递增的顺序排列；（2）求出平均值标准偏差s；（3）计算g计=（x-）/s或g计=（-x1）/s（4）查表得g；（5）g计>g 弃去，反之保留。
还是上面这组数据，分别检验5.02和6.98是否弃去，根据格鲁布斯检验法要求：
先计算结果的平均值=2.12；再计算两个可疑数据的偏差d分别为d1.80=0.32和d2.32=0.20；暂时合去偏差较大的离群值1.80，用其余6个测定值去求得平均值=2.17和标准偏差s=0.07；再检验2.32，g计=（x）/s=2.14；置信度95%，n=6时，查得临界值g=1.82，g计（2.14）>g（1.82），故2.32应弃去，因此偏差值较大的1.80也应舍弃。
3.3实验结果可疑数据的取舍方法选择
其实在实际应用过程中q险验法要简便得多，但通过上述计算可以看出q检验法存在一定的弊端。
但是我们可以把q险验法和格鲁布斯检验法相结合来进行对可疑数据的取合。
还取上一组数据，先计算可疑数据的偏差分别是d1.80=-0.32和
d2.32=0，20；
把标准偏差大的数据先舍弃，而改用q值检验法计算标准偏差小的数据，弃去1.80后，检验范围是2.11～2.32，n=6，q计=0.67，查n值表得，q（0.64）<q计（0.67），故2.32应弃去。
因此偏差大的数据1.80应该合弃。
4.结果讨论
在分析工作中，为了保证检测质量可能要在检测样品中加入监控样，监控样可能是标准物质给定数值。
但是我们可以通过实验获得的几组数据后，经过处理分析数据时，校正系统误差和剔除错误的测定结果后，计算出结果可能达到的准确范围，与给定的真值相比较可以发现我们在测试过程中出现的偏差，找出造成误差的原因。
可以让我们的监控样品在检测过程中真正的起到质量监督的作用。
因此在计算监控样品总体平均值（真值）前必须对可疑值进行合理取合，监控样品总体平均值（真值）定值的准确性高也可提高检测过程中的自我监控能力。
作者简介
刘东，女，辽宁省抚顺人，工程师，主要从事地质实验测试工作。
可疑数据的取舍
可疑数据的取舍21.3.3.1 可疑数据的取舍为了使分析结果更符合客观实际，必须剔除明显歪曲试验结果的测定数据。
正常数据总是有一定的分散性，如果人为删去未经检验断定其离群数据(Outliers)的测定值（即可疑数据），由此得到精密度很高的测定结果并不符合客观实际。
因此对可疑数据的取舍必须遵循一定原则。
1. 取舍原则(1)测量中发现明显的系统误差和过失错误，由此而产生的分析数据应随时剔除。
(2)可疑数据的取舍应采用统计学方法判别，即离群数据的统计检验。
2. 大样本离群数据的取舍（三倍标准差法）：根据正态分布密度函数，设测定值为Xi，可表示为Xi+3S ³μ³ Xi －3S。
若Xi在Xi±3S范围内，此数据可用；若在Xi±3S范围外，此数据不可用，须舍弃（亦称莱特准则）。
该判断的置信度在99.7%以上，但测定次数增多时，出现可疑值机会就随之增加，应将取舍标准改变如下。
先计算多次测定结果的平均值X和标准差S，再计算Z值：X=X1 + X2+ … +Xn/ n (n 为包括可疑值尾数在内的测定次数)S = [∑X2 -(∑X)2/n] / (n-1)Z= (X - X ) / S (X 为可疑值)然后查正态分布表，得对应于Z值的a值。
如 n a<0.1，则舍弃，>0.1，则不舍弃。
例如：土壤全氮的5次平行测定结果(g·kg-1)为1.52，1.48，1.65，1.85，1.45。
其中1.85为可疑值，需判断取舍。
计算平均值X=1.59；S=±0.164；Z=(1.85－1.59)/0.164=1.585。
查正态分布表a=0.0565，na=5×0.0565=0.2825，因na>0.1，可疑值1.85g·kg-1不予舍弃。
3. 小样本离群数据取舍（n为有限数）：有几个统计检验方法来估测可疑数据，包括Dixon，Grubbs，Cochran和Youden检验法。
数据3-可疑值的取舍
作业： 习题：1、4、9、20
ቤተ መጻሕፍቲ ባይዱ
可疑数据的舍弃
在一组测定值中，常出现个别与其它数据相差很 大的可疑值。如果确定知道此数据由实验差错引起， 可以舍去，否则，应根据一定的统计学方法决定其 取舍。 方法： Q检验法 格鲁布斯法 4 d法
1. Q检验法
步骤如下(3≤ n≤ 10) (1) 将测定值按递增顺序排列：x1,x2,…,xn; (2) 求最大与最小值之差xn-x1; (3)由可疑值与其相邻值之差的绝对值除以极差，求得 Q值：
2. 4 d 检验法
步骤 （1）求可疑值除外的其余数据的平均值和平均偏差 d ； （2）若（可疑值-平均值)的绝对值大于4 d ，则舍去，否 则保留。 例2.用EDTA标准溶液滴定某试液的Zn，平行测定4次，消耗 EDTA标液的体积(mL)分别为：26.37，26.41，26.44， 26.42，试问26.37这个数据是否保留？ • 该法不必查表，比较简单，故仍为人们采用。
Q
X疑 X邻
？可疑值是哪个
X 最大 X 最小
Q值愈大，表明可疑值离群愈远，当Q值超过一定界限 时应舍去。 (4)依据n和要求的置信度，查表1-4得Q值，比较Q表与 Q计判断，当Q计≥Q表，该可疑值应舍去，否则应保留.
例1，平行测定盐酸浓度(mol/l)，结果为0.1014， 0.1021，0.1016，0.1013。试问0.1021在置信度为 90%时是否应舍去。 解: (1)排序：0.1013, 0.1014, 0.1016, 0.1021 (2)Q=(0.1021-0.1016)/(0.1021-0.1013)=0.63 (3)查表1-4,当n=4, Q0.90=0.76 因Q计＝0.63< Q0.90＝0.76, 故0.1021不应舍去。
工业分析技术专业《知识点8 分析结果可疑值的取舍》
分析结果可疑值的取舍在常量分析实验中，一般对单个试样试液平行测定2～3次，此时测定结果可作如下简单处理：计算出相对平均偏差，假设其相对平均偏差≤％，可认为符合要求，取其平均值报出测定结果，否那么需重做。
对要求非常准确的分析，如标准试样成分的测定，考核新拟定的分析方法，对同一试样，往往由于实验室不同或操作者不同，做出的一系列测定数据会有差异，因此需要用统计的方法进行结果处理。
首先把数据加以整理，剔除由于明显原因而与其它测定结果相差甚远的错误数据，对于一些精密度似乎不甚高的可疑数据，那么按本节所述的Q 检验或根据实验要求，按照其它有关规那么决定取舍，然后计算n 次测定数据的平均值x 与标准偏差S ，有了x 、s 、n 这三个数据，即可表示出测定数据的集中趋势和分散情况，就可进一步对总体平均值可能存在的区间作出估计。
一、数据集中趋势的表示方法根据有限次测定数据来估计真值，通常采用算术平均值或中位数来表示数据分布的集中趋势。
1．算术平均值x对某试样进行规次平行测定，测定数据为1,2,…n 那么x =1/n 12…n =l/n ∑=ni i x 1根据随机误差的分布特性，绝对值相等的正、负误差出现的概率相等，所以算术平均值至是真值的最正确估计值。
当测定次数无限增多时，所得的平均值即为总体平均值μ。
μ=∑=∞→ni i n n x 11)(lim 2．中位数中位数是指一组平行测定值按由小到大的顺序排列时的中间值。
当测定次数规为奇数时，位于序列正中间的那个数值，就是中位数；当测定次数规为偶数时，中位数为正中间相邻的两个测定值的平均值。
中位数不受离群值大小的影响，但用以表示集中趋势不如平均值好，通常只有当平行测定次数较少而又有离群较远的可疑值时，才用中位数来代表分析结果。
二、数据分散程度的表示方法随机误差的存在影响测量的精密度，通常采用平均偏差或标准偏差来表示数据的分散程度。
1．平均偏差d计算平均偏差d 时，先计算各次测定对于平均值的偏差：d x x i -=1 i=1,2,…n然后求其绝对值之和的平均值：d =1/n ()∑∑==-=ni i ni i x x n d 111相对平均偏差那么是：%100⨯xd2．标准偏差标准偏差又称均方根偏差。
实验室异常值取舍
在实验室中，异常值的取舍是一个重要的数据处理步骤。
通常，这些异常值可能是由于测量误差、设备故障或其他未知因素引起的。
取舍异常值应遵循以下几个原则：
1. 可疑数据的判断：可疑数据是指与其它数据相比明显不一致的数据。
通常，这些数据可能是由于仪器故障、操作错误或其他异常情况引起的。
判断可疑数据时，可以采用一些统计方法，如格鲁布斯检验法等。
2. 判断依据：判断异常值的标准通常基于数据的分布特性和统计规律。
例如，在正态分布中，异常值通常被定义为远离平均值的数据点，可以根据标准偏差来判定。
3. 处理方法：一旦确定了异常值，应采取适当的处理方法。
常用的方法包括删除异常值、对异常值进行修正或用平均值等方法替代。
在进行处理时，应考虑数据的可靠性和完整性。
4. 记录和解释：在处理异常值时，应详细记录处理的理由和依据。
这有助于确保结果的可靠性和可重复性，也有助于对实验结果进行解释和评估。
总之，实验室中异常值的取舍应基于数据的分布特性和统计规律，采取合适的处理方法，确保数据的可靠性和完整性。
同时，应详细记录处理的过程和依据，以供后续研究和解释使用。
可疑数据的取舍
三、格拉布斯法
如果
xk x g0,nS
则将xk剔除 go（α、n）是一个与样本容量n与给的那个的检验
水平有关的系数。
在指定的显著性水平α（一般α=0.05）下，可根
据正态分布表，查表求得。
三、格拉布斯法
例：1.3-4试用格拉布斯法判别例1.3-2测量数据的真伪。
利用上述三种方法每次只能舍弃一个可疑值，
若有两个以上的可疑数据，应该一个一个数据地舍弃， 舍弃第一个数据后，试验次数由n变为n-1，以此为基础 再判别第二个可疑数据。
工 程 检 测 实 务
∣xmin– x ∣=∣23.0-25.8∣= 2.8MPa ＜3S = 6.3MPa 故上述测量数据均不能舍弃。
二、肖维纳特法
进行n次试验，其测量值服从正态ห้องสมุดไป่ตู้布，以概率，
1／（2n）设定一判别范围（ -kxS，kx S ），当偏差
（测量值xi与其算术平均值之差）超出该范围时，就意 味着该测量值xi是可疑的，应予舍弃。即
如果 xk x kxS
则将xk剔除 式中：kx——肖维纳特系数，与试验次数n有关，可由 正态分布系数表查得
二、肖维纳特法
二、肖维纳特法
例1.3-3 试验结果同上例，试用肖维纳特法进行判别。 解：查表，当n=10时，kx=1.96。对于测量值31.0，则 有：
xi x 31.0 25.8 5.2 kxS 4.1
一、拉依达法
4.另外，当测量值与平均值之差大于2倍标准偏差
（即│ xI— x │＞2S）时，则该测量值应保留，但需
存疑。如发现生产（施工）、试验过程中，有可疑的变 异时，该测量值则应予舍弃。
5.拉依达法简单方便，不需查表，但要求较宽,当 试验检测次数较多或要求不高时可以应用，当试检测次 数较少时(如n＜10),在一组测量值中即使混有异常值， 也无法舍弃。
可疑数据的取舍方法
可疑数据的取舍方法当我们进行数据分析或研究时，经常会遇到一些可疑数据，这些数据可能是错误的、异常的或者无意义的。
在分析中使用这些可疑数据可能会导致错误的结论或误导。
因此，正确地挑选和处理可疑数据是非常重要的。
以下是一些可疑数据的取舍方法：1. 数据质量检查：首先，我们应该对数据进行质量检查，以确定哪些数据属于可疑数据。
这些检查可以包括查找缺失值、非数字字符、极端值、不合理值等。
通过这些检查，我们可以较快地识别出问题数据。
2. 数据可信度评估：对于可疑数据，我们需要对其可信度进行评估。
在评估可信度时，可以考虑数据来源的可靠性、收集数据的方法和过程、数据记录的一致性等因素。
如果数据来自于一个不可信的来源或者存在一些不一致性，那么这些数据应该被视为可疑数据，并且应该考虑排除它们。
3. 数据分布分析：数据分布的分析可以帮助我们理解数据的特征和模式。
如果可疑数据与其他数据存在显著的差异，那么这些数据可能是异常数据。
通过绘制直方图、箱线图等图表可以更直观地观察数据的分布情况。
4. 上下文分析：在分析可疑数据时，我们应考虑到数据所处的背景和环境。
如果这些数据在特定的背景下无法被解释，那么它们可能是错误的或异常的。
我们可以通过与其他相关数据或可信的指标进行比较来验证数据的合理性。
5. 数据修复：如果可疑数据的原因是显而易见的错误或者缺失值，我们可以尝试进行数据修复。
修复数据的方法包括插值、平均值替代、回归模型等。
但是，在进行数据修复时，我们应该注意修复方法的适用性和局限性。
6. 数据剔除：对于那些无法修复或无法解释的可疑数据，我们应该考虑将其从分析中剔除。
剔除数据的原则是数据的可靠性和代表性。
这种方法适用于可疑数据对分析结果产生较大影响的情况。
7. 敏感性分析：对于那些无法确定是否剔除的可疑数据，我们可以进行敏感性分析。
敏感性分析是在不同情景和假设下对数据进行分析，以了解可疑数据对结果的影响。
通过敏感性分析，我们可以评估可疑数据的影响程度，从而决定该是否保留或剔除。
试验检测中数据的修约与取舍
试验检测中数据的修约与取舍[摘要] 工程质量的评价是以试验检测数据位依据的，试验检测采集得到的原始数据类多量大，有时杂乱无章，甚至还有错误，因此对试验检测得到的原始数据进行合理的修约后才能得到可靠的试验检测结果。
本文通过介绍试验数据的修约规则和取舍方法，说明了数据处理在工程中的实际意义。
[关键词] 试验数据修约取舍1.前言工程质量的评价是以试验检测数据位依据的，试验检测采集得到的原始数据类多量大，有时杂乱无章，甚至还有错误，因此对试验检测得到的原始数据进行合理的修约后才能得到可靠的试验检测结果。
2.数据的修约规则2.1数据分类质量数据就其本身的特性来说，可以分为计量值数据和计数值数据。
（1）计量值数据。
计量值数据是可以连续取值的数据，表现形式是连续型的。
如长度、厚度、直径、强度等质量特征，一般都是可以用检测工具或仪器等测量（或试验）的，类似这些质量特征的测量数据，一般都带有小数，如长度为1.15m、1.18m等。
在工程质量检验中得出的原始检验数据大部分是计量值数据。
（2）计数值数据。
有些反映质量状况的数据是不能用测量器具来度量的。
为了反映或描述属于这种类型内容的质量状况，而又必须用数据来表示时，便采用计数的办法，即用1、2、3、…连续地数出个数或次数，凡属于这样性质的数据即为计数值数据。
2.2数据的修约条件数据获得后，还涉及数据的定位问题，也就是对规定精确程度范围之外的数字如何取舍的问题。
（1）修约间隔系确定修约保留位数的一种方式。
修约间隔的数值一经确定，修约值即应为该数值的整数倍。
主要有0.1单位修约、0.2单位修约、0.5单位修约、1单位修约等。
例如指定修约间隔为0.1，修约值即应在0.1的整数倍中选取，相当于将数值修约到一位小数。
（2）有效位数对没有小数位且以若干个零结尾的数值，从非零数字最左一位向右数得到的位数减去无效零(即仅为定位用的零)的个数；对其他十进位数，从非零数字最左一位向右数而得到的位数，就是有效位数。
可疑数据的取舍,格勒布斯(Grubbs)方法
可疑数据的取舍,格勒布斯(Grubbs)方法
郑金安
【期刊名称】《上海国土资源》
【年(卷),期】1980(000)002
【摘要】一、引言由试验室提供的土的物理力学性质指标或野外原位测试所提供的测定数据中,有时在同一土层中的一个样本数据中,往往可能有一个或数个过大或过小的数据。
过去地质人员根据主观的判断加以取舍。
结果,数据的取舍因人而异,缺乏统一的准则。
一般讲取自于同一土层的一个样本数据应该都来自同一土层,但是由于试验或测试上的原因,混入了另一个土层的数据;另一种可能是土样取自“过渡层”或二层交界面的情况确实是存在的,对于这种数据的取舍问题过去也往往采用人为的舍弃,这样的数据往往在值上的反映是过小或过大,我们
【总页数】4页(P27-30)
【作者】郑金安
【作者单位】上海勘察院
【正文语种】中文
【中图分类】F27
【相关文献】
1.浅谈可疑数据的取舍方法——格拉布斯法 [J], 雷晓平
2.统计分析中可疑数据的取舍 [J], 闵传新
3.运用数理统计取舍分析中的可疑数据 [J], 高增臣
4.论《隆福寺格斯尔》与木刻本《格斯尔》的双重关系:《隆福寺格斯尔》第十、十二章文本对比分析 [J], 玉兰;
5.PC-1500袖珍计算机在实验数据可疑值取舍中的应用 [J], 李昌世;邹帮仁
因版权原因，仅展示原文概要，查看原文内容请购买。
可疑数据的取舍.
该数据坚决弃舍，否则就不能随便将它弃舍，而必须用统计方法
来判断是否取舍。取舍的方法很多，其中Q检验法比较严格而且 使用比较方便。在此介绍Q检验法和4 d 法。
2
例题
测定碱灰总碱量（%Na2O)得到6个数据，按其大小顺序
排列为40.02，40.12，40.16，40.18，40.18，40.20。第一
x
0.1033 0.1060 0.1035 0.1031 0.1022 0.1037 6
0.1036
3. 求出标准偏差s：
2 2 0.00032 0.00242 0.0001 0.00052 0.0001 0.00142 s 0.0013 6 1
可疑数据的取舍
Q 值检验法
可疑数据的 取舍
4 d 检验法
可疑值的取舍
分析工作者获得一系列数据后，需要对这些数据进行处理。 在一组平行测定的数据中，有时会出现较为离群的数据（一个甚 至多个），这些数据称为可疑值(doubtful value)或离群值（ divergent value）。如这些数据是由实验过失造成的，则应该将
Q 计算
x n x n 1 1.40 1.31 0.60 x n x1 1.40 1.25
查表 2-4， n = 4 ，
Q0.90 = 0.76
Q计算 < Q0.90
故 1.40 应保留。
8
例4-3 某矿石中钒的含量(%)，4次分析测定结果为
20.39、20.41、20.40和20.16，Q检验法判断20.16是否弃
若 Q > Qx 舍弃该数据, （过失误差造成）
若 Q ≤ Qx 保留该数据, （随机误差所致）
表1-9 不同置信度下舍弃可疑数据的Q值
可疑值取舍的方法
可疑值取舍的方法
在面对可疑值时，可以采用以下方法进行取舍：
1. 反复测量：如果存在可疑值，可以进行多次测量，比较各次结果，找出重复性较好的数据。
2. 查看可疑值的来源：检查实验或观察过程中是否存在可能导致异常结果的误操作或异常情况，如仪器故障、操作失误等。
3. 使用统计方法：将可疑值与其他测量值进行比较，如果可疑值与其他数据差异显著，可以考虑将其排除。
4. 验证测量结果与预期结果之间的一致性：根据实验或观察的目的，对结果进行合理性判断，例如与已有理论或经验知识进行对比。
5. 参考相关文献或领域专家的建议：查阅相关文献或咨询领域专家，以获得更多关于可疑值的解释和建议。
6. 其他辅助方法：如使用误差棒图、回归分析、再测量等方法来评估可疑值的影响和重要性。
最终，取舍可疑值时需要全面考虑以上因素，并结合具体情况进行综合判断，以
确保得到尽可能准确和可靠的结果。