第二章 数据处理

合集下载

第二章误差和数据处理教程

第二章误差和数据处理教程

能随意增加或减少。
一、有效数字
(significant figure)
滴定管读数保留到2位小数, 18.43 ml
有效数字不仅能表示数值的 大小,还可反映测量的精确程 度。
如何判断有效数字的位数?
1.在数据中,1至9均为有效数字 2.首位数字8或9时,有效数字可以多计一位 例:90.0% ,可示为四位有效数字 4.变换单位时,有效数字的位数必须保持不变 例:10.00[mL]→0.001000[L] 均为四位 5..pH,pM,pK,lgC,lgK等对数值,其有效数字的 位数取决于小数部分(尾数)数字的位数,整数部 分只代表该数的方次 例:pH = 11.20 → [H+]= 6.3×10-12[mol/L] 两位
w 0.2000g
续前
2)滴定 例:滴定管一次的读数误差为0.01mL,两次的读数误差 为0.02mL,RE%≤0.1%,计算最少移液体积?
2 0.01 RE % 100% 01% . V
V 20 mL
四、提高分析结果准确度的方法
3.增加平行测定次数,一般测3~4次以减小偶然误差 4.消除测量过程中的系统误差 1)与经典方法进行比较 2)校准仪器:消除仪器的误差 3)空白试验:消除试剂误差 4)对照实验:消除方法误差 5)回收实验:加样回收,以检验是否存在方法误差
偏差越小→数据越集中→精密度越高;
偏 差 的 表 示 方 法
•偏差:单次测量值与平均值之差
d xi x
•平均偏差:各个偏差绝对值的平均值。
d

i 1
n
xi x n
•相对平均偏差:平均偏差与平均值的比值。
d 相对平均偏差 (%) 100% x

数量生态学(第二版)第2章 数据处理

数量生态学(第二版)第2章 数据处理

第二章数据的处理数据是数量生态学的基础,我们对数据的类型和特点应该有所了解。

在数量分析之前,根据需要对数据进行一些预处理,也是必要的。

本章将对数据的性质、特点、数据转化和标准化等做简要介绍。

第一节数据的类型根据不同的标准,数据可以分成不同的类型。

下面我们将介绍数据的基本类型,它是从数学的角度,根据数据的性质来划分的;然后叙述生态学数据,它是根据生态意义而定义的,不同的数据含有不同的生态信息。

一、数据的基本类型1、名称属性数据有的属性虽然也可以用数值表示,但是数值只代表属性的不同状态,并不代表其量值,这种数据称为名称属性数据,比如5个土壤类型可以用1、2、3、4、5表示。

这类数据在数量分析中各状态的地位是等同的,而且状态之间没有顺序性,根据状态的数目,名称属性数据可分成两类:二元数据和无序多状态数据。

(1)二元数据:是具有两个状态的名称属性数据。

如植物种在样方中存在与否,雌、雄同株的植物是雌还是雄,植物具刺与否等等,这种数据往往决定于某种性质的有无,因此也叫定性数据(qualitative data)。

对二元数据一般用1和0两个数码表示,1表示某性质的存在,而0表示不存在。

(2)无序多状态数据:是指含有两个以上状态的名称属性数据。

比如4个土壤母质的类型,它可以用数字表示为2、1、4、3,同时这种数据不能反映状态之间在量上的差异,只能表明状态不同,或者说类型不同。

比如不能说1与4之差在量上是1与2之差的3倍,这种数据在数量分析中用得很少,在分析结果表示上有时使用。

2.顺序性数据这类数据也是包含多个状态,不同的是各状态有大小顺序,也就是它一定程度上反映量的大小,比如将植物种覆盖度划为5级,1=0~20%,2=21%~40%,3=41%~60%,4=61%~80%,5=81%~100%。

这里1~5个状态有顺序性,而且表示盖度的大小关系。

比如5级的盖度就是明显大于1级的盖度,但是各级之间的差异又是不等的,比如盖度值分别为80%和81%的两个种,盖度仅差1%,但属于两个等级4和5;而另外两个盖度值分别为41%和60%,相差19%,但属于同一等级。

试验数据处理

试验数据处理

2.1.2 常用统计量
一. 极差R
又称为变异幅,是一组数据中最大值同最小值 之差。 R xmax xmin 它表示一组数据中的最大离散程度。
二. 和、平均值
和指数据的总和, 常用T表 x i 为观察值。 示: T x , 平均值是表示平均水平的定量指标,
n i 1 i
x

1 n
N
E(x) 表示了 {xi } 的集聚中心位置。 标准差 表示确定了分布曲线的胖瘦。 越小, {xi } 分布的越窄,说明测定时误差小的占 优势,测定值对真值的离散程度小、精度高。
(1) 的大小决定于测定条件。尽管N次等精度测定的误差 的大小和正负都不同,但它们的 是相同的,单次测定的 质量都可用一个 来评定。 (2)标准差计算时,必须具备以下条件: a 已知真差 b 测量中不存在系统误差 c 测量次数尽量多,最好是 N
2.3.1 出现“坏值”时先做以下处理
(1)检查测量过程中是否读错、记错、写 错,如肯定无误,则应从某瞬变原因方面 查找(如电压突变等),原因找到后即可 去掉坏值。 (2)如条件允许,可在误差大处加大测量 次数,借以发现大误差的原因。 (3)用已知的统计学判据,确认“坏值” 的存在。
2.3.2 剔除坏值的莱依塔判据
S T ( xi x )
i 1
四.自由度与平均偏差平方和(方 差)、标准差
• 自由度f就是平均偏差平方和中独立平方的数据个 数。 • 存在目标值 x0 时 , f n • 不存在目标值 x0 时, f n 1 1 n VT ( xi x0 ) 2 • 存在目标值时,总的方差: n i 1 • 不存在目标值时,总的方差: 1 n 2
3. 随机变量x、y的协方差

第二章 误差和数据处理

第二章 误差和数据处理

双向性、不可测性、 单向性、重现性、可测性 服从统计规律 准确度 精密度 进行多次平行测定
消除或减小 校正或减免 的方法
3.提高分析结果准确度的方法
(1)选择合适的分析方法
化学分析:滴定分析,重量分析灵敏度不高,准确度高, 常量、高含量组分较合适。 仪器分析:灵敏度高,准确度不高,微量组分分析较合适。
E x xT
Er x xT 1平行测定数据相互接近的程度,平行测
定的结果相互越接近,则测定的精密度越高。 精密度通常用与平均值相关的各种偏差来表示。 (1)偏差 偏差是测量值与平均值的差值。 与误差类似,偏差也有绝对偏差和相对偏差。
(1)精密度是保证准确度的先决条件;
(2)精密度高,准确度不一定高(可能存在系统误差) ;
(3)消除系统误差后,精密度高,准确度也高。——好结果!
三、公差
生产部门对于分析结果允许误差的一种限量(允差) 。 如钢铁中碳含量的公差范围,国家标准规定下表所示:
碳含量 范围(%)
0.100.20
0.200.50 0.020
用标准样品对照
用标准方法对照
做加标回收试验
2)空白实验
在不加试样的情况下,按照与试样分析同样的步骤和条件 进行的测定,试验得到的结果称为空白值。从试样分析结果中
扣除空白值即可消除试剂、蒸馏水和实验器皿带进杂质所引起
的误差。 空白值一般不应很大,否则应采取提纯试剂或改用适当器 皿等措施来减小误差。
过失(mistake)
由粗心大意或违反操作规程引起的,可以避免的。
例如:溶液溅失、沉淀穿滤、加错试剂、读错刻度、记录
和计算错误等。非随机误差 。
弃去该结果!
系统误差与随机误差的比较

第二章 误差与数据处理

第二章 误差与数据处理

第二章误差与数据处理基本术语分析化学中的误差是客观存在的。

例如,设有一铁的标准样品,其含铁的标准值为T。

对这一铁标准样品进行分析,即使采用最可靠的方法,使用最精密的仪器,由最有经验的分析工作者进行测定,所得的结果也不可能与T完全一致;由同一有经验的分析人员对同一样品进行多次分析,所得的结果也不可能完全一致。

1、准确度准确度表征测定结果与真实值的符合程度。

准确度的高低用误差来衡量。

测量值与真实值之间差别越小,则分析结果的准确度越高。

2、精密度精密度表征几次平行测量值相互符合程度。

精密度的高低用偏差来衡量。

平行测定所得数据间差别越小,则分析结果的精密度越高。

3、精密度与准确度的关系例:A、B、C、D四个分析人员对同一铁标样(w Fe=37.40%)中的铁含量进行测量,结果如图示,比较其准确度和精密度?精密度与准确度的关系可表示为:1.精密度是保证准确度的前提;2.精密度高,不一定准确度高。

4、系统误差系统误差是由某种固定的原因造成的误差。

具有重现性,系统误差的正负、大小都有一定的规律性。

在理论上讲是可以测定的,又称可测误差。

系统误差存在与否决定分析结果的准确度。

1.方法误差,由分析方法自身不足所造成的误差。

如,重量分析法中,沉淀的溶解度大,沉淀不完全引起的分析结果偏低;滴定分析中,指示剂选择不适合,滴定终点与化学计量点不符合引起的误差。

2.仪器误差,由测量仪器自身的不足所引起的误差。

如,容量仪器体积不准确;分光光度计的波长不准确。

3.试剂误差,由于试剂不纯引起的误差。

如,试剂和蒸馏水含有待测组分,使测定结果系统偏高。

4.操作误差由分析人员的主观原因造成的误差。

如分析人员掌握的分析操作与正确的分析操作有差别;分析人员对颜色敏感度的不同等。

5、随机误差(亦称偶然误差)随机误差是由某些不确定的偶然的因素引起的误差。

例如,测量时环境温度、湿度和气压的微小波动;仪器电源的微小波动;分析人员对各份试样处理的微小差别等。

分析化学:第二章_误差和分析数据处理二

分析化学:第二章_误差和分析数据处理二
• 数据中第一个非零数字之后的“0”都是有意义的。 如20.80ml有四位有效数字。若略去末尾的“0”, 即20.8ml,只有三位有效数字。因此数据末尾的 “0”是不能随意略去的。整数不能确定“0”是否为 有效数字时,需根据需要进行判断。
化学分析
第二章 误差和分析数据处理
4
• 对于很小的数字,可用指数形式表示。例如,离 解常数Ka=0.000018,可写成Ka=1.8×10-5;很大的 数字也可采用这种表示方法。例如2500L,若为 三位有效数字,可写成2.50×103L。
• 例如,0.0121×25.64×1.0578=0.328,其中,有 效数字位数最少的0.0121相对误差最大,故计 算结果应修约为三位有效数字。
化学分析
第二章 误差和分析数据处理
11
• 3. 百分数表示 • 高含量组分(>10%),保留四位有效数字; • 中含量组分(1~10%),保留三位有效数字; • 低含量组分(<1%),保留两位有效数字。 • 4. 其他运算 • 乘方或开方,结果的有效数字位数不变,
化学分析
第二章 误差和分析数据处理
19
3.正态分布曲线规律:
• (1) x=μ时,y值最大,体现了测量值的集中趋 势。说明误差为零的测量值出现的概率最大。 大多数测量值集中在算术平均值的附近。
• (2) 曲线以x=μ这一直线为其对称轴,说明绝对 值相等的正、负误差出现的概率相等。
• (3) 当x趋于-∞或+∞时,曲线以x轴为渐近线。 即小误差出现概率大,大误差出现概率小。
化学分析
第二章 误差和分析数据处理
5
• 对pH、pM、lgc、lgK等对数值,其有效数字的
位数仅取决于小数部分数字的位数,整数部分 只说明其真数的方次。如pH=11.02,即[H+]= 9.6×10-12mol/L,其有效数字为两位而非四位。

检测技术 第二章:误差分析与数据处理

检测技术 第二章:误差分析与数据处理

可以得到精确的测量结果,否则还可能损坏仪器、设备、元器件等。
2.理论误差 理论误差是由于测量理论本身不够完善而采用近似公式或近似值计算测量 结果时所引起的误差。例如,传感器输入输出特性为非线性但简化为线性 特性,传感器内阻大而转换电路输入阻抗不够高,或是处理时采用略去高 次项的近似经验公式,以及简化的电路模 型等都会产生理论误差。
误差,周期性系统误差和按复杂规律变化的系统误差。如图2.1所示,其中1为定值系差,2 为
线性系统误差,3为周期系统误差,4为按复杂规律变化的系统误差。 系统误差的来源包括仪表制造、安装或使用方法不正确,
测量设备的基本误差、读数方法不正确以及环境误差等。
系统误差是一种有规律的误差,故可以通过理论分析采 用修正值或补偿校正等方法来减小或消除。
•理论真值又称为绝对真值,是指在严格的条件下,根据一定的理论,按定义确定的数值。 例如三角形的内角和恒为180°一般情况下,理论真值是未知的。 •约定真值是指用约定的办法确定的最高基准值,就给定的目的而言它被认为充分接近于 真值,因而可以代替真值来使用。如:基准米定义为“光在真空中1/299792458s的时间 间隔内行程的长度”。测量中,修正过的算术平均值也可作为约定真值。
表等级为0.2级。
r=
0.12 100% 100% 0.12 A 100
在选仪表时,为什么应根据被测值的大小,在满足被测量数值范围的前提下,尽可能 选择量程小的仪表,并使测量值大于所选仪表满刻度的三分之二。在满足使用 要求时,满量程要有余量,一般余量三分之一,为了装拆被测工件方便。 (同一精度,量程越大,误差越大,故量程要小,但留余量)
第二章 误差分析与数据处理
三.测量误差的来源
1.方法误差 方法误差是指由于测量方法不合理所引起的误差。如用电压表测量电压时,

第二章 误差与数据处理

第二章 误差与数据处理
P ydx x f ( x ) dx
x1
1
x2
x2
这里的P就是在x1~x2这个范围内测量值出现的 概率, 在正态分布曲线图上表现为曲线下x=x1和 x=x2两条直线之间所夹的面积。
为了把一个普通的正态分布转换为标准正态分布,
xμ 设 u u称为标准正态变量 σ
x为测定值,µ 为总体平均值,σ总体标准偏差。
二 偶然误差(随机误差)
由不确定原因产生
1.特点:
1)不具单向性(大小、正负不定)
2)不重复、不可测定 3)不可消除(原因不定)
但可减小(测定次数↑)
4) 分布服从统计学规律(正态分布)
二 偶然误差(随机误差)
偶然误差的分布
消除系统误差后,同样条件下重复测定,偶然
重复性和再现性的差别
在相同条件下,对同一样品进行多次重复测定,所
得数据的精密度称为方法的重复性。 在不同条件下,用同一方法对相同样品重复测定多 次,所得数据的精密度称为分析方法的再现性。
2-4 随机误差的分布规律
测量值x的分布规律——正态(高斯)分布曲 x 线 1
2
y f x
解: x 10 .43 %
d

n
di
0 .036 % × dr%= d × 100 % 100 % 0 . 35 % x 10 .43 %
s
0 . 18 % 0 . 036 % 5

d i2 n 1
8 .6×10 7 4 .6 ×10 4 0 .046 % 4
准确度低 精密度高
准确度高 精密度差
准确度高 精密度高
准确度低 精密度差
测量点
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

存时为.ctl。
练习:为data.grd文件(刚才进行数据转 换得到的新文件)编写数据描述文件
data.ctl。
dset data.grd undef -9.99E+33 title NCEP/NCAR REANALYSIS PROJECT xdef 37 linear 60.0 2.5 ydef 17 linear 0.0 2.5 zdef 2 levels 850 200 tdef 48 linear JAN1982 1mo vars 3 u 2 99 u wind(m/s) v 2 99 v wind(m/s) sst 0 99 TSFC DATA endvars
XDEF 80 LINEAR -140.0 1.0
YDEF 50 LINEAR 20.0 1.0
ZDEF 10 LEVELS 1000 850 700 500 400 300 250 200 150 100
TDEF 4 LINEAR 0Z10apr1991 12hr
vars 6 slp 0 0 sea level pressure z 10 0 heights t 10 0 temps td 6 0 dewpoints u 10 0 u winds v 10 0 v winds endvars
第二章 数据处理
2.1 各类数据格式的特点

一般二进制无格式直接或者顺序记录
的数据格式:可以是格点数据或站点 数据,可以用Fortran或者C语言读写。

Binary格式数据

常用后缀.dat .grd .bin , ……


需要.ctl文件一起使用
是无格式文件(form=‘unformatted’)
3.数据描述文件的构成
(1)每个数据描述文件一般包含以下几项: 被描述的数据文件名(dset) 该数据说明文件的标题(title) 数据类型、格式和选项(dtype,format,option) 时间、空间维数环境设置 (xdef,ydef,zdef,tdef) 变量定义(vars,endvars)
3. 举例(格点资料)
现有ASCII码(十进制存放格式)数 据资料文件u.dat、v.dat和SST.dat,其空间 范围:60-150°E,0-40°N;层次:u、v 为850、 200hPa;时段:1982.1-1985.12; 分辨率:2.5*2.5。要求编写出将这三个文 件转换成二进制无格式直接存取(Grads 格式.grd)文件的Fortran程序。
50 continue
do 51 iz=1,nz
read(2,*) ((v(i,j,iz,it),i=1,nx),j=1,ny)
51 continue
read(3,*) ((sst(i,j,it),i=1,nx),j=1,ny)
100 continue
do 200 it=1,nt do 30 iz=1,nz write(12) ((u(i,j,iz,it),i=1,nx),j=1,ny) 30 Continue do 31 iz=1,nz write(12) ((v(i,j,iz,it),i=1,nx),j=1,ny) 31 continue write(12) ((sst(i,j,it),i=1,nx),j=1,ny) 200 continue end
时间表示法 :hh:mmZddmmmyyyy 时间增量表示法:vvkk

VARS number
表示变量描述开始,同时给出变 量个数number 。 用ENDVARS表示数据描述文件结 束。
4.数据描述文件的建立 数据描述文件为纯文本格式,可 用一般的编辑器产生(如记事本,写 字板等)。描述文件编辑完成后,保
如果不考虑采用无格式直接方式存取文件的话, 可以使用下面的编程形式,较为简单。 parameter(nx=37,ny=17,nz=2,nt=48) dimension u(nx,ny,nz,nt), # v(nx,ny,nz,nt), sst(nx,ny,nt) open(1,file='u.dat')
2.3 数据描述文件
GrADS绘图不能直接使用“数据文 件”,而是通过“数据描述文件”间
接使用“数据文件”。
1. 数据描述文件的概念
数据描述文件是原始数据文件的描 述文件。
2. 数据描述文件的形式
以下是一个格点数据描述文件的例子:
* this is an example to demonstrate the data descriptor file DSET ua.dat TITLE Upper Air Data DTYPE grid OPTION byteswapped UNDEF -9.99E33

GRIB格式数据

等 常用后缀.grb 需.ctl和.idx文件一起使用 用grib2ctl.pl生成数据说明(描述)文件.ctl $ perl grib2ctl.pl test.grb 用gribmap –i test.ctl 生成映射文件.idx $ gribmap –i test.ctl 在GrADS中处理 ga->open grib.ctl
open(2,file='v.dat')
open(3,file='sst.dat')
c 打开目标文件,recl为记录的长度,对于直 接存取文件必须指定记录长度 。 open(12,file=‘data.grd',form='unformatted',
# access='direct', recl=nx*ny*4)
定义Y方向格点与纬度的映射关系

ZDEF number mapping <start increment>
或ZDEF number <value-list>
设置气压面与垂直网格点的映射关系。

TDEF number LINEAR start-time increment
设置网格值与时间的映射关系 。
open(2,file='v.dat')
open(3,file='sst.dat')
open(12,file=‘data.grd',form=‘binary')
do 100 it=1,nt do 50 iz=1,nz read(1,*) ((u(i,j,iz,it),i=1,nx),j=1,ny)
2.2 数据文件的转换
1. 转换方法
转换文件的数据存放格式,一般 是通过Power Station或Visual Fortran
等软件使用Fortran或者C语言来编程
转换。
2.数据存放形式
数据排放顺序为:经度、纬度、层次,
然后是物理变量,最后是时次变化 。
Write(10,rec=1)(((temp(I,j,k),i=1,18),j=1,9),k=1,5)
Fortran程序编写如下:
C 定义一个X,Y,Z方向的格点数以及总时次nt parameter(nx=37,ny=17,nz=2,nt=48) c 定义数组 dimension u(nx,ny,nz,nt), v(nx,ny,nz,nt),
sst(nx,ny,nt)
c 打开原始数据文件 open(1,file='u.dat')
c按一定格式把数据文件读入,irec为记录累加器 irec=0 do 100 it=1,nt do 50 iz=1,nz irec=irec+1 read(1,rec=irec) ((u(i,j,iz,it),i=1,nx),j=1,ny) 50 continue do 51 iz=1,nz irec=irec+1 read(2,rec=irec) ((v(i,j,iz,it),i=1,nx),j=1,ny) 51 continue irec=irec+1 read(3,rec=irec) ((sst(i,j,it),i=1,nx),j=1,ny) 100 continue
c 将数据资料写入新文件中, irec重新进行记录累加 irec=0 do 200 it=1,nt do 30 iz=1,nz irec=irec+1 write(12,rec=irec) ((u(i,j,iz,it),i=1,nx),j=1,ny) 30 continue do 31 iz=1,nz irec=irec+1 write(12,rec=irec) ((v(i,j,iz,it),i=1,nx),j=1,ny) 31 continue irec=irec+1 write(12,rec=irec) ((sst(i,j,it),i=1,nx),j=1,ny) 200 continue end
(2)数据描述文件中各记录的含义:

DSET data-set-name
给定二进制原始数据文件的文件 名(可包含路径)。

TITLE string
用字符串string简略描述数据文件 的内容。

UNDEF value
定义缺测值。
OPTIONS <keywords> 定义数据格式选项,keywords 有: <yrev> <zrev> <sequential> <byteswapped> <template> <big-endian> <little-endian>

netCDF格式数据



自定义数据格式,精确性好,便于传输 ECMWF/NCEP再分析资料等 常用后缀.nc 自带数据内容说明(自描述) 标准NC格式,GrADS可直接处理 ga->sdfopen absolute.nc 非标准NC,写.ddf描述文件(v1.8)后可处 理 ga->xdfopen absolute.ddf
相关文档
最新文档