第四讲 统计分析及数据处理

第四讲 统计分析及数据处理一、描述性统计分析在统计工具箱中，一般将向量视为随机样本，如果分析对象是矩阵，则将矩阵的每一列视为随机变量的样本。

mean(x) 当x 为向量，返回向量的均值，当x 为矩阵，返回矩阵每列元素均值构成的行向量。

特例min 、max 、sort 、median 、std 、var 、sum 、prod 、cumsum 、cumprod 等函数的用法与mean 类似。

cov(x,y) 求样本x 与y 的协方差。

（11()()1n x y i i i S x x y y n ==---∑）cov(X) 这里X 是矩阵，将矩阵各列看成一个样本，求样本的协方差矩阵。

corrcoef 用法与cov 类似，求相关系数或相关系数矩阵。

（xyxy x y S R s s =）[y,I]=sort(x) 当x 为向量，y 返回x 的升序排列，I 返回y 各元素原来的位置，即y=x(I)，当x 为矩阵，分别对各列排序。

如果要按降序排列，[y,I]=sort(x,’descend ’)，如果要将矩阵的各行排序，[y,I]=sort(x,2)。

[y,I]=sortrows(x,k) 将矩阵x 的各行按第k 列的升序排列.y=prctile(x,p) 当x 为向量，y 返回x 的p%下分位数，当x 为矩阵，分别求各列的下分位数。

相关知识：样本百分位数（percentiles ） 将样本()12,,,n x x x 按升序排列为()(1)(2)(),,,n x x x ，则样本的p%下分位数表示这样一个值p x ：比p x 小的样本占总样本数的p%，当p=50时的下分位数称为中位数。

trimmean(x,p) 剔除上下各(p/2)%数据以后的均值。

例4.1：data=[11 57 29;13 54 78;10 66 54;9 46 37;16 75 24;15 70 56;9 40 31];观察下列指令的运行结果：mean(data)std(data)var(data) %考虑var(data)与std(data)的关系cov(data)corrcoef(data)[y,I]=sort(data)[y,I]=sortrows(data ，2)prctile(data,[25,50])median(data)trimmean(data,20)二、概率函数y=pdf(dist,x,p1,p2,…) 返回以p1,p2,…为参数的服从dist 分布的概率密度函数（Probability density functions ）在x 处的值。

常用分布及相关参数为：dist 说明 参数 ‘bino ’ or ‘Binomial ’ 二项分布B(n,p) n,p‘chi2’or ‘Chisquare’χ2分布χ2(n) n‘exp’or ‘Exponential’指数分布μ‘f’or ‘F’F分布F(n1,n2) n1,n2‘norm’or ‘Normal’正态分布N(μ,σ) μ,σ‘poiss’or ‘Poisson’泊松分布P(λ)，λ‘t’or ‘T’t-分布T(n) n‘unif’or ‘Uniform’连续型均匀分布U(a,b) a,b‘unid’or ‘Discrete Uniform’离散型均匀分布U(n)y=cdf(dist,x,p1,p2,…) 返回dist分布在x处的分布函数值(Cumulative distribution functions)。

y=icdf(dist,x,p1,p2,…) 求逆分布函数值（即下分位数）y=normpdf(x,mu,sigma) 正态分布N(mu,sigma)的概率密度值p=normcdf(x,mu,sigma) 正态分布N(mu,sigma)的分布函数值x=norminv(p,mu,sigma) 正态分布N(mu,sigma)的p下分位数。

例4.2：观察下列指令，并解释其概率意义。

>> a=normpdf(90,80,10)-normpdf(70,80,10)>> b=normcdf(90,80,10)-normcdf(70,80,10)>> p=(1-b)/2;c=norminv(p,80,10)>> d=norminv(1-p,80,10)>> pdf('norm',90,80,10)>> p=cdf('norm',90,80,10)>> icdf('norm',p,80,10)>> icdf('t',0.95,20)>> pdf('bino',5,10,0.5)三、统计推断1、参数估计[mu,sigma,muci,sigmaci]=normfit(x,alpha) 正态总体N(μ, σ2)的参数估计，x 为样本数据，alpha 为显著性水平（缺省值为0.05），输出mu 和sigma 为总体均值和标准差的点估计值，muci 和sigmaci 为相应的区间估计。

phat=mle(data,’distribution ’,dist) 根据数据data ，求分布dist 中参数的极大似然估计phat 。

2、假设检验ttest 单样本的t-检验，主要格式：[h,p]=ttest(x,m,name,value) 检验零假设0:H m μ=，其中x 是来自方差未知的正态总体。

输出h 的值为0或1，若h=1，则拒绝零假设，否则若h=0，则不能拒绝零假设；同样，p 值的大小也可以对假设进行推断，若p<alpha,则拒绝原假设。

name 和value 是可选的成对的属性及其取值，主要控制显著性水平和被择假设，如’alpha ’属性表示显著性水平（缺省值为0.05），’tail ’表示被择假设的类型，tail=0（默认）表示1:H m μ≠（双侧检验），tail=1表示1:H m μ>，tail=-1表示1:H m μ<。

ttest2 两个独立的正态总体的均值是否相等的假设检验。

[h,p]=ttest2(x,y,name,value) 其中x 是来自正态总体N(μ1, σ12)的样本，y 是来自N(μ2, σ22)的样本，方差均未知，零假设012:H μμ=。

成对参数选项与ttest 相同之外，还有属性’vartype ’，可选值为’equal ’(表示方差相等)和’unequal ’（表示方差不等）。

3、分布的检验h=jbtest(x) 检验样本数据x 是否来自均值和方差未知的正态总体，返回值h=1表示拒绝来自正态总体的假设，h=0则做出相反的结论。

h=kstest(x) 检验样本数据x 是否来自标准正态分布的总体。

h=kstest2(x,y) 检验两个数据样本x 和y 是否具有相同的连续分布，若h=1,则拒绝原假设，即x 和y 是来自不同的分布。

例4.3：>> x=randn(200,1); %生成来自标准正态分布的200个随机数>> [h,p]=kstest(x) %检验是否服从标准正态分布h = 0 %接受原假设，即服从标准正态分布 p = 0.7723 % p>0.05 ,同样表示接受原假设>> [mu,sigma,muci,sigmaci]=normfit(x) %参数估计mu = 0.0252 %均值的点估计值sigma = 1.0883 %标准差的点估计值muci = -0.12650.1769 %均值的区间估计sigmaci = 0.99111.2068 %标准差的区间估计>> h=ttest(x) %检验均值是否为0h = 0 %接受原假设例4.4：>> x=binornd(10,0.8,200,1); %生成服从二项分布B(10,0.8)的200个随机数>> mle(x,'distribution','bino','ntrials',10) %对B(10,p)中参数p的极大似然估计ans = 0.8065例4.5：测得一批钢件的20个样品的屈服点（单位：T/mm2）为4.985.11 5.20 5.11 5.00 5.61 4.88 5.27 5.38 5.205.46 5.27 5.23 4.96 5.35 5.15 5.35 4.77 5.33 5.54并假设屈服点服从正态分布。

已知总体均值为5.20，试判断该样本均值与总体均值之间是否有显著差异。

即检验原假设0: 5.20H x>> x=[4.98 5.11 5.20 5.11 5.00 5.61 4.88 5.27 5.38 5.20 ...5.46 5.27 5.23 4.96 5.35 5.15 5.35 4.77 5.33 5.54]; >> [h,p,ci]=ttest(x,5.20) %总体均值的t-检验h = 0 %接受原假设，即样本均值等于5.20p = 0.8796 % p>0.05 ，同样表示接受原假设ci = 5.1052 5.3098 %样本均值的置信区间例4.6：对两种不同的水稻品种A，B分别统计了8个地区的单位面积产量（单位：kg）。

品种A：86 87 56 93 84 93 75 79品种B：80 79 58 91 77 82 76 66试检验两个水稻品种的单位面积产量之间是否有显著差异。

即检验原假设0:A BHμμ=>> x=[86 87 56 93 84 93 75 79];>> y=[80 79 58 91 77 82 76 66 ];>> [h,p,ci]=ttest2(x,y) %两个正态总体均值相等的t-检验h = 0 %接受原假设，即两个品种没有显著差异p = 0.3393 %p>0.05，接受原假设ci = -6.4236 17.4236 %均值差的置信区间例4.7：下面列出了84个伊特拉斯坎（Etruscan）人男子的头颅的最大宽度（mm），试检验这些数据是否服从正态分布。

141 148 132 138 154 142 150 146 155 158150 140 147 148 144 150 149 145 149 158143 141 144 144 126 140 144 142 141 140145 135 147 146 141 136 140 146 142 137148 154 137 139 143 140 131 143 141 149148 135 148 152 143 144 141 143 147 146150 132 142 142 143 153 149 146 149 138142 149 142 137 134 144 146 147 140 142140 137 152 145在命令窗口输入：>> x=[141 148 132 138 154 142 150 146 155 158 ...150 140 147 148 144 150 149 145 149 158 ...143 141 144 144 126 140 144 142 141 140 ...145 135 147 146 141 136 140 146 142 137 ... 148 154 137 139 143 140 131 143 141 149 ... 148 135 148 152 143 144 141 143 147 146 ... 150 132 142 142 143 153 149 146 149 138 ... 142 149 142 137 134 144 146 147 140 142 ... 140 137 152 145];>> [h,p,jbtest,cv]=jbtest(x) %正态总体分布的假设检验h = 0 %接受原假设，即服从正态分布p = 0.5000 %p>0.05，与上述结论一致jbtest = 0.7399 %检验统计量cv = 5.3417 %拒绝零假设的临界值，即拒绝域为（5.3417，+∞）四、插值和曲线拟合在生产实践和科学研究中，常常有这样的问题：由实验或测量得到变量间的一批离散样本点，要求得到变量之间的函数关系或得到样本点之外的数据。