不确定线性系统的可达集估计

线性回归标准曲线法不确定度(检验检疫)

仪器分析中线性回归标准曲线法分析结果不确定度评估 一、前言 对测试方法制定不确定度评估程序是ISO/IEC 17025对实验室的要求[1]，也是检验工作的需要。由ISO 等7个国际组织联合发布的《测量不确定度表达指南》[2]采用当前国际通行的观点和方法，使涉及测量的技术领域和部门可以用统一的准则对测量结果及其质量进行评定、表示和比较，满足了不同学科之间交往的需要[3]。采用《测量不确定度表达指南》对测试结果不确定度进行评估，也是检验工作同国际标准接轨的需要。 线性回归标准曲线法是仪器分析中最常用的方法，这类仪器包括原子吸收分光光度计、发射光谱仪、分光光度计、气相（液相）色谱仪等。这类分析测定结果的不确定度都有相似的来源，可概括为仪器精密度、标准物质不确定度及溶液制备过程中带来的不确定度等。因此，可用相似的方法对它们进行评估。本文以ICP-AES 法测定钢铁中磷为例，推导了仪器分析中线性回归标准曲线法测定不确定度的计算方法，并提供了计算过程所需的各参数的采集和计算方法，评估了标准不确定度、自由度和扩展不确定度的数值。 二、测定过程和数学模型 仪器分析中线性回归标准曲线测定方法，利用被测物质相应的信号强度与其浓度成正比关系，通过测定已知浓度的溶液（即标准溶液）的信号强度，回归出浓度-信号强度标准曲线，从标准曲线上得到被测定溶液信号强度相应的浓度。计算过程的数学模型如下： 用y i 和y t 分别表示标准溶液和被测溶液的信号线强度，以x i 和x t 分别表示第i 个标准溶液和被测样品溶液的浓度，i=1~n ，n 表示标准溶液个数，则： y a bx t t =+ (1) 其中， b x x y y x x i i i n i i n = ---==∑∑()() () 1 2 1 (2) a y bx =- (3) （1）式也可表示成： x y a b t t = - (4)

线性回归推导及实例

数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合 （2-1-1） 我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，（2-1-1）式有无穷多组解，回归分析的任务是求出其最佳的线性拟合。 二、最小二乘法原理 如果把用回归方程计算得到的i值(i=1,2,…n)称为回归值，那么实际测量值y i与回归值i之间存在着偏差，我们把这种偏差称为残差，记为e i(i=1,2,3,…,n)。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为: (2-1-2) 所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线是在所 有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。下面讨论的a和b的求法。 三、正规方程组 根据微分中求极值的方法可知，Q(a,b)取得最小值应满足 (2-1-3) 由(2-1-2)式，并考虑上述条件，则 (2-1-4) (2-1-4)式称为正规方程组。解这一方程组可得 (2-1-5) 其中 (2-1-6)

(2-1-7) 式中，L xy称为xy的协方差之和，L xx称为x的平方差之和。 如果改写(2-1-1)式，可得 (2-1-8) 或 (2-1-9) 由此可见，回归直线是通过点的，即通过由所有实验测量值的平均值组成的点。从力学观点看， 即是N个散点的重心位置。 现在我们来建立关于例1的回归关系式。将表2-1-1的结果代入(2-1-5)式至(2-1-7)式，得出 a=1231.65 b=-2236.63 因此，在例1中灰铸铁初生奥氏体析出温度(y)与氮含量(x)的回归关系式为 y=1231.65-2236.63x 四、一元线性回归的统计学原理 如果X和Y都是相关的随机变量，在确定x的条件下，对应的y值并不确定，而是形成一个分布。当X 取确定的值时，Y的数学期望值也就确定了，因此Y的数学期望是x的函数，即 E(Y|X=x)=f(x) (2-1-10) 这里方程f(x)称为Y对X的回归方程。如果回归方程是线性的，则 E(Y|X=x)=α+βx (2-1-11) 或 Y=α+βx+ε(2-1-12) 其中 ε―随机误差 从样本中我们只能得到关于特征数的估计，并不能精确地求出特征数。因此只能用f(x)的估计 式来取代（2-1-11）式，用参数a和b分别作为α和β的估计量。那么，这两个估计量是否能够满足要求呢？ 1. 无偏性 把(x,y)的n组观测值作为一个样本，由样本只能得到总体参数α和β的估计值。可以证明，当满足下列条件： (1)(x i,y i)是n个相互独立的观测值 (2)εi是服从分布的随机变量 则由最小二乘法得到的a与b分别是总体参数α和β的无偏估计，即 E(a)= α E(b)=β 由此可推知 E()=E(y)

线性回归模型

线性回归模型 1.回归分析 回归分析研究的主要对象是客观事物变量之间的统计关系，它是建立在对客观事物进行大量试验和观察的基础上，用来寻找隐藏在那些看上去是不确定的现象中的统计规律性的方法。回归分析方法是通过建立模型研究变量间相互关系的密切程度、结构状态及进行模型预测的一种有效工具。 2.回归模型的一般形式 如果变量x_1,x_2,…,x_p与随机变量y之间存在着相关关系，通常就意味着每当x_1,x_2,…,x_p取定值后，y便有相应的概率分布与之对应。随机变量y与相关变量x_1,x_2,…,x_p之间的概率模型为 y = f(x_1, x_2,…,x_p) + ε（1） f(x_1, x_2,…,x_p)为变量x_1,x_2,…,x_p的确定性关系，ε为随机误差项。由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑的种种偶然因素。 当概率模型（1）式中回归函数为线性函数时，即有 y = beta_0 + beta_1*x_1 + beta_2*x_2 + …+ beta_p*x_p +ε (2) 其中，beta_0，…,beta_p为未知参数，常称它们为回归系数。当变量x个数为1时，为简单线性回归模型，当变量x个数大于1时，为多元线性回归模型。 3.回归建模的过程 在实际问题的回归分析中，模型的建立和分析有几个重要的阶段，以经济模型的建立为例：

（1）根据研究的目的设置指标变量 回归分析模型主要是揭示事物间相关变量的数量关系。首先要根据所研究问题的目的设置因变量y，然后再选取与y有关的一些变量作为自变量。通常情况下，我们希望因变量与自变量之间具有因果关系。尤其是在研究某种经济活动或经济现象时，必须根据具体的经济现象的研究目的，利用经济学理论，从定性角度来确定某种经济问题中各因素之间的因果关系。（2）收集、整理统计数据 回归模型的建立是基于回归变量的样本统计数据。当确定好回归模型的变量之后，就要对这些变量收集、整理统计数据。数据的收集是建立经济问题回归模型的重要一环，是一项基础性工作，样本数据的质量如何，对回归模型的水平有至关重要的影响。 （3）确定理论回归模型的数学形式 当收集到所设置的变量的数据之后，就要确定适当的数学形式来描述这些变量之间的关系。绘制变量y_i与x_i（i = 1,2,…,n）的样本散点图是选择数学模型形式的重要手段。一般我们把（x_i,y_i）所对应的点在坐标系上画出来，观察散点图的分布状况。如果n个样本点大致分布在一条直线的周围，可考虑用线性回归模型去拟合这条直线。 （4）模型参数的估计 回归理论模型确定之后，利用收集、整理的样本数据对模型的未知参数给出估计是回归分析的重要内容。未知参数的估计方法最常用的是普通最小二乘法。普通最小二乘法通过最小化模型的残差平方和而得到参数的估计值。即 Min RSS = ∑（y_i – hat(y_i）)^2 = 其中，hat(y_i)为因变量估计值，hat(beta_i)为参数估计值。 （5）模型的检验与修改 当模型的未知参数估计出来后，就初步建立了一个回归模型。建立回归模型的目的是应用它来研究经济问题，但如果直接用这个模型去做预测、控制和分析，是不够慎重的。因为这个模型是否真正揭示了被解释变量与解释变量之间的关系，必须通过对模型的检验才能决定。统计检验通常是对回归方程的显著性检验，以及回归系数的显著性检验，还有拟合优度的检验，随机误差项的序列相关检验，异方差性检验，解释变量的多重共线性检验等。 如果一个回归模型没有通过某种统计检验，或者通过了统计检验而没有合理的经济意义，就需要对回归模型进行修改。 （6）回归模型的运用 当一个经济问题的回归模型通过了各种统计检验，且具有合理的经济意义时，就可以运用这个模型来进一步研究经济问题。例如，经济变量的因素分析。应用回归模型对经济变量之间的关系作出了度量，从模型的回归系数可发现经济变量的结构性关系，给出相关评价的一些量化依据。 在回归模型的运用中，应将定性分析和定量分析有机结合。这是因为数理统计方法只是从事物的数量表面去研究问题，不涉及事物的规定性。单纯的表面上的数量关系是否反映事物的本质这本质究竟如何必须依靠专门学科的研究才能下定论。 Lasso 在多元线性回归中，当变量x_1,x_2,…,x_3之间有较强的线性相关性，即解释变量间出现严重的多重共线性。这种情况下，用普通最小二乘法估计模型参数，往往参数估计方差太大，使普通最小二乘的效果变得很不理想。为了解决这一问题，可以采用子集选择、压缩估计或降维法，Lasso即为压缩估计的一种。Lasso可以将一些增加了模型复杂性但与模型无关的

非线性不确定系统的鲁棒性研究

第!"卷第#期!$$$年%月自动化学报&’(&&)(*+&(,’&-,.,’&/012!"3.02#44444444444444444444555 5-6783!$$$研究简报非线性不确定系统的鲁棒性研究9:费树岷冯纯伯宋士吉;东南大学自动化研究所南京!9$$%":;<=>?@1@A B C 0A D E 6F 86G F 8C A :关键词非线性系统3不确定性3匹配条件3模有界条件3鲁棒性8 9:国家攀登计划;%H $!99$9H :I 国家自然科学基金;"%%J K $9$3"%"$J $$K : 资助项目8收稿日期9%%L =9!=!#收修改稿日期9%%%=$"=9#M N O N P M Q R S T M S U V O W T N O OX S MT S T Y Z T N P M V T Q N M W P Z T O [O W N \O ]<,-^F >@A ]<._’^F A ‘0-*._-^@a @ ;b c d c e f g hi j d k l k m k c n op m k n q e k l n j 3r n m k h c e d k s j l t c f d l k u 3ve j w l j x ! 9$$%":y z {|}~!".0A 1@A 6?#E $E %6>3F A C 6#%?@A %$3>?%C ^@A &C 0A G @%@0A 3A 0#>=‘0F A G 6G C 0A G @%@0A 3#0‘F E %A 6E E 89引言 非线性不确定系统的鲁棒性研究3早期是以在匹配条件;>?%C ^@A &C 0A G @%@0A :和广义匹配条件下3设计控制器使闭环系统达到实际稳定;7#?C %@C ?1E %?‘@%@%$ :为主’9(J )8近些年利用*+控制理论的结果3出现了对具有有界结构的非线性不确定系统的鲁棒性讨论’K (%)8 模有界结构条件下3非线性不确定系统的鲁棒性有可能达到使状态趋于平衡点3而非仅仅实际稳定8在文献’K ) 中所讨论的非线性系统3要求其非线性部分具有线性界8文献’#)首次将模有界结构条件引入到线性不确定系统的鲁棒性研究中8文献’")进一步讨论了这一结构下的鲁棒*+控制问题8而文献’H ) 则研究了另一种有界结构的不确定非线性系统的鲁棒*+控制问题8 !问题的提出 考虑如下非线性不确定系统 ,-./;,:01/;,:0;2;,:012;,::33/;4:.431/;4:.555555555555555555555555555555555555555555555555555555543 ;9:万方数据

不确定性：用贝叶斯线性回归通向更好的模型选择之路

不确定性：用贝叶斯线性回归通向更好的模型选择之路 关键词：概率、神经网络 关注过Mathematica Stack Exchange（我强烈推荐给各位Wolfram语言的用户）的读者们可能最近看过这篇博文内容了，在那篇博文里我展示了一个我所编写的函数，可以使得贝叶斯线性回归的操作更加简单。在完成了那个函数之后，我一直在使用这个函数，以更好地了解这个函数能做什么，并和那些使用常规拟合代数如Fit使用的函数进行比较。在这篇博文中，我不想说太多技术方面的问题（想要了解更多贝叶斯神经网络回归的内容请参见我前一篇博文- https://wolfr.am/GMmXoLta），而想着重贝叶斯回归的实际应用和解释，并分享一些你可以从中得到的意想不到的结果。 01 准备工作 获取我的BayesianLinearRegression (https://wolfr.am/GMn9Di7w)函数最简单的方法是参考我上传到Wolfram Function Repository 的内容。如想要使用本博文中的代码范例，你可以计算下列代码，这段代码为该函数创建了一个快捷方式。 你也可以访问GitHub repository并参照安装说明，使用以下代码加载BayesianInference安装包： 或者，你也可以通过计算BayesianLinearRegression 的独立源文件（https://wolfr.am/GMngf5Uj）的方式获取该函数，只是如果你没有完整的BayesianInference安装包的话，你可能无法使用我后面会用到的函数regressionPlot1D。该函数的定义在BayesianVisualisations.wl（https://wolfr.am/GMnlzNkh）文件中。 02 回到基础 我现在要做一些对有数据拟合背景的大部分人都非常熟悉的事情：多项式回归。我可以用更复杂的例子，但是我发现用贝叶斯函数做数据拟合，即使是在如多项式回归这样简单的范例上也能延伸出很多新的可能性，所以其实这是一个非常好的演示范例。 下面我用了一组有直线关系趋势的数据，但同时也留下了一些问题：

线性回归的不确定度问题

线性回归的不确定度问题 一 基本概念 两个变量Y 与X 相关，并可能接近线性相关，希望找出这种戏相关关系：Y=aX+b 这是可能的，但只能是近似的而且不会是唯一的，用最小二乘法可以找到最佳线性相关关系。具体方法如下： 通过重复性或复现性试验，可以得到变量的一系列观测值，将这些观测值列表如下： j=1,2,…m ；i=1,2..n x x x i 第i 个输入值 y ij 第i 个输入值的第j 个响应值(观测值)

散点图（说明：由于本人在计算机上作图的能力有限，所以此图有很多信息未表达甚至有误，请注意。） 用这一系列输入值与观测值，根据最小的乘法原理可以回归出一条最佳直线： x b a y ???+= y ?——y 的估计值（最佳） a ?——a 的估计值（最佳） b ?——b 的估计值（最佳） 理论上可以证明，这条直线通过散点图的几何重心（x ?.y ?）所 谓最佳直线，是指y 的各点观测值y i 与回归后的估计值i y ?的残差平方和最小。（散点距回归直线距离最近） 一般情况下输入量x i 是标准值，其不确定度相对y 来说很小，可忽略。 二、各项参数计算 1.计算y 的平均值 ∑= =m j ij i y m y 1 1 2.计算变量x 、y 的平均值 ∑= ∑===n i i n i i y n y x n x 1 111 3.计算L xx , L xy , L yy （用各点观测值的平均值来回归的方法）

L xx =2 2 2 1) (1)(∑- ∑=-∑=i i n i i x n x x x L xy =∑∑- ∑=--∑=i i i i i n i i y x n y x y y x x 1))((1 L yy =2 2 1 2 ) (1)(∑- ∑=∑-=i i n i i y n y y y 4.计算a ?、b ? b ?=xx xy L L a ?=x b y ?- 5.得到回归函数（回归方程） x b a y ???+= 三、利用回归方程（在很多情况下，特别是测量领域，直线回归方程是作为校准直线来使用的）来求x 或y 的值。 x b a y ???+= 在回归时，x 是输入量（标准值）y 是输出（相应值） b a y x ?)?(?-= 回归方程得到后，在使用它时，往往y 是输入量（已知量），x ?是未知量，y 可能是单次测量值，也可能是多次测量值 接下来的问题在于： ① 回归函数的“质量”如何？y 与x 间是否确有较好的线性关系？ ② 利用回归函数来估计x 或y 时的不确定度？如何确定 四、回归函数的“质量”检验——显著性检验 1.三个方差