SAS学习系列25. 非线性回归
《非线性回归分析》课件
封装式
• 基于模型的错误率和复 杂性进行特征选择。
• 常用的封装方法包括递 归特征消除法和遗传算 法等。
嵌入式
• 特征选择和模型训练同 时进行。
• 与算法结合在一起的特 征选择方法，例如正则 化（Lasso、Ridge）。
数据处理方法：缺失值填充、异常值 处理等
1
网格搜索
通过预定义的参数空间中的方格进行搜
随机搜索
2
索。
在预定义的参数空间中进行随机搜索。
3
贝叶斯调参
使用贝叶斯优化方法对超参数进行优化。
集成学习在非线性回归中的应用
集成学习是一种将若干个基学习器集成在一起以获得更好分类效果的方法，也可以用于非线性回归建模中。
1 堆叠
使用多层模型来组成一个 超级学习器，每个模型继 承前一模型的输出做为自 己的输入。
不可避免地存在数据缺失、异常值等问题，需要使用相应的方法对其进行处理。这是非线性回归 分析中至关重要的一环。
1 缺失值填充
常见的方法包括插值法、代入法和主成分分析等。
2 异常值处理
常见的方法包括删除、截尾、平滑等。
3 特征缩放和标准化
为了提高模型的计算速度和准确性，需要对特征进行缩放和标准化。
偏差-方差平衡与模型复杂度
一种广泛用于图像识别和计算机 视觉领域的神经网络。
循环神经网络
一种用于处理序列数据的神经网 络，如自然语言处理。
sklearn库在非线性回归中的应用
scikit-learn是Python中最受欢迎的机器学习库之一，可以用于非线性回归的建模、评估和调参。
1 模型建立
scikit-learn提供各种非线 性回归算法的实现，如 KNN回归、决策树回归和 支持向量机回归等。
非线性回归分析的入门知识
非线性回归分析的入门知识在统计学和机器学习领域，回归分析是一种重要的数据分析方法，用于研究自变量和因变量之间的关系。
在实际问题中，很多情况下自变量和因变量之间的关系并不是简单的线性关系，而是呈现出一种复杂的非线性关系。
因此，非线性回归分析就应运而生，用于描述和预测这种非线性关系。
本文将介绍非线性回归分析的入门知识，包括非线性回归模型的基本概念、常见的非线性回归模型以及参数估计方法等内容。
一、非线性回归模型的基本概念在回归分析中，线性回归模型是最简单和最常用的模型之一，其数学表达式为：$$Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + ... + \beta_pX_p +\varepsilon$$其中，$Y$表示因变量，$X_1, X_2, ..., X_p$表示自变量，$\beta_0, \beta_1, \beta_2, ..., \beta_p$表示模型的参数，$\varepsilon$表示误差项。
线性回归模型的关键特点是因变量$Y$与自变量$X$之间呈线性关系。
而非线性回归模型则允许因变量$Y$与自变量$X$之间呈现非线性关系，其数学表达式可以是各种形式的非线性函数，例如指数函数、对数函数、多项式函数等。
一般来说，非线性回归模型可以表示为：$$Y = f(X, \beta) + \varepsilon$$其中，$f(X, \beta)$表示非线性函数，$\beta$表示模型的参数。
非线性回归模型的关键在于确定合适的非线性函数形式$f(X,\beta)$以及估计参数$\beta$。
二、常见的非线性回归模型1. 多项式回归模型多项式回归模型是一种简单且常见的非线性回归模型，其形式为： $$Y = \beta_0 + \beta_1X + \beta_2X^2 + ... + \beta_nX^n +\varepsilon$$其中，$X^2, X^3, ..., X^n$表示自变量$X$的高次项，$\beta_0, \beta_1, \beta_2, ..., \beta_n$表示模型的参数。
SAS编程：回归分析
SAS 统计分析与应用 从入门到精通 三、曲线回归
1、可化为线性的曲线回归
由于曲线回归没有固定的模型和方法，因而很难进行处理和分析。但 是对于一些基本的曲线模型，我们可以通过变换将它们转化为线性模型， 继而利用线性回归的方法进行分析。
SAS 统计分析与应用 从入门到精通 三、曲线回归
2、REG 过程
3、逐步回归
在实际问题中，影响因变量的因素可能很多，其中有些因素的影响 显著，而有些因素的作用可以忽略，如何从大量的因素中挑出对因变量 有显著影响的自变量来，这就涉及到变量的选择问题。 逐步回归是在建立模型的过程中对变量进行逐个筛选的回归方法， 其基本思想是：在建立回归模型时，逐个引入自变量，每次引入的变量 都经过检验对因变量的影响是显著的，同时对已有的变量也进行检验， 将不显著的变量剔除。这样最后得到的回归方程中，所有变量都是显著 的。
SAS 统计分析与应用 从入门到精通
回归分析
一元线性回归
多元线性回归
曲线回归
非线性回归 Logistic回归
SAS 统计分析与应用 从入门到精通 一、一元线性回归
1、基本模型
SAS 统计分析与应用 从入门到精通 一、一元线性回归
1、基本模型
SAS 统计分析与应用 从入门到精通 一、一元线性回归
2、模型的检验
SAS 统计分析与应用 从入门到精通 一、一元线性回归
2、模型的检验
SAS 统计分析与应用 从入门到精通 一、一元线性回归
3、利用回归方程进行预测
SAS 统计分析与应用 从入门到精通 一、一元线性回归
4、REG过程
REG过程是SAS系统中提供的用于一般线性回归的过程，通过此 过程可以实现一元回归分析，包括模型的建立和检验等。REG过程中 有很多的语句和选项，其中用于一元回归的基本语句格式为： PROC REG DATA=数据集名 <选项>; MODEL 因变量名=自变量名 </选项>; PLOT 纵轴变量名*横轴变量名 <=符号> </选项>; BY 分组变量名; RUN; 其中，PROC语句和MODEL语句是必须的，其他语句可以根据用 户需要进行选用。
《非线性回归》课件
灵活性高
非线性回归模型形式多样，可以根据 实际数据和问题选择合适的模型，能 够更好地适应数据变化。
解释性强
非线性回归模型可以提供直观和易于 理解的解释结果，有助于更好地理解 数据和现象。
预测准确
非线性回归模型在某些情况下可以提 供更准确的预测结果，尤其是在数据 存在非线性关系的情况下。
缺点
模型选择主观性
势。
政策制定依据
政府和决策者可以利用非线性回归模型来评估不同政策方案的影响，从而制定更符合实 际情况的政策。例如，通过分析税收政策和经济增长之间的关系，可以制定更合理的税
收政策。
生物学领域
生态学研究
在生态学研究中，非线性回归模型被广 泛应用于分析物种数量变化、种群动态 和生态系统稳定性等方面。通过建立非 线性回归模型，可以揭示生态系统中物 种之间的相互作用和环境因素对种群变 化的影响。
模型诊断与检验
诊断图
通过绘制诊断图，可以直观地观察模型是否满足回归分析的假设条件，如线性关系、误差同方差性等 。
显著性检验
通过显著性检验，如F检验、t检验等，可以检验模型中各个参数的显著性水平，从而判断模型是否具 有统计意义。
04
非线性回归在实践中的应用
经济学领域
描述经济现象
非线性回归模型可以用来描述和解释经济现象，例如消费行为、投资回报、经济增长等 。通过建立非线性回归模型，可以分析影响经济指标的各种因素，并预测未来的发展趋
VS
生物医学研究
在生物医学研究中，非线性回归模型被用 于分析药物疗效、疾病传播和生理过程等 方面。例如，通过分析药物浓度与治疗效 果之间的关系，可以制定更有效的治疗方 案。
医学领域
流行病学研究
在流行病学研究中，非线性回归模型被用于 分析疾病发病率和死亡率与各种因素之间的 关系。通过建立非线性回归模型，可以揭示 环境因素、生活方式和遗传因素对健康的影 响。
sas进行多元非线性回归+sas中方差分析解读
SAS进行多元非线性回归多元非线性回归方程重要方法是转化为线性回归方程.转化时应首先选择适合的非线性回归形式，并将其线性化。
对于实际问题，首先应对原始数据进行作图或通过观察，选择适当函数进行拟合。
已知1978~2006年全国GDP（y），第一产业x1、第二产业x2、工业生产总值x3、第三产业生产总值x4，请建立y对x1~x4的回归模型。
[plain]viewplaincopyprint?1. dataex;2. inputyx1-x4@@;3. y1=log(y);z1=log(x1);z2=log(x2);z3=log(x3);z4=log(x4);/*对数据做变化，取对数后再做回归分析*/4. cards;5. 16.84535.60927.44366.37353.79256. 21.3836.632910.05858.75844.69167. 23.17166.581911.14249.66235.44738. 25.72897.097412.318110.66416.31349. 28.62477.797313.510111.2887.317310. 32.31039.195214.634312.08648.480811. 36.403710.068816.166412.982210.168512. 45.077412.084419.730115.583813.262913. 51.474913.139522.25217.452816.083414. 63.413517.454327.536321.419321.122915. 82.348419.430435.629428.867827.288616. 92.714321.203139.383233.019432.12817. 101.463324.377240.579634.337836.506518. 117.417824.194148.475941.011444.747819. 147.521326.615162.683452.289358.221920. 188.895830.161382.385367.892176.349221. 253.057735.8777111.32491.4335105.85622. 320.407245.578137.4362102.6372137.39323. 397.570158.3757167.9238130.2389171.270624. 475.869168.732197.5005157.0486209.636625. 534.596970.7519222.8439174.1697241.001126. 580.03671.3285238.4684187.0766270.239127. 656.409874.1104268.3988206.0297313.900628. 728.077478.3636297.0933217.9077352.620529. 812.846979.1826328.0378229.521405.626530. 929.485883.2886393.6734268.2806452.523831. 1133.8828103.3327504.571341.5303525.979132. 1519.90112.59655.27469.28752.0433. 1790.66123.25774.66584.41892.7534. ;35. p rocreg;/*reg调用回归模块*/36. m odely1=z1z2z3z4/cli;/*表示以z1z2z3z4为自变量，y1为应变量建立回归模型，/cli表示要求预测区间。
几类常用非线性回归分析中最优模型的构建与SAS智能化实现
首先，我们来定义什么是最优模型。在最广泛的意义上，最优模型是指能够 最好地反映数据特征、具备最佳预测效果、并且最为简洁的模型。具体而言，最 优模型是根据特定的评价标准，从众多的模型中选择出来的一个最优解。在实际 操作中，我们需要根据实际问题和数据集的特点，选择合适的评价标准来评括传统回归分析、逐步回归分析、幂律 回归分析等。传统回归分析是最基础的非线性回归方法，它通过将自变量和因变 量之间建立非线性函数关系，来探索它们之间的复杂关系。逐步回归分析则是一 种基于向前选择策略的有序回归方法，它能够有效地剔除冗余变量，提高模型的 预测精度和稳定性。幂律回归分析则是一种特殊的非线性回归方法，主要用于描 述因变量和自变量之间的关系符合幂律分布的情况。
二、SAS软件实现生存分析
1、SAS软件介绍
SAS是一款全球知名的统计分析软件，其功能强大、操作简便，被广泛应用 于医学、社会科学、金融等多个领域。在生存分析方面，SAS提供了多种方法和 功能，可以满足不同的需求。
2、SAS实现生存分析的步骤
（1）准备数据
首先，需要将生存分析的数据导入到SAS软件中。可以使用SAS的DATA步或者 PROC IMPORT过程将数据导入。
3、重复测量分析：适用于对同一受试者在不同时间点进行测量的数据进行 分析。重复测量分析可以评估试验药物对定量指标的时间效应，以及不同时间点 之间的差异。
SAS宏实现
SAS是一种常用的统计分析软件，可以通过编写宏程序来实现各种统计分析 方法。下面介绍如何使用SAS宏实现上述定量指标统计分析方法：
在实际应用中，非线性时滞系统的稳定性分析和控制器设计具有重要意义。 例如，在电力系统中，通过控制电力系统的稳定性，可以避免系统的崩溃和故障； 在生态系统中，通过控制生态系统的稳定性，可以避免物种灭绝和生态系统失衡； 在金融系统中，通过控制金融系统的稳定性，可以避免金融危机的发生和经济的 崩溃。
用SAS作回归分析
用SAS 作回归分析前面我们介绍了相关分析，并且知道变量之间线性相关的程度可以通过相关系数来衡量。
但在实际工作中，仅仅知道变量之间存在相关关系往往是不够的，还需要进一步明确它们之间有怎样的关系。
换句话说，实际工作者常常想知道某些变量发生变化后，另一个相关变量的变化程度。
例如，第六章中已经证明消费和收入之间有很强的相关关系，而且也知道，消费随着收入的变化而变化，问题是当收入变化某一幅度后，消费会有多大的变化？再比如，在股票市场上，股票收益会随着股票风险的变化而变化。
一般来说，收益和风险是正相关的，也就是说，风险越大收益就越高，风险越小收益也越小，著名的资本资产定价模型（CAPM ）正说明了这种关系。
现在的问题是当某个投资者知道了某只股票的风险后，他能够预测出这只股票的平均收益吗？类似这类通过某些变量的已知值来预测另一个变量的平均值的问题正是回归分析所要解决的。
第一节 线性回归分析方法简介一、回归分析的含义及其所要解决的问题“回归”(Regression)这一名词最初是由19世纪英国生物学家兼统计学家F.Galton(F.高尔顿)在一篇著名的遗传学论文中引入的。
高尔顿发现，虽然有一个趋势：父母高，儿女也高；父母矮，儿女也矮，但给定父母的身高，儿女辈的平均身高却趋向于或者“回归”到全体人口的平均身高的趋势。
这一回归定律后来被统计学家K.Pearson 通过上千个家庭成员身高的实际调查数据进一步得到证实，从而产生了“回归”这一名称。
当然，现代意义上的“回归”比其原始含义要广得多。
一般来说，现代意义上的回归分析是研究一个变量（也称为因变量Dependent Variable 或被解释变量Explained Variable ）对另一个或多个变量（也称为自变量Independent Variable 或Explanatory Variable ）的依赖关系，其目的在于通过自变量的给定值来预测因变量的平均值或某个特定值。
sas回归分析
X
16
相关分析
相关与回归
相关分析量化连续型变量之间
线性相关的强度;
回归分析确定一个连续变量与
另一些连续变量间的相互依赖关 系.
17
相关分析
本节的练习题
对学生数据(CLASS),完成以下练习: (1) 计算AGE,WEIGHT,HEIGHT的相关系数 (2) 绘制WEIGHT与HEIGHT的散点图(男女用不同颜色 表示).
13
相关分析
绘制散点图—PLOT和GPLOT过程
散点图是直观地观察连续变化变量间相依关 系的重要工具。利用编程可绘制两个变量的散 proc plot data=class ； 点图。 或
plot weight*height=‘*’ ； Run ；
Symbol v=star cv=red； proc gplot data=class； plot weight*height ； Run ；
10
相关分析
相关系数(Correlation Coef.)
正相关： 一个变量数值 增加时另一个 变量也增加
负相关： 一个变量数值 增加时另一个 变量减少
11
相关分析
相关系数的计算--CORR过程
PROC CORR DATA=数据集名; RUN; PROC CORR DATA=数据集名; var 变量名列; Corr语句默认返回pearson相关 with 变量名列; 系数和简单描述统计分析，可
n
i 1
( Yi b0 b1 x i ) 2 m in
^
24
一元线性回归分析
回归的方差分解
因变量(Y)
ˆ Y b0 b1 x
自变量(x)
25
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
25. 非线性回归现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似；在不少情况下，非线性模型可能更加符合实际。
对变量间非线性相关问题的曲线拟合，处理的方法主要有：（1）首先确定非线性模型的函数类型，对于其中可线性化问题则通过变量变换将其线性化，从而归结为前面的多元线性回归问题来解决；（2）若实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来逼近，故常可用多项式回归来拟合曲线；（3）若变量间非线性关系式已知（多数未知），且难以用变量变换法将其线性化，则进行数值迭代的非线性回归分析。
（一）可变换为线性的非线性回归在很多场合，可以对非线性模型进行线性化处理，尤其是可变换为线性的非线性回归，运用最小二乘法进行推断，对线性化后的线性模型，可以应用REG过程步进行计算。
例1 有实验数据如下：试分别采用指数回归（y =ae bx）方法进行回归分析。
代码：data exam25_1;input x y;cards;1.1 109.951.2 40.451.3 20.091.4 24.531.5 11.021.6 7.391.7 4.951.82.721.9 1.822 1.492.1 0.822.2 0.32.3 0.22.4 0.22;run;proc sgplot data = exam25_1;scatter x = x y = y;run;proc corr data = exam25_1;var x y;run;data new1;set exam25_1;v = log(y);run;proc sgplot data = new1;scatter x = x y = v;title'变量代换后数据';run;proc reg data = new1;var x v;model v = x;print cli;title'残差图';plot residual. * predicted.;run;data new2;set exam25_1;y1 = 14530.28*exp(-4.73895*x);run;proc gplot data = new2;plot y*x=1 y1*x=2 /overlay;symbol v=dot i=none cv=red;symbol2i=sm color=blue;title'指数回归图';运行结果：程序说明：（1）调整后的R 2=0.9831，说明拟合程度很好；F 检验的P 值=0.0001<α=0.05，拒绝原假设，故直线回归的斜率不为0；（2）将线性回归系数代入，得到原回归方程y =14530.28*e −4.73895x（3）残差图趋势，符合残差随机正态分布的假设（不带其它明显趋势）。
二、多项式回归一般函数都可用多项式来逼近，故多项式回归分析可用来处理相当广泛的非线性问题。
对观测数据 (x t , y t ), t=1,…,N. 多项式回归模型为：令则模型可写为：Y=XB+ε当X 列满秩时，用最小二乘估计()Y X X X B''=-1ˆ可求得其多项式回归方程。
但由于()1-'X X 的计算既复杂又不稳定，故一般采用正交多项式法来进行多项式回归。
多项式模型可以直接应用GLM（广义线性模型）求解。
例2重庆市种畜场奶牛群1—12月份(x1)，产犊母牛平均产奶量(y)的资料如程序数据步中，试对该资料配置一个合适的回归方程。
代码：data exam25_2;input x1 y @@;x2=x1*x1;datalines;1 3833.437 3476.762 3811.588 3466.223 3769.479 3395.424 3565.7410 3807.085 3481.9911 3817.036 3372.8212 3884.52;run;proc sgplot data = exam25_2;scatter x = x1 y = y;title'原始数据散点图';run;proc reg data = exam25_2;model y=x1 x2;run;运行结果：程序说明：（1）观察数据的散点图，更适合二次多项式拟合，也可以测试几种不同次数的多项式拟合选择其中最优的；（2）将回归系数代入多项式方程得到：y= 4117.20136 -204.93668x1+ 15.78570x12三、不能变换为线性的非线性回归该类非线性回归分析就是利用最小二乘准则来估计回归系数β，使得残差平方和最小。
一般来用数值迭代法来进行，先选定回归系数的初值β0，按照给定的步长和搜索方向逐步迭代，直到残差平方和达到最小。
有5种常用的非线性回归迭代方法：高斯-牛顿法（Gauss-Newton）、最速下降法（梯度法）、牛顿法（Newton）、麦夸特法（Marquardt）、正割法（DUD）。
高斯-牛顿法在初值选取适当，且可逆时非常有效，但在其他情形，其求解较为困难，对此，Marguardt对其中的正则系数阵作适当修正，得到了改进算法。
（二）PROC NLIN过程步对于不能线性化的非线性模型。
其估计不能直接运用经典的最小二乘法，而需要运用其他估计方法，如加权最小二乘法、直接搜索法、直接最优法与Taylor级数展开法进行线性逼近。
此时，可以利用NLIN 过程步实现相应的计算，它是采用最小误差平方法及迭代推测法来建立一个非线性模型，估计参数默认采用高斯-牛顿迭代法。
NLIN过程不保证一定可以算出符合最小误差平方法之标准的参数估计值。
基本语法：PROC NLIN data = 数据集</可选项>;PARMS 参数名=数值;MODEL 因变量=表达式</可选项>;< BOUNDS 不等式;><CONTROL 变量;><der. 参数名=表达式;><OUTPUT out = 输出数据集</可选统计量>;>说明：（1）NLIN的可选项包括：outest＝输出数据集——输出每步迭代的结果；best＝n——只输出最好的n组残差平方和；method＝gauss | marquardt | newton| gradient| dud |——设定参数估计的迭代方法，默认为gauss（没有der.语句）；（2）PARMS语句指定参数并赋值，一般包括参数名、初始值（Grid Search可以帮助选择合适的初始值）、迭代准则；例如：parms b0=0b1=1to 10b2=1to 10by 2b3=1,10,100;（3）bounds语句用于设定参数的约束，主要是不等式约束，约束间用逗号分隔。
例如，bounds a<=20, b>30, 1<=c<=10;（4）der.语句用于计算模型关于各参数的偏导数，相应格式为：一阶偏导数： der．参数名＝表达式;二阶偏导数： der．参数名．参数名＝表达式;例如，对于模型model y=b0*(1－exp(-b1*x)); 二阶偏导数表达式：der.b0.b1=x*exp(-b1*x);例3根据对已有数据的XY散点图的观察和分析，发现Y随X增长趋势是减缓的，并且Y趋向一个极限值，我们认为用负指数增长曲线来拟合模型较为合适。
代码：data expd;input x y @@;datalines;020 0.57 030 0.72 040 0.81 050 0.87 060 0.91 070 0.94080 0.95 090 0.97 100 0.98 110 0.99 120 1.00 130 0.99 140 0.99 150 1.00 160 1.00 170 0.99 180 1.00 190 1.00 200 0.99 210 1.00;proc nlin data = expd best = 10method = gauss;parms b0=0 to 2 by 0.5 b1=0.01 to 0.09 by 0.01;model y=b0*(1-exp(-b1*x));der.b0=1-exp(-b1*x);der.b1=b0*x*exp(-b1*x);output out = expout p = ygs;run;goptions reset= global gunit= pct cback= white border htitle= 6htext= 3ftext= swissb colors= (back);proc gplot data = expout;plot y*x ygs*x /haxis=axis1 vaxis=axis2 overlay;symbol1i=none v=plus cv=red h=2.5w=2;symbol2i=join v=none l=1h=2.5w=2;axis1order=20to210by10;axis2order=0.5to 1.1by0.05;title1'y=b0*(1-exp(-b1*x)';title2'proc nlin method=gauss';run;运行结果：程序说明：（1）parms语句设置了初始值网格值为b0取0, 0.5, 1, 1.5, 2共5个值，b 1取0.01, 0.02, …, 0.09共9个值，所有可能组合为5×9=45,选项best=10要求输出残差平方和最小的前10种组合；（2）最好的迭代初始值为b 0=1.0000，b 1=0.0400，此时回归模型残差为ESS=0.00140; 从该迭代初始值开始经过4次迭代误差平方和的变化就满足收敛准则（ESS 值几乎不变），停止迭代；（3）高斯-牛顿迭代算法要求给出模型)1(10x b e b y --=对参数b 0和b 1的一阶偏导数表达式：der.语句用来表示上面两个一阶偏导数表达式；（4）output 语句输出一个新数据集expout ，包括原数据集和非线性回归模型的预测值ygs ；gplot 过程的主要作用是绘制输出数据集expout 中的原始数据的散点图及回归曲线的平滑线；（5）方差分析表，给出了回归平方和为17.6717, 残差平方和为0.000577, 总平方和为17.6723.（6）参数估计表，给出了b 0和b 1的渐近估计值，得到的非线性回归模型为 y = 1.0000000*[1-exp(0.5558957x)]同时还给出b 0和b 1参数估计的渐近有效标准差和渐近95%置信区间。