第7章 岭回归分析
最新应用回归分析--第七章答案
第七章岭回归1. 岭回归估计是在什么情况下提出的？答：当解释变量间出现严重的多重共线性时，用普通最小二乘法估计模型参数，往往参数估计方差太大，使普通最小二乘法的效果变得很不理想，为了解决这一问题，统计学家从模型和数据的角度考虑，采用回归诊断和自变量选择来克服多重共线性的影响，这时，岭回归作为一种新的回归方法被提出来了。
2. 岭回归估计的定义及其统计思想是什么？答：一种改进最小二乘估计的方法叫做岭估计。
当自变量间存在多重共线性，∣X'X ∣≈0 时，我们设想给X'X 加上一个正常数矩阵kI（k>0）, 那么X'X+kI 接近奇异的程度小得多，考虑到变量的量纲问题，先对数据作标准化，为了计算方便，标准化后的设计阵仍然用X 表示，定义为? X 'X I X 'y，称为的岭回归估计，其中k称为岭参数。
3. 选择岭参数k 有哪几种主要方法？答：选择岭参数的几种常用方法有1. 岭迹法，2. 方差扩大因子法， 3.由残差平方和来确定k 值。
4. 用岭回归方法选择自变量应遵从哪些基本原则？答：用岭回归方法来选择变量应遵从的原则有：（1）在岭回归的计算中，我们假定设计矩阵X 已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小，我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。
（2）当k 值较小时标准化岭回归系数的绝对值并不是很小，但是不稳定，随着k 的增加迅速趋于零。
像这样的岭回归系数不稳定, 震动趋于零的自变量，x5K我们也可以予以删除。
3) 去掉标准化岭回归系数很不稳定的自变量，如果有若干个岭回归系数不稳 定，究竟去掉几个，去掉哪几个，这并无一般原则可循，这需根据去掉某 个变量后重新进行岭回归分析的效果来确定。
5. 对第 5 章习题 9 的数据，逐步回归的结果只保留了 3 个自变量 x1 ，x2 ，x5 ，用 y对这 3 个自变量做岭回归分析。
第7章岭回归分析
第7章岭回归分析岭回归分析（Ridge Regression Analysis）是一种线性回归的改进方法，用于解决当自变量之间存在多重共线性（multicollinearity）时，常规最小二乘法（Ordinary Least Squares, OLS）估计的回归系数不稳定的问题。
多重共线性指的是自变量之间存在高度相关性，即两个或多个自变量之间存在线性关系。
在OLS估计中，当出现多重共线性时，回归系数的估计值可能变得非常大，导致模型不可靠。
岭回归通过引入一个惩罚项（penalty term）来解决多重共线性带来的问题。
惩罚项是对回归系数的约束，使得估计值更稳定。
惩罚项的大小由一个称为岭参数（Ridge parameter）的超参数决定，岭参数越大，惩罚项越大。
具体实施岭回归分析的步骤如下：1.收集数据：收集需要进行回归分析的数据，包括自变量（X）和因变量（Y）。
2.数据预处理：对数据进行预处理，包括缺失值处理、异常值处理和标准化处理等。
3.岭回归模型：构建岭回归模型，假设回归方程为：Y=β0+β1X1+β2X2+...+βnXn+ε，其中β0是截距，β1-βn是回归系数，ε是误差项。
4. 岭参数选择：选择适当的岭参数值。
一种常用的方法是交叉验证（cross-validation），通过在训练集上进行模型拟合和验证，选择使得平均误差最小的岭参数。
5.模型拟合：使用选定的岭参数，对模型进行拟合，通过最小化残差平方和（RSS）来估计回归系数的值。
6.结果分析：通过分析回归系数的估计值，评估模型的拟合效果和自变量的影响程度。
岭回归分析的优点是可以解决多重共线性问题，使得回归模型在存在多重共线性时仍然具有较好的稳定性。
同时，通过调节岭参数，还可以控制惩罚项的大小。
然而，岭回归也存在一些限制。
首先，岭回归对于多重共线性问题的处理是通过牺牲模型的拟合度来换取回归系数的稳定性，有时会导致模型的预测能力下降。
其次，选择合适的岭参数值也需要一定的经验和技巧，选择过小的岭参数可能无法很好地解决多重共线性问题，而选择过大的岭参数可能导致模型欠拟合。
岭回归分析（RidgeRegressonAnalysis）
岭回归分析（RidgeRegressonAnalysis）简介1962年A.E.Hoerl⾸先提出，1970年他⼜和R.W.kennard合作在发表的论⽂中作了详细的讨论。
应⽤回归分析有⼀种实际情况是：研究者希望在回归⽅程内包含2个或⼏个⾼度相关的共线性⾃变量。
这在医学研究中有时会遇到，例如有些⽣理指标，特别是⽣长发育指标(⽐如⾝⾼和体重)，明知是⾼度相关的，有时却希望把它们都引⼊回归⽅程，以便作专业解释。
这时⽤逐步回归法不合适，⽤⼀般回归分析法所求得的各回归系数值不稳定、难于解释。
岭回归分析针对这种实际情况，⽤改进的最⼩⼆乘法拟合多元线性回归⽅程，叫做岭回归⽅程，可减少样本回归系数的标准误，使各回归系数值相对稳定和便于解释。
其基本原理是：在⽤样本的相关系数值拟合标准化变量的岭回归⽅程时，把两两变量(包括⾃变量和应变量)Xi和Xj的相关系数rij，⼈为地减少成为rij/(1+k)，k称为岭参数，取值0～1。
求得的标准化岭回归系数可记作bi′(k)，取使各bi′(k)相对稳定的k值，得标准化变量的岭回归⽅程为＝b1′(k)X1′+b2′(k)X2′+…+bm′(k)Xm′。
还可得岭回归⽅程为＝a(k)+b1(k)X1+b2(k)X2+…+bm(k)Xm，bi(k)为岭回归系数。
岭回归⽅程的⽅差分析、岭回归系数的标准误等的运算和⼀般多元线性回归分析的相同。
岭回归分析主要⽤于解释：⽤岭回归系数bi(k)说明各⾃变量和应变量的数量关系;⽤标准化岭回归系数bi′(k)⽐较各⾃变量对应变量的作⽤⼤⼩。
要指出的是：相对于⼀般回归分析所拟合的回归⽅程，特别是相对逐步回归分析所拟合的回归⽅程，岭回归⽅程的剩余均⽅要⼤，因此预报效果要差，⼀般不⽤于预报。
岭回归
23
性质4 以MSE表示估计向量的均方误差，则存在 k 0，使得
MSE[βˆ(k)] MSE(βˆ)
13
3 岭参数 k 的选择
14
(1) 岭迹法
当岭参数 k 在 (0,) 内变化时， ˆj (k) 是 k 的函数，在
平面坐标系上把函数 ˆj (k) 描画出来，画出的曲线称 为岭迹。在实际应用中，可以根据岭迹曲线的变化形
当自变量间存在多重共线性， XX 0 时，我们设想 给 XX 加上一个正常数矩阵kI(k 0), 那么 XX kI 接近奇异的程度就会比 XX 接近奇异的程度小得多。 考虑到变量的量纲问题，将数据先标准化，标准化后 的设计阵用X 表示。
7
定义：对于数据标准化的线性回归模型，若
XX kI 可逆，则
19
(4) 由残差平方和确定 k
岭估计 βˆ (k) 在减小均方误差的同时增大了残差平方 和，因此要将岭回归的残差平方和 SSE(k) 的增加 幅度控制在一定范围内，即要求
SSE(k) cSSE 其中，c 1；寻找使上式成立的最大的 k 值。
20
4 用岭回归选择变量
岭回归可用于选择变量，选择变量的原则是： 1. 假设X已经中心化和标准化，这样就可以直接比较
状确定适当的 k 值，具体做法是：将 ˆ1(k), , ˆp (k)
的岭迹画在同一个图上，根据岭迹的变化趋势选择 k 值，使得各个回归系数的岭估计大体上稳定，并且各 个回归系数岭估计值的符号比较合理。最小二乘估计 是使残差平方和达到最小的估计。 k 愈大，岭估计跟 最小二乘估计偏离愈大。因此，它对应的残差平方和
9
ˆ (k )
第7章岭回归分析
〔3〕如果依照上述去掉变量的原则,有若干个回归系 数不稳定,究竟去掉几个,去掉哪几个,这并无一般原则可循, 这需根据去掉某个变量后重新进行岭回归分析的效果来确 定.
§7.5 用岭回归选择变量
例7.2 空气污染问题.Mcdonald和Schwing在参考文献［18］ 中曾研究死亡率与空气污染、气候以及社会经济状况等因素 的关系.考虑了15个解释变量,收集了60组样本数据.
§7.1 岭回归估计的定义
现在我们假设回归系数与误差项是未知的，用普通最小二乘法 求回归系数的估计值得：
ˆ 0 =11.292，ˆ 1 =11.307，ˆ 2 =-6.591
β0=10,β1=2,β2=3 看来相差太大。计算 x1，x2的样本相关系数得 r12=0.986，表明 x1与 x2之间高度相关。
§7.5 用岭回归选择变量
x7—Percent of housing units which are sound & with all facilities 住房符合标准的家庭比例数 x8—Population per sq. mile in urbanized areas, 1960 每平方公里人口数 x9—Percent non-white population in urbanized areas, 1960 非白种人占总人口的比例 x10—Percent employed in white collar occupations 白领阶层人口比例 x11—Percent of families with income < $3000 收入在3000美元以下的家庭比例 x12—Relative hydrocarbon pollution potential 碳氢化合物的相对污染势 x13— Same for nitric oxides 氮氧化合物的相对污染势 x14—Same for sulphur dioxide 二氧化硫的相对污染势 x15—Annual average % relative humidity at 1pm 年平均相对湿度 y—Total age-adjusted mortality rate per 100,000 每十万人中的死亡人数
岭回归ppt
二、方差扩大因子法
选择k使得矩阵c(k ) ( X ' X kI ) 1 ( X ' X kI ) 主对角线元素c jj (k ) 10 ˆ（k）的协方差阵为 由于岭估计 ˆ（k） ˆ（k） ˆ（k） D( ) cov( , ) cov((X ' X kI ) 1 x' y, ( X ' X kI ) 1 X ' y ) ( X ' X kI ) 1 cov(y, y )( X ' X kI ) 1 2 ( X ' X kI ) 1 X ' X ( X ' X kI ) 1 2 c(k )
一、INCLUDE'C:\Program Files\SPSS\Ridge regression.sps'.
RIDGEREG DEP=y/ENTER X1 X2 X3 X4 X5. INCLUDE'C:\Program Files\SPSS\Ridge regression.sps'. RIDGEREG DEP=y/ENTER X1 X2 X3 X4 X5 /start=0.0/stop=0.2/inc=0.02. INCLUDE'C:\Program Files\SPSS\Ridge regression.sps'. RIDGEREG DEP=y/ENTER X2 X3 X4 X5 /k=0.08.
P193 图A,系数趋于0,变量不重要 图B.系数由正变负,变化大,对Y有显著影响 图C. 古典模型时系数为正,岭回归时系数为负. 图D. 两个系数不稳定,一个增大时另一个减少, 但其和稳定,可以考虑保留一个变量. 图E. 变量对Y不显著 图F. 变量对Y的影响趋于稳定
7 岭回归
当自变量间存在复共线性时，｜X′X｜≈0， 我们设想给X′X加上一个正常数矩阵kI，（k＞0)， 那么X′X+kI接近奇异的程度就会比X′X接近奇异的程度 小得多。
考虑到变量的量纲问题，我们先对数据做标准化， 为了记号方便，标准化后的设计阵仍然用X表示
中曾研究死亡率与空气污染、气候以及社会经济状况等因素
的关系。考虑了15个解释变量，收集了60组样本数据。
x1—Average annual precipitation in inches 平均年降雨量 x2—Average January temperature in degrees F 1月份平均气温 x3—Same for July 7月份平均气温 x4—Percent of 1960 SMSA population aged 65 or older 年龄65岁以上的人口占总人口的百分比 x5—Average household size 每家人口数 x6—Median school years completed by those over 22 年龄在22岁以上的人受教育年限的中位数
第七章 岭回归
7.1 岭回归估计的定义 7.2 岭回归估计的性质 7.3 岭迹分析 7.4 岭参数k的选择 7.5 用岭回归选择变量 7.6 本章小结与评注
§7.1 岭回归估计的定义
一、普通最小二乘估计带来的问题
当自变量间存在复共线性时，回归系数估计的方差就 很大， 估计值就很不稳定，下面进一步用一个模拟的例
§7.2 岭回归估计的性质
在本节岭回归估计的性质的讨论中，假定（7.2） 式中因变量观测向量y未经标准化。
性质 1 βˆ(k)是回归参数β 证明： E[βˆ(k)]=E[(X′X+kI)-1X′y]
机器学习（07）——岭回归算法实战
机器学习（07）——岭回归算法实战1. 回归算法概念回归分析是⼀种预测性的建模技术，它研究的是因变量（⽬标）和⾃变量（预测器）之间的关系。
这种技术通常⽤于预测分析、时间序列模型以及发现变量之间的因果关系。
回归算法通过对特征数据的计算，从数据中寻找规律，找出数据与规律之间的因果关系，并根据其关系预测后续发展变化的规律以及结果。
常⽤回归算法有：线性回归算法、逐步回归算法、岭回归算法、lasso回归算法、⽀持向量机回归等。
2. 岭回归算法岭回归(英⽂名：ridge regression, Tikhonov regularization)是⼀种专⽤于共线性数据分析的有偏估计回归⽅法，实质上是⼀种改良的最⼩⼆乘估计法，通过放弃最⼩⼆乘法的⽆偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归⽅法，对病态数据的拟合要强于最⼩⼆乘法。
通常岭回归⽅程的R平⽅值会稍低于普通回归分析，但回归系数的显著性往往明显⾼于普通回归，在存在共线性问题和病态数据偏多的研究中有较⼤的实⽤价值。
适⽤情况：1.可以⽤来处理特征数多于样本数的情况2.可适⽤于“病态矩阵”的分析（对于有些矩阵，矩阵中某个元素的⼀个很⼩的变动，会引起最后计算结果误差很⼤，这类矩阵称为“病态矩阵”）3.可作为⼀种缩减算法，通过找出预测误差最⼩化的λ，筛选出不重要的特征或参数，从⽽帮助我们更好地理解数据，取得更好的预测效果3. 使⽤岭回归算法预测防⽕墙⽇志中，每⼩时总体请求数的变化1)项⽬说明防⽕墙⽇志会记录所有的外⽹对内⽹或内⽹对外⽹的访问请求，根据不同⽇期、时间段以及使⽤情况，请求数与ip数都在不停的变化，通过机器算法的学习，掌握其变化的规律，预测出当天的变化规律。
2)数据信息已通过前期的数据处理，已经完成了请求统计记录与效果展⽰。
⽇志请求统计汇总表--⼩时表名字段名称字段类型主键是否允许空默认值字段说明request_report_for_hour id serial PK0主键Idrequest_report_for_hour date timestamp IX⽇期request_report_for_hour hour integer IX0⼩时request_report_for_hour tag text IX分类标签：total=汇总统计;device=设备名称request_report_for_hour devname text IX防⽕墙设备名称request_report_for_hour request_for_total integer IX0总请求数request_report_for_hour ip_for_total integer IX0总IP数⽇志请求统计汇总表数据⽇志请求统计汇总表效果图3)设计思路根据这些已有数据，我们需要做的是，将数据和数据中所包含的特征，转换成机器学习可以计算的数值数据，然后使⽤回归算法对这些数据进⾏运算，找出这些数据的变化规律，然后根据这些规律，预测其未来的变化值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。