线性回归方程
《线性回归方程》课件
线性回归方程的假设
线性关系
自变量和因变量之间存在线性关系，即它们 之间的关系可以用一条直线来描述。
无异方差性
误差项的方差在所有观测值中保持恒定，没 有系统的变化。
无多重共线性
自变量之间不存在多重共线性，即它们之间 没有高度的相关性。
无自相关
误差项在不同观测值之间是独立的，没有相 关性。
02
线性回归方程的建立
详细描述
在销售预测中，线性回归方程可以用来分析历史销售数据，并找出影响销售的关键因素。通过建立线性回归模型 ，可以预测未来的销售趋势，为企业的生产和营销策略提供依据。
案例二：股票价格预测
总结词
线性回归方程在股票价格预测中具有一定的 应用价值，通过分析历史股票价ቤተ መጻሕፍቲ ባይዱ和影响股 票价格的因素，可以预测未来的股票价格走 势。
04
线性回归方程的应用
预测新数据
1 2
预测新数据
线性回归方程可以用来预测新数据，通过将自变 量代入方程，可以计算出对应的因变量的预测值 。
预测趋势
通过分析历史数据，线性回归方程可以预测未来 的趋势，帮助决策者制定相应的策略。
3
预测异常值
线性回归方程还可以用于检测异常值，通过观察 偏离预测值的点，可以发现可能的数据错误或异 常情况。
确定自变量和因变量
确定自变量
自变量是影响因变量的因素，通 常在研究问题中是可控制的变量 。在建立线性回归方程时，首先 需要确定自变量。
确定因变量
因变量是受自变量影响的变量， 通常是我们关心的结果或目标。 在建立线性回归方程时，需要明 确因变量的定义和测量方式。
收集数据
数据来源
确定数据来源，包括调查、实验、公开数据等，确保数据质量和可靠性。
高中数学线性回归方程线性回归方程公式详解
高中数学线性回归方程线性回归方程公式详解
线性回归方程是一种用于拟合一组数据的最常见的数学模型，它可以用来预测一个因变量（例如销售额）和一个或多个自变量（例如广告费用）之间的关系。
下面是线性回归方程的公式详解：
假设有n个数据点，每个数据点包含一个因变量y和k个自变量x1,x2,...,xk。
线性回归方程可以表示为：
y = β0 + β1*x1 + β2*x2 + ... + βk*xk + ε
其中，β0, β1, β2, ..., βk是模型的系数，ε是误差项，用来表示实际数据和模型预测之间的差异。
系数β0表示当所有自变量均为0时的截距，而β1, β2, ..., βk 则表示每个自变量对因变量的影响。
当系数为正时，自变量增加时因变量也会增加；而当系数为负时，自变量增加时因变量会减少。
通常，我们使用最小二乘法来估计模型的系数。
最小二乘法就是通过最小化所有数据点与模型预测之间的距离来找到最优的系数。
具体来说，我们可以使用以下公式来计算系数：
β = (X'X)-1 X'y
其中，X是一个n×(k+1)的矩阵，第一列全为1，其余的列为自变量x1,x2,...,xk。
y是一个n×1的向量，每一行对应一个因
变量。
X'表示X的转置，-1表示X的逆矩阵，而β则是一个(k+1)×1的向量，包含所有系数。
当拟合出线性回归方程后，我们可以使用它来预测新的数据点的因变量。
具体来说，我们可以将自变量代入方程中，计算出相应的因变量值。
如果模型的系数是可靠的，我们可以相信这些预测结果是比较准确的。
线性回归方程公式推导
线性回归方程公式推导从现代经济学研究看，线性回归是一种多变量经济分析方法，它能够用来研究变量之间的关系，以便确定哪些变量具有影响性。
线性回归模型是描述一个响应变量和一组predictor变量之间关系的线性关系模型。
线性回归模型有多种形式，其中最常见的是最小二乘法，即OLS，其核心思想是通过最小化以下损失函数来确定回归系数：S=1/n (yi-i)其中，yi是实际值，i是预测值，n是数据样本的个数。
有了线性回归模型，就可以推导出公式，即OLS回归方程。
它表述的意思是，假设回归系数β的值是已知的，即满足公式：β=(XX)^-1XY其中，X指的是一个有m个变量的矩阵，Y指的是一个有n个观测值的矩阵，X指的是X矩阵的转置矩阵，(XX)^-1指的是求XX的逆矩阵，XY指的是X和Y的点乘积。
由此，OLS回归模型就可以用变量yi=b1x1i+b2x2i+…+bpxpi+εi来表示，其中b1, b2,, bp分别是变量x1i, x2i,, xpi的回归系数，εi是误差项，它以期望值为零的正态分布的形式出现，表示随机噪声。
一般来说，OLS即可用来估计参数的可能性，但是，由于它们常常受到多重共线性的影响，因此需要检验其可靠性。
OLS的优点是可以提供一种最优的参数估计法，它能够有效地提高参数估计的准确性。
此外，OLS进行变量检验时，也可以有效地识别出具有影响性的变量。
不过，OLS也有其缺点，尤其是当数据存在某些问题时，可能会导致OLS的估计结果出现偏差。
主要问题包括多重共线性、异方差性和异常值。
对于这些问题，最好的解决方法是对数据进行相关性分析，从而将偏差减少到最小。
综上所述，OLS回归方程公式能够有效地描述变量之间的关系，检验其可靠性，以便确定哪些变量具有影响性。
为了确保其准确性，应当有效地处理多重共线性等问题，从而使得OLS具有更强的适用性。
线性回归方程公式
线性回归方程公式线性回归是一种常见的统计学方法，用于建立一个预测目标变量与一个或多个自变量之间的线性关系模型。
它是一种广泛应用的回归方法，适用于各种领域，如经济学、金融学、社会学、生物学和工程学等。
线性回归模型可以表示为以下形式：Y = b0 + b1*X1 + b2*X2+ ... + bp*Xp，其中Y是目标变量，X1、X2、...、Xp是自变量，b0、b1、b2、...、bp是回归系数。
这个方程描述了目标变量Y与自变量X之间的线性关系，通过调整回归系数的值可以拟合数据并预测未知数据的值。
线性回归模型的目标是找到最佳拟合直线，使得预测值与实际观测值之间的误差最小化。
常用的误差衡量指标是残差平方和（RSS），也可以使用其他指标如平均绝对误差（MAE）和均方根误差（RMSE）。
线性回归模型的建立过程包括两个主要步骤：参数估计和模型评估。
参数估计是通过最小化误差来确定回归系数的值。
最常用的方法是最小二乘法，通过最小化残差平方和来估计回归系数。
模型评估是用来评估模型的拟合优度和预测能力，常用的指标包括决定系数（R^2）、调整决定系数（Adjusted R^2）和F统计量。
线性回归模型的假设包括线性关系、误差项的独立性、误差项的方差恒定以及误差项服从正态分布。
如果这些假设不成立，可能会导致模型的拟合效果不佳或不可靠的预测结果。
对于线性回归模型的建立，首先需要收集相关的数据，然后进行数据的处理和变量选择。
数据处理包括缺失值处理、异常值处理和变量转换等。
变量选择是通过统计方法或经验判断来选择对目标变量有影响的自变量。
常见的变量选择方法包括逐步回归、岭回归和lasso回归等。
在建立模型之后，需要对模型进行评估和验证。
评估模型的拟合优度是通过决定系数和F统计量来实现的，较高的决定系数和较小的F统计量表明模型的拟合效果较好。
验证模型的预测能力可以使用交叉验证等方法。
线性回归模型还有一些扩展形式，如多项式回归、加权回归和广义线性回归等。
线 性 回 归 方 程 推 导
sklearn - 线性回归(正规方程与梯度下降)一: 线性回归方程线性回归（英语：linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。
这种函数是一个或多个称为回归系数的模型参数的线性组合。
只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。
这些模型被叫做线性模型。
最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。
不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。
像所有形式的回归分析一样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X 和y的联合概率分布（多元分析领域）。
线性回归有很多实际用途。
分为以下两大类：如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预测模型。
当完成这样一个模型以后，对于一个新增的X值，在没有给定与它相配对的y的情况下，可以用这个拟合过的模型预测出一个y给定一个变量y和一些变量X1X1.,XpXp{displaystyleX_{1}}X_1.,{displaystyle X_{p}}X_pX1?X1?.,Xp?Xp?，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之间相关性的强度，评估出与y不相关的，XjXj{displaystyle X_{j}}X_jXj?Xj?并识别出哪些XjXj{displaystyle X_{j}}X_jXj?Xj?的子集包含了关于y的冗余信息。
使用sklearn线性回归模型(jupyter)这里我们以波士顿的房价数据来进行使用分析(一): 导入sklearnimport numpy as np# 线性回归,拟合方程,求解系数, 一次幂# 线性方程:直来直去,不拐弯from sklearn.linear_model import LinearRegression# 导入数据集from sklearn import datasets# 导入数据分离的方法(获取数据后,一部分数据用来让回归模型学习,另一部分用来预测)from sklearn.model_selection import train_test_split(二): 获取波士顿房价数据# 获取的数据是numpy,ndarray类型data = datasets.load_boston()# 该数据内有完整的影响房价的因素和完整的房价信息,本次实验就是将数据分为两部分, 一部分用来训练模型,另一部分用来预测,最后将预测出来的数据和已有的完整信息进行对比,判断该模型是否适用于这组房价数据data # 查看data的数据结构data.feature_names # 查看影响房价的属性名# x是属性,特征,未知数X = data['data']X.shape # 运行结果是(506, 13), 506表示样本是506个, 每个样本采集了13个属性特征;13个属性,需要构建构建了13元一次方程# y是房价的估值y = data['target']# X, y = datasets.load_boston(True) 获取到X, y的值和以上的一样(三): 使用模型进行预测X_train, X_test, y_train, y_test = train_test_split(X, y) # 将数据进行分离(默认是3:1); train_test_split(X, y)函数会随机打乱顺序display(X_train.shape, X_test.shape) # (379, 13) ; (127, 13) # 声明算法linear = LinearRegression()# 训练模型linear.fit(X_train, y_train) # X_train, y_train是之前分离出来用来训练模型的数据y_ = linear.predict(X_test).round(1) # X_test是影响房价的因素,该预测模型能根据影响房价的因素预测剩余部分的房价# 预估数据和实际数据比较print(y_)print(y_test)经过估计数据和实际数据对比,说明算法模型适用于数据(四): 自建方程预测数据与使用线性模型得到的数据对比假设波士顿的房价数据符合线性回归的特性,则我们可以通过构建线性方程来预测波士顿剩余部分的房价信息根据一次线性回归方程: f(X)=Xw+bf(X) = Xw+bf(X)=Xw+b 可推导得出: f(X)=w1x1+W2x2+.+w13x13+b f(X) = w_1x_1+W_2x_2+.+w_{13}x_{13} +bf(X)=w1?x1?+W2?x2?+.+w13?x13?+b (有13个影响房价的因素)代码如下:# 通过训练模型,可从模型中得出系数ww_ = linear.coef_# 通过训练模型,可从模型中得出截距bb_ = linear.intercept_# 自建方程def fun(w_, b_, X):return np.dot(X, w_)+b_# 调用方程得到预估的房价信息fun(w_, b_, X_test).round(1) # round(1)保留一位小数array([31.3, 13.4, 28.6, 20.5, 20.4, 19.4, 32.2, 24. , 25.8, 29.5,24.5,25.2, 31.9, 8.2, 20.9, 29.3, 22.3, 35.2, 16.4, 18.5, 30.8, 41.1,16.2, 13.7, 17.7, 23.8, 7.8, 12. , 20.5, 15.3, 29.3, 26.8, 31.8,26. , 30.4, 39.2, 25.3, 40.7, 11.6, 27.3, 16.7, 18.8, 19.5, 19.9,20.7, 22.8, 17.4, 21.6, 23.3, 30. , 25.2, 23.7, 34.2, 18.2, 33.5,16. , 28.3, 14.1, 24.2, 16.2, 16.7, 23.5, 16. , 21.4, 21.8, 28.2,25.7, 31.2, 18.8, 26.4, 28.3, 21.9, 27.5, 27.1, 27.1, 15. , 26. ,26.3, 13.2, 13.3, 26.1, 20.5, 16.8, 24.3, 36.6, 21.4, 8.3, 27.8,3.6, 19.2, 27.5, 33.6, 28.4, 34.3, 28.2, 13.3, 18. , 23.5, 30.4,32.9, 23.7, 30.5, 19.8, 19.5, 18.7, 30.9, 36.3, 8. , 18.2, 13.9,15. , 26.4, 24. , 30.2, 20. , 5.6, 21.4, 22.9, 17.6, 32.8, 22.1,32.6, 20.9, 19.3, 23.1, 21. , 21.5])# 使用sklesrn中的线性模型得到的预估房价信息linear.predict(X_test).round(1)array([31.3, 13.4, 28.6, 20.5, 20.4, 19.4, 32.2, 24. , 25.8, 29.5,24.5,25.2, 31.9, 8.2, 20.9, 29.3, 22.3, 35.2, 16.4, 18.5, 30.8, 41.1,16.2, 13.7, 17.7, 23.8, 7.8, 12. , 20.5, 15.3, 29.3, 26.8, 31.8,26. , 30.4, 39.2, 25.3, 40.7, 11.6, 27.3, 16.7, 18.8, 19.5, 19.9,20.7, 22.8, 17.4, 21.6, 23.3, 30. , 25.2, 23.7, 34.2, 18.2, 33.5,16. , 28.3, 14.1, 24.2, 16.2, 16.7, 23.5, 16. , 21.4, 21.8, 28.2,25.7, 31.2, 18.8, 26.4, 28.3, 21.9, 27.5, 27.1, 27.1, 15. , 26. ,26.3, 13.2, 13.3, 26.1, 20.5, 16.8, 24.3, 36.6, 21.4, 8.3, 27.8,3.6, 19.2, 27.5, 33.6, 28.4, 34.3, 28.2, 13.3, 18. , 23.5, 30.4,32.9, 23.7, 30.5, 19.8, 19.5, 18.7, 30.9, 36.3, 8. , 18.2, 13.9,15. , 26.4, 24. , 30.2, 20. , 5.6, 21.4, 22.9, 17.6, 32.8, 22.1,32.6, 20.9, 19.3, 23.1, 21. , 21.5])通过自建模型获取预估数据与使用模型获取预估数据进行比较,两组数据完全一致;(五): 使用线性回归,求解斜率和截距根据最小二乘法: min?w∣∣Xw?y∣∣22min_{w}||Xw-y||_2^2wmin?∣∣Xw?y∣∣22? 推到得出公式: w=(XTX)?1XTyw = (X^TX)^{-1}X^Tyw=(XTX)?1XTy 以上公式只能求出w,我们可以先求出w再计算出b;但此处我们有更简单的方法:根据线性回归方程f(x)=w1x1+w2x2+b f(x) = w_1x_1+w_2x_2+bf(x)=w1?x1?+w2?x2?+b 我们可以将方程中的b看成是w3x30w_3x_3^0w3?x30?,所以可得: f(x)=w1x11+w2x21+w3x30f(x) = w_1x_1^1+w_2x_2^1+w_3x_3^0f(x)=w1?x11?+w2?x21?+w3?x30?代码如下:import numpy as npfrom sklearn.linear_model import LinearRegressionfrom sklearn import datasetsX, y = datasets.load_boston(True)linear = LinearRegression()linear.fit(X,y)w_ = linear.coef_b_ = linear.intercept_# 向X中插入一列全是1的数据(任何数的0次方都是1)X = np.concatenate([X, np.ones(shape = (506, 1))], axis=1) # 根据最小二乘法的推导公式:w和b的值为(最后一个值是b)w = ((np.linalg.inv(X.T.dot(X))).dot(X.T)).dot(y)# 以上w的写法过于装逼,所以分解为:# A = X.T.dot(X) 求X和转置后的X的内积(公式中的XTX)# B = np.linalg.inv(A) 求A的逆矩阵(公式中的-1次方)# C = B.dot(X.T) 求以上矩阵和X的转置矩阵的内积(公式中的XT) # w = C.dot(y) 与y求内积,得出w和b运行结果:array([-1.08011358e-01, 4.64204584e-02, 2.05586264e-02, 2.68673382e+00,-1.77666112e+01, 3.80986521e+00, 6.92224640e-04, -1.47556685e+00,3.06049479e-01, -1.23345939e-02, -9.52747232e-01,9.31168327e-03,-5.24758378e-01, 3.64594884e+01])print(b_)运行结果:36.45948838509001扩展一: 最小二乘法和向量范数min?w∣∣Xw?y∣∣22min_{w}||Xw-y||_2^2wmi n?∣∣Xw?y∣∣22?右上角的2是平方右下角的2是向量2范数竖线内的表达式是向量根据最小二乘法的公式, 推导得出w=(XTX)?1XTyw = (X^TX)^{-1}X^Tyw=(XTX)?1XTy向量的1-范数(表示各个元素的绝对值的和)∣∣X∣∣1=∑i=1n∣xi∣||X||_1 = sumlimits_{i=1}^n |x_i|∣∣X∣∣1?=i=1∑n?∣xi?∣向量的2-范数(表示每个元素的平方和再开平方)∣∣X∣∣2=∑i=1nxi2||X||_2 = sqrt{suml imits_{i=1}^n x_i^2}∣∣X∣∣2?=i=1∑n?xi2?向量的无穷范数(所有向量元素绝对值中的最大值)∣∣X∣∣∞=max?1≥i≤n∣Xi∣||X||_{infty} = maxlimits_{1 geq i leq n}|X_i|∣∣X∣∣∞?=1≥i≤nmax?∣Xi?∣扩展二: 导数, 偏导数对函数f(x)=x2+3x+8f(x) = x^2+3x+8f(x)=x2+3x+8 求导得: f(x)′=2x+3f(x)' = 2x+3f(x)′=2x+3求导规则:参数求导为0参数乘变量求导为常数变量的次方求导: xyx^yxy求导为yxy?1yx^{y-1}yxy?1复合函数求导:$$(x^2-x)^2$$求导: 先将括号看成一个整体求导, 结果再乘以括号内的求导结果$$2(x^2-x)(2x-1)$$有多个变量得函数求导:对函数: f(x,y)=x2+xy+y2f(x, y) = x^2+xy+y^2f(x,y)=x2+xy+y2 求导:求导规则: 多变量函数只能针对某一个变量求导,此时将其他变量看成常数将x看成常数a: fa(y)=a2+ay+y2f_a(y) = a^2+ay+y^2fa?(y)=a2+ay+y2求导得:fa′(y)=a+2yf_a'(y) = a+2yfa′?(y)=a+2y故求导得: ?f?y(x,y)=x+2yfrac{partial f}{partial y}(x,y)=x+2y?y?f?(x,y)=x+2y实现线性回归的两种方式:正规方程梯度下降二: 正规方程(一): 损失函数最小二乘法:min?w∣∣Xw?y∣∣22minlimits_{w}||Xw-y||_2^2wmin?∣∣Xw?y∣∣22?当X和y都是常数时,按照向量2范数将上面的最小二乘法解开:f(w)=(Xw?y)2f(w)=(Xw-y)^2f(w)=(Xw?y)2将X,y替换成常数a,bf(w)=(aw?b)2f(w)=(aw-b)^2f(w)=(aw?b)2f(w)=a2w2?2abw+b2f(w)=a^2w^2 - 2abw + b^2f(w)=a2w2?2abw+b2 由于最小二乘法方程的函数值都是大雨或等于0的,所以此时得到一个开口向上的抛物线(一元二次方程)此时的f(w)f(w)f(w)就是损失函数,在此时求该函数的导数(抛物线函数顶点的导数为0)就能得到该函数的最小值,也就是最小损失f′(w)=2a2w?2ab=0f'(w)=2a^2w-2ab=0f′(w)=2a2w?2ab=0(二): 矩阵常用求导公式X的转置矩阵对X矩阵求导, 求解出来是单位矩阵dXTdX=Ifrac{dX^T}{dX} = IdXdXT?=IdXdXT=Ifrac{dX}{dX^T} = IdXTdX?=IX的转置矩阵和一个常数矩阵相乘再对X矩阵求导, 求解出来就是改常数矩阵dXTAdX=Afrac{dX^TA}{dX} = AdXdXTA?=AdAXdX=ATfrac{dAX}{dX} = A^TdXdAX?=ATdXAdX=ATfrac{dXA}{dX} = A^TdXdXA?=ATdAXdXT=Afrac{dAX}{dX^T} = AdXTdAX?=A(三): 正规方程矩阵推导过程此时X,w,y都是矩阵1: 公式化简1: 最小二乘法:f(w)=∣∣Xw?y∣∣22f(w) = ||Xw-y||_2^2f(w)=∣∣Xw?y∣∣22?2: 向量2范数:∣∣X∣∣2=∑i=1nxi2||X||_2 = sqrt{sumlimits_{i = 1}^nx_i^2}∣∣X∣∣2?=i=1∑n?xi2?3: 将向量2范数的公式带入到最小二乘法中得:f(w)=((Xw?y)2)2f(w)=(sqrt{(Xw-y)^2})^2f(w)=((Xw?y)2?)2f(w)=(Xw?y)2f(w)=(Xw-y)^2f(w)=(Xw?y)2由于X, w, y都是矩阵, 运算后还是矩阵; 矩阵得乘法是一个矩阵得行和另一个矩阵得列相乘; 所以矩阵的平方就是该矩阵乘以他本身的转置矩阵f(w)=(Xw?y)T(Xw?y)f(w)=(Xw-y)^T(Xw-y)f(w)=(Xw?y)T(Xw?y)注意: 整体转置变成每个元素都转置时,若是有乘法, 则相乘的两个矩阵要交换位置; 如下所示!f(w)=(wTXT?yT)(Xw?y)f(w)=(w^TX^T-y^T)(Xw-y)f(w)=(wTXT?yT)(Xw y)f(w)=wTXTXw?wTXTy?yTXw+yTyf(w)=w^TX^TXw-w^TX^Ty-y^TXw+y^Tyf( w)=wTXTXw?wTXTy?yTXw+yTy注意: 若想交换两个相乘的矩阵在算式中的位置,则交换之后双方都需要转置一次; 如下所示!f(w)=wTXTXw?(XTy)T(wT)T?yTXw+yTyf(w)=w^TX^TXw-(X^Ty)^T(w^T)^ T-y^TXw+y^Tyf(w)=wTXTXw?(XTy)T(wT)T?yTXw+yTyf(w)=wTXTXw?yTXw?yTXw+yTyf(w)=w^TX^TXw-y^TXw-y^TXw+y^Tyf(w)= wTXTXw?yTXw?yTXw+yTyf(w)=wTXTXw?2yTXw+yTyf(w) = w^TX^TXw - 2y^TXw + y^Ty f(w)=wTXTXw?2yTXw+yTyf(w)=wTXTXw?2yTXw+yTyf(w) = w^TX^TXw - 2y^TXw + y^Ty f(w)=wTXTXw?2yTXw+yTy这里 yTyy^TyyTy 是常数求导后为02yTXw2y^TXw2yTXw 求导:d(2yTX)wdw=(2yTX)T=2XT(yT)T=2XTyfrac{d(2y^TX)w}{dw}=(2y^TX)^ T=2X^T(y^T)^T=2X^Tydwd(2yTX)w?=(2yTX)T=2XT(yT)T=2XTy wTXTXww^TX^TXwwTXTXw求导:dwTXTXwdw=d(wTXTX)wdw+dwT(XTXw)dw=(wTXTX)T+XTXw=XT(XT)T(wT)T +XTXw=2XTXwfrac{dw^TX^TXw}{dw}=frac{d(w^TX^TX)w}{dw}+frac{dw^T(X^TXw)}{dw}=(w^TX^TX)^T+X^TXw=X^T(X^T)^T(w^T)^T+X^TXw=2X^TXwdwd wTXTXw?=dwd(wTXTX)w?+dwdwT(XTXw)?=(wTXTX)T+XTXw=XT(XT)T(wT)T+XT Xw=2XTXwf′(w)=2XTXw?2XTyf'(w) = 2X^TXw - 2X^Tyf′(w)=2XTXw?2XTy令f′(w)=0f'(w)=0f′(w)=0,则:2XTXw?2XTy=02X^TXw - 2X^Ty = 02XTXw?2XTy=0XTXw=XTyX^TXw=X^TyXTXw=XTy矩阵运算没有除法,可以用逆矩阵实现除法的效果等式两边同时乘以XTXX^TXXTX的逆矩阵(XTX)?1(X^TX)^{-1}(XTX)?1 (XTX)?1(XTX)w=(XTX)?1XTy(X^TX)^{-1}(X^TX)w=(X^TX)^{-1}X^Ty(X TX)?1(XTX)w=(XTX)?1XTyIw=(XTX)?1XTyIw=(X^TX)^{-1}X^TyIw=(XTX)?1XTy I是单位矩阵得到正规方程:w=(XTX)?1XTyw=(X^TX)^{-1}X^Tyw=(XTX)?1XTy(四): 数据挖掘实例(预测2020年淘宝双十一交易额)import numpy as npimport matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegressionX = np.arange(2009, 2020) # 年份X = X -2008 # 年份数值太大,差别不明显y = np.array([0.5, 9.36, 52, 191, 350, 571, 912, 1207, 1682, 2135, 2684]) # 09年到19年的交易额假设X和y之间是一元三次的关系(按照前几年的数据走势提出的假设)f(x)=w1x+w2x2+w3x3+bf(x)=w_1x+w_2x^2+w_3x^3+bf(x)=w1?x+w2?x2 +w3?x3+bf(x)=w0x0+w1x1+w2x2+w3x3f(x)=w_0x^0+w_1x^1+w_2x^2+w_3x^3f(x) =w0?x0+w1?x1+w2?x2+w3?x3# X_oo = np.concatenate([a,a]) # 横着级联X_train = np.c_[X**0, X**1, X**2, X**3] # 竖着级联array([[ 1, 1, 1, 1],[ 1, 2, 4, 8],[ 1, 3, 9, 27],[ 1, 4, 16, 64],[ 1, 5, 25, 125],[ 1, 6, 36, 216],[ 1, 7, 49, 343],[ 1, 8, 64, 512],[ 1, 9, 81, 729],[ 1, 10, 100, 1000],[ 1, 11, 121, 1331]], dtype=int32)linear = LinearRegression(fit_intercept=False) # 声明算法; fit_intercept=False将截距设置为0, w0就是截距linear.fit(X_train, y) # 训练w_ = linear.coef_print(linear.coef_.round(2)) # 获取系数print(linear.intercept_) # 获取截距[ 58.77 -84.06 27.95 0.13]可以得到方程:f(x)=58.77?84.06x+27.95x2+0.13x3f(x)=58.77-84.06x+27.95x^2+0 .13x^3f(x)=58.77?84.06x+27.95x2+0.13x3X_test = np.linspace(0,12,126) # 线性分割(将0,12之间分成126分)等差数列包含1和12X_test = np.c_[X_test**0, X_test**1, X_test**2, X_test**3] # 和训练数据保持一致y_ = linear.predict(X_test) # 使用模型预测plt.plot(np.linspace(0,12,126), y_, color='g') # 绘制预测方程曲线plt.scatter(np.arange(1,12), y, color='red') # 绘制每年的真实销量# 定义函数fun = lambda x : w_[0] + w_[1]*x + w_[2]*x**2 + w_[-1]*x**3 '''3294.2775757576132'''三: 梯度下降梯度下降法的基本思想可以类比为一个下山的过程。
第2部分：线性回归(3)-回归方程的函数形式
多元对数线性回归模型
ln y = B1 + B2 ln x2 + B3 ln x3 + u
其中B2、B3又称为偏弹性系数。
二、对数－线性模型
ln y = B1 + B2 x + u
可用来测度增长率。
线性趋势模型
yt = B1 + B2t + ut
如果模型中的斜率为正，则称Y有向上的 趋势；若斜率为负，则称Y有向下的趋势。
三、线性－对数模型
（解释变量为对数形式） y = B1 + B 2 ln x + u y 的绝对变化量 y B2 = ＝ x 的相对变化量 x x 模型给出了 x 每变动一个百分点， y 的绝对变动量。
四、双曲函数模型
1 y = B1 + B2 ( ) + u x 比较有代表性的：恩格尔消费曲线 菲利普斯曲线
五、多项式模型
y = B1 + B2 x + B3 x + B4 x + u
2 3
实例：某企业在16个月的某产品产量和 单位成本资料，分析二者的关系。见 Eviews软件具体操作。其中X表示产量 （台)，Y表示单机成本（元/台）。
回归方程的函数形式 （非线性模型）
参数是线性的，而变量非y = B1 + B2 ln x + u
能对弹性的进行度量，模型中B2度量了 Y对X的弹性。由于由双对数模型所得到 的弹性是一个常数，所以双对数模型又 称为不变弹性模型。
如何选择（对数）线性模型
1、根据经验来选择。 2、根据数据作散点图，再比较。
线性回归方程
水稻产量:320 330 360 410 460 470 480
（1）将上述数据制成散点图； （2）你能从散点图中发现施化肥量与水稻产量近似成什么关系 吗？水稻产量会一直随施化肥量的增加而增长吗？ 分析 判断变量间是否是线性相关，一种常用的简便可行的方
法就是作散点图.
解 （1）散点图如下：
（2）从图中可以发现,当施化肥量由小到大变化时，水稻产量 由小变大，图中的数据点大致分布在一条直线的附近，因此施 化肥量和水稻产量近似成线性相关关系，但水稻产量只是在一 定范围内随着化肥施用量的增加而增长.
nxy ,a y bx
xi nx2
来计算回归系数，有时常制表对应出xiyi,xi2,以便于求和.
举一反三
3. 某中学期中考试后，对成绩进行分析,从某班中选出5名学
生的总成绩和外语成绩如下表：
学生 学科 1 2 3 4 5
总成 绩（x） 482 外语 成绩 （y）
383
421
364
含量x之间的相关关系,现取8对观测值,计算
得
x
i 1
8
i
52 ,
y
i 1
8
i
228
,
x
i 1
8
2
i
478 ,
x y
高中数学知识点：线性回归方程
高中数学知识点：线性回归方程
线性回归方程是高中数学中的一个重要知识点。
其中，回归直线是指通过散点图中心的一条直线，表示两个变量之间的线性相关关系。
回归直线方程可以通过最小二乘法求得。
具体地，可以设与n个观测点（xi，yi）最接近的直线方程为
y=bx+a，其中a、b是待定系数。
然后，通过计算n个偏差的平方和来求出使Q为最小值时的a、b的值。
最终得到的直线方程即为回归直线方程。
需要注意的是，只有在散点图大致呈线性时，求出的回归直线方程才有实际意义。
因此，在进行线性回归分析时，应先看其散点图是否成线性。
另外，求回归直线方程时，需要仔细谨慎地进行计算，避免因计算产生失误。
回归直线方程在现实生活与生产中有广泛的应用。
这种方程可以将非确定性问题转化为确定性问题，从而使“无序”变得“有序”，并对情况进行估测和补充。
因此，研究回归直线方程后，学生应更加重视其在解决相关实际问题中的应用。
注：原文已经没有格式错误和明显有问题的段落。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2.4 线性回归方程
上面这些方法虽然都有一定道理，但总让人感到 可靠性不强.实际上，我们希望从整体上看，应该使 得该直线与散点图中的点最接近.
如何衡量直线与散点图中的点的接近程度?
用类似于估计总体平均数的思想：
考虑所有数据点到直线的距离的 平方和； 距离计算不方便 化斜为直
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
例 求三点（3，10），（7，20）， （11，24）的线性回归方程． 解（1）作出散点图：
30 25 20 15 10 5 0 0 5 10 15
x y
i 1
3 i 1
3
i 1 3
i
3 7 11 21; 10 20 24 54;
2.4 线性回归方程
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
在学校里，老师对学生经常这样说：“如果你的数 学成绩好，那么你的物理学习就不会有什么大的问题” 确实，凭我们的学习经验可知，学生的物理成绩和 数学成绩之间存在一种相关关系，当然，除此以外，还 存在其它影响物理成绩的因素，例如，是否喜欢物理， 用在物理学习上的时间等等.当我们主要考虑数学成绩对 物理成绩影响时，就是要考虑两者之间的相关关系. 我们日常生活中存在许多相关关系的问题： 1.商品销售收入与广告支出经费之间的关系； 2.粮食产量与施肥量之间的关系； 3.人体脂肪和年龄之间的关系；
i 1 i 1
n
n
n S5 当a＝ 时， Q(a,b) 取得最小值； 2m
a
( y
i 1
n
i
bxi )
n
y
i 1
n
i
b x i
i 1
n
n
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
S6 联立关于a,b的二元一次方程组，解a,b .
b a
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
请归纳最小二乘法的基本算法步骤! S1 求离差的平方和Q(a,b)并展开； S2 将Q(a,b) 整理为关于b的二次函数:
Q(a,b) ＝mb2+nb+k； n S3 当b＝ 时， Q(a,b) 取得最小值；
2m
S4 将Q(a,b) 整理为关于a的二次函数:
S2 将Q(a,b) 整理为关于b的二次函数
n n n
Q xi2 b 2 2[ ( yi a ) xi ] b ( yi b)2
i 1 i 1 i 1
n S3 当b＝ 时， Q(a,b) 取得最小值； 2m n n n
b
( y
i 1
i
a ) xi
a ←(S2/n)－ (S1/n) b
Print b ,a
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
30 25 20 15 10 5 0 0 30 25 20 15
y = 1.75x + 5.75 2 R = 0.9423
5 10 15
考虑数据点和直线上和其横坐标相同的点距离的平 方和；
苏教版高中数学教材必修3 第2章 统计
2.4 线性回归方程
Q(a，b)＝(26 b+a－20)2 ＋(18 b+a－24)2
＋(13 b+a－34)2＋ (10 b+a－38)2 ＋(4 b+a－50)2＋(－b+a－64)2
＝1286 b2＋6a2＋140 ab－3820 b－460a＋1072．
苏教版高中数学教材必修3 第2章 统计
r
(x
i 1
n
i
x )( yi y )
2
(x
i 1
n
i
x)
( y
i 1
n
i
x y
i 1 i n 2 i 1
n
i
nx y
n 2 2
y)
2
( xi n x )( yi n y )
2 i 1
ˆ 与x的样本相关系数，简称相关系 这个数值r称为 y ˆ 与x正相关；当r ＜0时， y ˆ 与x负相 数．当r ＞0时，y 关．可以证明｜r｜≤1．｜r｜越接近1，线性相关程 度越高；｜r｜越接近于0，线性相关程度越低．
n S5 当a＝ 时， Q(a,b) 取得最小值； 2m
Q(a,b) ＝ m’a2+n’a+k’；
S6 联立关于a,b的二元一次方程组，解a,b .
苏教版高中数学教材必修3 第2章 统计
2.4 线性回归方程
S1 求离差的平方和Q(a,b)并展开；
Q ( y1 bx1 a)2 ( y2 bx2 a)2 ( yn bxn a)2
10 5 0 0
y = -0.1875x 2 + 4.375x - 1.4375 2 R = 1
5 10 15
很明显，用多项式拟合比用线性拟合好，图中的R2 就是用来描述这一特征的!
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
就是两个线性关系，它们相关程度也有区别，此 时描述它们相关程度的r定义为：
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
x y
x1 y1
x2 y2
x3 y3
… …
xn yn
Q ( y1 bx1 a)2 ( y2 bx2 a)2 ( yn bxn a)2
ˆ bx a 为拟合 a,b的值使Q取得最小值时，就称 y 这n对数据的线性回归方程，将该方程所表示的直线 称为回归直线．
yx
i 1 i n
n
i n
a xi
i 1 2 i
n
x
i 1
;
( xi2 )b ( xi )a xi yi .
i 1 i 1 i 1
n
n
n
y
i 1
i
b x i
i 1
n
n
.
( xi )b na yi .
i 1 i 1
n
n
苏教版高中数学教材必修3
2 x i i 1
n
yx
i 1 i
i n
a xi
i 1 2 i
x
i 1
.
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
S4 将Q(a,b) 整理为关于a的二次函数:
Q na 2 2a ( yi bxi ) ( yi bxi )2
第2章 统计
苏教版高中数学教材必修3
2.4 线性回归方程
请用伪代码实现上述一般步骤!
S1←0
S2 ←0 S3 ←0 S4 ←0 Read n For i From 1 to n Read x,y S1 ← S1+x
S2 ← S2+y
S3 ← S3+x2
S4 ← S4+xy
End For
b←[nS4－S1S2)/(nS3－(S1)2]
ˆ 1.6477x 57.5568 y
第2章 统计
苏教版高中数学教材必修3
2.4 线性回归方程
ˆ bx a 与各散点在垂直方向（纵 Ｑ(a，b)是直线 y
轴方向）上的距离的平方和，可以用来衡量直线 ˆ bx a 与图中六个点的接近程度．所以，设法 y 取a，b的值，使Q(a，b)达到最小值．这种方法叫 做最小二乘法．
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
气温／℃ 杯 数
26 20
18 24
13 34
10 38
4 50
y
60
－1 64
作散点图； 散点散布在一条直线附近，故可 以用一个线性函数来拟合数据！ 选择怎样的线性函数（直线）？ 选择能反映直线变化的两个点连线；
50
40 30 20
取一条直线，使位于直线两侧的点 10 25 35 数基本相同； x -5O 5 15 多取几组点确定几条直线，分别计算其斜率和截距 的平均值，作为所求直线的斜率和截距； ……
苏教版高中数学教材必修3
第2章 统计
2.4 线性回归方程
某小卖部为了了解热茶销售量与气温之间的关系， 随机统计并制作了某6天卖出热茶的杯数与当天气温 的对比表： 气温／℃ 杯 数 26 20 18 24 13 34 10 38 4 50 －1 64
如果某天的气温是18℃，那么这一天的热茶销 量一定是24杯吗？当气温是－5℃时，你能根据这 些数据预测这天小卖部卖出热茶的杯数吗？
第2章 统计
2.4 线性回归方程
n n n 2 ( x i )b ( x i )a x i yi ; i 1 i 1 i 1 n n ( x )b na yi . i i 1 i 1
n n n n xi yi ( xi )( yi ) i 1 i 1 i 1 b , n n n xi2 ( xi )2 i 1 i 1 a y bx .
i
3 434 21 54 b 1.75; 2 3 179 21
54 21 a 1.75 5.75. 3 3
2 x i 9 49 121 179;
xi yi 30 140 264 434.
i 1