线性回归方程公式推导过程
线性回归计算方法及公式36页PPT
• 向前引入法（forward selection)
自变量由少到多一个一个引入回归方程。 将 corr(y , xj)最大而又能拒绝H0者，最 先引入方程，余此类推。至不能再拒绝 H0为止。
• 向后剔除法（backward selection)
自变量先全部选入方程，每次剔除一个使 上述检验最不能拒绝H0者，直到不能剔 除为止。
多元线性回归
• 多元线性回归是简单线性回归的直接推广，其包含一 个因变量和二个或二个以上的自变量。
• 简单线性回归是研究一个因变量（Y）和一个自变量 （X）之间数量上相互依存的线性关系。而多元线性回 归是研究一个因变量（Y）和多个自变量（Xi）之间数 量上相互依存的线性关系。
• 简单线性回归的大部分内容可用于多元回归，因其基 本概念是一样的。
y =B0+B1x1+B2x2+…+Bp xp+ (模型）
B0、B1、B2和Bp为待估参数， 为残差。 • 由一组样本数据，可求出等估参数的估计值b0、b1、b2
和bp,，得到如下回归方程：
ŷi =b0+b1x1+b2x2+…+bp xp
• 由此可见，建立回归方程的过程就是对回归模型中的 参数（常数项和偏回归系数）进行估计的过程。
回归方程中自变量的选择
• 多元线性回归方程中并非自变量越多越 好，原因是自变量越多剩余标准差可能 变大；同时也增加收集资料的难度。故 需寻求“最佳”回归方程，逐步回归分 析是寻求“较佳”回归方程的一种方法。
选择变量的统计学标准
• R2最大
R2 ＝ SS回归／ SS总
• adjR2最大： adjR2＝1－MS误差/ MS总
高中数学线性回归方程线性回归方程公式详解
高中数学线性回归方程线性回归方程公式详解
线性回归方程是一种用于拟合一组数据的最常见的数学模型，它可以用来预测一个因变量（例如销售额）和一个或多个自变量（例如广告费用）之间的关系。
下面是线性回归方程的公式详解：
假设有n个数据点，每个数据点包含一个因变量y和k个自变量x1,x2,...,xk。
线性回归方程可以表示为：
y = β0 + β1*x1 + β2*x2 + ... + βk*xk + ε
其中，β0, β1, β2, ..., βk是模型的系数，ε是误差项，用来表示实际数据和模型预测之间的差异。
系数β0表示当所有自变量均为0时的截距，而β1, β2, ..., βk 则表示每个自变量对因变量的影响。
当系数为正时，自变量增加时因变量也会增加；而当系数为负时，自变量增加时因变量会减少。
通常，我们使用最小二乘法来估计模型的系数。
最小二乘法就是通过最小化所有数据点与模型预测之间的距离来找到最优的系数。
具体来说，我们可以使用以下公式来计算系数：
β = (X'X)-1 X'y
其中，X是一个n×(k+1)的矩阵，第一列全为1，其余的列为自变量x1,x2,...,xk。
y是一个n×1的向量，每一行对应一个因
变量。
X'表示X的转置，-1表示X的逆矩阵，而β则是一个(k+1)×1的向量，包含所有系数。
当拟合出线性回归方程后，我们可以使用它来预测新的数据点的因变量。
具体来说，我们可以将自变量代入方程中，计算出相应的因变量值。
如果模型的系数是可靠的，我们可以相信这些预测结果是比较准确的。
线性回归方程公式推导
线性回归方程公式推导从现代经济学研究看，线性回归是一种多变量经济分析方法，它能够用来研究变量之间的关系，以便确定哪些变量具有影响性。
线性回归模型是描述一个响应变量和一组predictor变量之间关系的线性关系模型。
线性回归模型有多种形式，其中最常见的是最小二乘法，即OLS，其核心思想是通过最小化以下损失函数来确定回归系数：S=1/n (yi-i)其中，yi是实际值，i是预测值，n是数据样本的个数。
有了线性回归模型，就可以推导出公式，即OLS回归方程。
它表述的意思是，假设回归系数β的值是已知的，即满足公式：β=(XX)^-1XY其中，X指的是一个有m个变量的矩阵，Y指的是一个有n个观测值的矩阵，X指的是X矩阵的转置矩阵，(XX)^-1指的是求XX的逆矩阵，XY指的是X和Y的点乘积。
由此，OLS回归模型就可以用变量yi=b1x1i+b2x2i+…+bpxpi+εi来表示，其中b1, b2,, bp分别是变量x1i, x2i,, xpi的回归系数，εi是误差项，它以期望值为零的正态分布的形式出现，表示随机噪声。
一般来说，OLS即可用来估计参数的可能性，但是，由于它们常常受到多重共线性的影响，因此需要检验其可靠性。
OLS的优点是可以提供一种最优的参数估计法，它能够有效地提高参数估计的准确性。
此外，OLS进行变量检验时，也可以有效地识别出具有影响性的变量。
不过，OLS也有其缺点，尤其是当数据存在某些问题时，可能会导致OLS的估计结果出现偏差。
主要问题包括多重共线性、异方差性和异常值。
对于这些问题，最好的解决方法是对数据进行相关性分析，从而将偏差减少到最小。
综上所述，OLS回归方程公式能够有效地描述变量之间的关系，检验其可靠性，以便确定哪些变量具有影响性。
为了确保其准确性，应当有效地处理多重共线性等问题，从而使得OLS具有更强的适用性。
线 性 回 归 方 程 推 导
线性回归——正规方程推导过程线性回归——正规方程推导过程我们知道线性回归中除了利用梯度下降算法来求最优解之外，还可以通过正规方程的形式来求解。
首先看到我们的线性回归模型：f(xi)=wTxif(x_i)=w^Tx_if(xi?)=wTxi?其中w=(w0w1.wn)w=begin{pmatrix}w_0w_1.w_nend{pmatrix}w=?w0?w1?. wn?，xi=(x0x1.xn)x_i=begin{pmatrix}x_0x_1.x_nend{pmatrix}xi?=?x0 x1.xn，m表示样本数，n是特征数。
然后我们的代价函数(这里使用均方误差)：J(w)=∑i=1m(f(xi)?yi)2J(w)=sum_{i=1}^m(f(x_i)-y_i)^2J(w) =i=1∑m?(f(xi?)?yi?)2接着把我的代价函数写成向量的形式：J(w)=(Xw?y)T(Xw?y)J(w)=(Xw-y)^T(Xw-y)J(w)=(Xw?y)T(Xw?y) 其中X=(1x11x12?x1n1x21x22?x2n?1xm1xm2?xmn)X=begin{pmatrix}1 x_{11} x_{12} cdots x_{1n}1 x_{21} x_{22} cdots x_{2n}vdots vdots vdots ddots vdots1 x_{m1} x_{m2} cdots x_{mn}end{pmatrix}X=?11?1?x11?x21?xm1?x12?x22?xm2?x1n?x2n?xmn?最后我们对w进行求导，等于0，即求出最优解。
在求导之前，先补充一下线性代数中矩阵的知识：1.左分配率：A(B+C)=AB+ACA(B+C) = AB+ACA(B+C)=AB+AC；右分配率：(B+C)A=BA+CA(B+C)A = BA + CA(B+C)A=BA+CA2.转置和逆：(AT)?1=(A?1)T(A^T)^{-1}=(A^{-1})^T(AT)?1=(A?1)T，(AT)T=A(A^T)^T=A(AT)T=A3.矩阵转置的运算规律：(A+B)T=AT+BT(A+B)^T=A^T+B^T(A+B)T=AT+BT；(AB)T=BTAT(AB)^T=B^TA^T(AB)T=BTAT然后介绍一下常用的矩阵求导公式：1.δXTAXδX=(A+AT)Xfrac{delta X^TAX}{delta X}=(A+A^T)XδXδXTAX?=(A+AT)X2.δAXδX=ATfrac{delta AX}{delta X}=A^TδXδAX?=AT3.δXTAδX=Afrac{delta X^TA}{delta X}=AδXδXTA?=A然后我们来看一下求导的过程：1.展开原函数，利用上面的定理J(w)=(Xw?y)T(Xw?y)=((Xw)T?yT)(Xw?y)=wTXTXw?wTXTy?yTXw+yT yJ(w)=(Xw-y)^T(Xw-y)=((Xw)^T-y^T)(Xw-y)=w^TX^TXw-w^TX^Ty-y^TXw+y^TyJ(w)=(Xw?y)T(Xw?y)=((Xw)T?yT)(Xw?y)=wTXTXw?wTXTy?yT Xw+yTy2.求导，化简得，δJ(w)δw=(XTX+(XTX)T)w?XTy?(yTX)T=0?2XTXw?2XTy=0?XTXw=X Ty?w=(XXT)?1XTyfrac{delta J(w)}{delta w}=(X^TX+(X^TX)^T)w-X^Ty-(y^TX)^T=0implies2X^TXw-2X^Ty=0implies X^TXw=X^Tyimplies w=(XX^T)^{-1}X^TyδwδJ(w)?=(XTX+(XTX)T)w?XTy?(yTX)T=0?2XTX w?2XTy=0?XTXw=XTy?w=(XXT)?1XTy最后补充一下关于矩阵求导的一些知识，不懂可以查阅：矩阵求导、几种重要的矩阵及常用的矩阵求导公式这次接着一元线性回归继续介绍多元线性回归，同样还是参靠周志华老师的《机器学习》，把其中我一开始学习时花了较大精力弄通的推导环节详细叙述一下。
总体回归方程
总体回归方程引言总体回归方程是统计学中用来描述自变量与因变量之间关系的数学模型。
通过总体回归方程，我们可以预测因变量的取值，并了解自变量对因变量的影响程度。
本文将介绍总体回归方程的概念、推导过程以及应用领域。
概念解析在回归分析中，总体回归方程是一种描述自变量和因变量之间关系的模型。
总体回归方程可以分为线性回归方程和非线性回归方程。
线性回归方程指的是自变量和因变量之间存在线性关系，可以用直线来表示；非线性回归方程指的是自变量和因变量之间存在非线性关系，可能需要用曲线来表示。
总体回归方程的表达式为：Y = β0 + β1X1 + β2X2 + … + βkXk + ε其中，Y是因变量，X1~Xk 是自变量，β0~βk 是回归系数，ε是随机误差项。
回归系数反映了自变量对因变量的影响程度，随机误差项则表示模型无法解释的因素。
推导过程推导总体回归方程的过程通常使用最小二乘法。
最小二乘法的思想是通过最小化实际观测值与模型预测值的残差平方和来确定回归系数的估计值。
下面是推导总体回归方程的基本步骤：1.假设总体回归方程为线性模型。
2.根据样本数据估计回归系数。
3.利用估计的回归系数构建总体回归方程。
在实际应用中，我们需要对回归模型进行诊断检验，以验证模型的合理性和统计显著性。
这些检验包括方差分析、残差分析、回归系数的显著性检验等。
应用领域总体回归方程广泛应用于各个领域，特别是社会科学和自然科学。
下面是一些常见的应用领域：经济学在经济学中，总体回归方程用于研究经济现象和经济变量之间的关系。
例如，通过分析GDP与消费支出、投资支出等因素的关系，可以预测经济增长趋势。
市场营销在市场营销领域，总体回归方程被用来分析市场需求和消费者行为的关系。
通过了解消费者对产品特性、价格和促销活动的反应，企业可以制定更有效的市场营销策略。
医学在医学领域，总体回归方程可以应用于流行病学研究中。
例如，研究人群吸烟与癌症发病率之间的关系，可以提供预防和控制癌症的具体措施。
线性回归方程b的公式推导
线性回归方程b的公式推导线性回归方程b是统计学中一种重要的回归分析技术，它是为了预测一个或多个变量之间的关系而拟合的数学模型，它可以帮助我们更好地理解模型中的变量之间的特定关系，并可以用来预测未知的分类问题。
线性回归方程b属于传统的机器学习算法之一，广泛用于各行各业。
线性回归方程b的定义为：Y或者Yi是解释变量，X者 Xi解释变量，b系数，u残差项。
如果某一变量Yi具有另一变量Xi的线性拟合关系，则Yi可以用Xi来描述，这个关系可以用线性回归方程b 来表达：Yi = bX1 + bX2 + + bXn + u。
线性回归模型的参数b又分成两部分，一部分是回归系数，是描述变量的关系的，一部分是残差项，即残差是形成的拟合曲线的垂直距离，表示因为未知的原因而无法拟合的数据。
有了线性回归方程b，此时我们就可以开始推导线性回归方程b 的公式来求解回归系数b了。
首先，将方程Yi = bX1 + bX2 + + bXn + u转换为矩阵形式，Yi = BX + u，其中，B为系数矩阵（由回归系数b组成），X为自变量矩阵（由解释变量Xi组成），u为残差项。
接着，在只有唯一解的前提下，可用最小二乘法（OLS）来求解回归系数b的值：BOLS=(XX)^(-1)XY，其中XX是X的转置矩阵乘以X矩阵为正定阵，XY是X的转置矩阵乘以Y矩阵。
有了上述的公式，我们就可以进行求解回归系数b的值了。
回归系数b的求解可分为以下几步：首先，从样本中抽取多个解释变量和一个被解释变量；然后，计算XX和XY；接下来，计算BOLS，即（XX）^(-1)XY；最后，根据BOLS确定其中的回归系数b。
以上就是线性回归方程b的推导过程。
线性回归方程b不仅可以用于求解拟合程度，而且可以用来预测未知的数据。
此外，它也不仅仅可以用于线性回归，还可以用于其他类型的回归分析，比如多项式回归、局部加权回归、非线性回归等。
以上就是关于线性回归方程b推导公式的相关内容，线性回归方程b是统计学中一种重要的回归分析技术，它可以用来推导回归系数b的计算，并可以用来预测未知的分类问题。
线 性 回 归 方 程 推 导
线性回归之最小二乘法线性回归Linear Regression——线性回归是机器学习中有监督机器学习下的一种简单的回归算法。
分为一元线性回归(简单线性回归)和多元线性回归,其中一元线性回归是多元线性回归的一种特殊情况,我们主要讨论多元线性回归如果因变量和自变量之间的关系满足线性关系(自变量的最高幂为一次),那么我们可以用线性回归模型来拟合因变量与自变量之间的关系.简单线性回归的公式如下:y^=ax+b hat y=ax+by^?=ax+b多元线性回归的公式如下:y^=θTx hat y= theta^T x y^?=θTx上式中的θthetaθ为系数矩阵,x为单个多元样本.由训练集中的样本数据来求得系数矩阵,求解的结果就是线性回归模型,预测样本带入x就能获得预测值y^hat yy^?,求解系数矩阵的具体公式接下来会推导.推导过程推导总似然函数假设线性回归公式为y^=θxhat y= theta xy^?=θx.真实值y与预测值y^hat yy^?之间必然有误差?=y^?yepsilon=haty-y?=y^?y,按照中心极限定理(见知识储备),我们可以假定?epsilon?服从正态分布,正态分布的概率密度公式为:ρ(x)=1σ2πe?(x?μ)22σ2rho (x)=frac {1}{sigmasqrt{2pi}}e^{-frac{(x-mu)^2}{2sigma^2}}ρ(x)=σ2π1e2σ2(x?μ)2?为了模型的准确性,我们希望?epsilon?的值越小越好,所以正态分布的期望μmuμ为0.概率函数需要由概率密度函数求积分,计算太复杂,但是概率函数和概率密度函数呈正相关,当概率密度函数求得最大值时概率函数也在此时能得到最大值,因此之后会用概率密度函数代替概率函数做计算.我们就得到了单个样本的误差似然函数(μ=0,σmu=0,sigmaμ=0,σ为某个定值):ρ(?)=1σ2πe?(?0)22σ2rho (epsilon)=frac {1}{sigmasqrt{2pi}}e^{-frac{(epsilon-0)^2}{2sigma^2}}ρ(?)=σ2π?1?e?2σ2(?0)2?而一组样本的误差总似然函数即为:Lθ(?1,?,?m)=f(?1,?,?m∣μ,σ2)L_theta(epsilon_1,cdots,e psilon_m)=f(epsilon_1,cdots,epsilon_m|mu,sigma^2)Lθ?(?1?,? ,?m?)=f(?1?,?,?m?∣μ,σ2)因为我们假定了?epsilon?服从正态分布,也就是说样本之间互相独立,所以我们可以把上式写成连乘的形式:f(?1,?,?m∣μ,σ2)=f(?1∣μ,σ2)?f(?m∣μ,σ2)f(epsilon_1,cdots,epsilon_m|mu,sigma^2)=f(epsilon_1|mu,sigma^2)*cdots *f(epsilon_m|mu,sigma^2)f(?1?,?,?m?∣μ,σ2)=f(?1?∣μ,σ2)?f(?m?∣μ,σ2) Lθ(?1,?,?m)=∏i=1mf(?i∣μ,σ2)=∏i=1m1σ2πe?(?i?0)22σ2L_theta(epsilon_1,cdots,epsilon_m)=prod^m_{i=1}f(epsilon _i|mu,sigma^2)=prod^m_{i=1}frac{1}{sigmasqrt{2pi}}e^{-frac{(epsilon_i-0)^2}{2sigma^2}}Lθ? (?1?,?,?m?)=i=1∏m?f(?i?∣μ,σ2)=i=1∏m?σ2π?1?e?2σ2(?i?0)2?在线性回归中,误差函数可以写为如下形式:i=∣yiy^i∣=∣yiθTxi∣epsilon_i=|y_i-haty_i|=|y_i-theta^Tx_i|?i?=∣yi?y^?i?∣=∣yi?θTxi?∣最后可以得到在正态分布假设下的总似然估计函数如下:Lθ(?1,?,?m)=∏i=1m1σ2πe?(?i?0)22σ2=∏i=1m1σ2πe?(yi θTxi)22σ2L_theta(epsilon_1,cdots,epsilon_m)=prod^m_{i=1} frac{1}{sigmasqrt{2pi}}e^{-frac{(epsilon_i-0)^2}{2sigma^2}}=pro d^m_{i=1}frac{1}{sigmasqrt{2pi}}e^{-frac{(y_i-theta^Tx_i)^2}{2sigma^2}}L θ?(?1?,?,?m?)=i=1∏m?σ2π?1?e?2σ2(?i?0)2?=i=1∏m?σ2π?1 e2σ2(yi?θTxi?)2?推导损失函数按照最大总似然的数学思想(见知识储备),我们可以试着去求总似然的最大值.遇到连乘符号的时候,一般思路是对两边做对数运算(见知识储备),获得对数总似然函数:l(θ)=loge(Lθ(?1,?,?m))=loge(∏i=1m1σ2πe?(yi?θTxi)22σ2)l(theta)=log_e(L_theta(epsilon_1,cdots,epsilon_m))=log_ e(prod^m_{i=1}frac{1}{sigmasqrt{2pi}}e^{-frac{(y_i-theta^Tx_i)^2}{2sigma^2}}) l(θ)=loge?(Lθ?(?1?,?,?m?))=loge?(i=1∏m?σ2π?1?e?2σ2(yi θTxi?)2?)l(θ)=loge(∏i=1m1σ2πe?(yi?θTxi)22σ2)=∑i=1mloge1σ2πexp(?(yi?θTxi)22σ2)=mloge1σ2π?12σ2∑i=1m(yi?θTxi)2l (theta) = log_e(prod^m_{i=1}frac {1}{sigmasqrt{2pi}}e^{-frac{(y_i-theta^Tx_i)^2}{2sigma^2}}) = sum_{i=1}^mlog_efrac {1}{sigmasqrt{2pi}}exp({-frac{(y_i-theta^Tx_i)^2}{2sigma^2} })=mlog_efrac{1}{sigmasqrt{2pi}}-frac{1}{2sigma^2}sum^m_{i= 1}(y^i-theta^Tx^i)^2l(θ)=loge?(i=1∏m?σ2π?1?e?2σ2(yi?θTxi?)2?)=i=1∑m?loge?σ2π?1?exp(?2σ2(yi?θTxi?)2?)=mloge?σ2π?1?2σ21?i=1∑m?(yi?θTxi)2前部分是一个常数,后部分越小那么总似然值越大,后部分则称之为损失函数,则有损失函数的公式J(θ)J(theta)J(θ):J(θ)=12∑i=1m(yi?θTxi)2=12∑i=1m(yi?hθ(xi))2=12∑i=1m (hθ(xi)?yi)2J(theta)=frac{1}{2}sum^m_{i=1}(y^i-theta^Tx^i)^2=frac{1}{2} sum^m_{i=1}(y^i-h_theta(x^i))^2=frac{1}{2}sum^m_{i=1}(h_the ta(x^i)-y^i)^2J(θ)=21?i=1∑m?(yi?θTxi)2=21?i=1∑m?(yi?hθ?(xi))2=21?i=1∑m?(hθ?(xi)?yi)2解析方法求解线性回归要求的总似然最大,需要使得损失函数最小,我们可以对损失函数求导.首先对损失函数做进一步推导:J(θ)=12∑i=1m(hθ(xi)?yi)2=12(Xθ?y)T(Xθ?y)J(theta)=fr ac{1}{2}sum^m_{i=1}(h_theta(x^i)-y^i)^2=frac{1}{2}(Xtheta-y )^T(Xtheta-y)J(θ)=21?i=1∑m?(hθ?(xi)?yi)2=21?(Xθ?y)T(Xθy)注意上式中的X是一组样本形成的样本矩阵,θthetaθ是系数向量,y也是样本真实值形成的矩阵,这一步转换不能理解的话可以试着把12(Xθ?y)T(Xθ?y)frac{1}{2}(Xtheta-y)^T(Xtheta-y)21?(Xθ?y) T(Xθ?y)带入值展开试试.J(θ)=12∑i=1m(hθ(xi)?yi)2=12(Xθ?y)T(Xθ?y)=12((Xθ)T? yT)(Xθ?y)=12(θTXT?yT)(Xθ?y)=12(θTXTXθ?yTXθ?θTXTy+yTy)J(theta)=frac{1}{2}sum^m_{i=1}(h_theta(x^i)-y^i)^2=frac{1} {2}(Xtheta-y)^T(Xtheta-y)=frac{1}{2}((Xtheta)^T-y^T)(Xtheta -y)=frac{1}{2}(theta^TX^T-y^T)(Xtheta-y)=frac{1}{2}(theta^T X^TXtheta-y^TXtheta-theta^TX^Ty+y^Ty)J(θ)=21?i=1∑m?(hθ?( xi)?yi)2=21?(Xθ?y)T(Xθ?y)=21?((Xθ)T?yT)(Xθ?y)=21?(θTXT yT)(Xθ?y)=21?(θTXTXθ?yTXθ?θTXTy+yTy)根据黑塞矩阵可以判断出J(θ)J(theta)J(θ)是凸函数,即J(θ)J(theta)J(θ)的对θthetaθ的导数为零时可以求得J(θ)J(theta)J(θ)的最小值.J(θ)?θ=12(2XTXθ?(yTX)T?XTy)=12(2XTXθ?XTy?XTy)=XTXθXTyfrac{partialJ(theta)}{partialtheta}=frac{1}{2}(2X^TXtheta-(y^TX)^T-X^Ty )=frac{1}{2}(2X^TXtheta-X^Ty-X^Ty)=X^TXtheta-X^Ty?θ?J(θ)? =21?(2XTXθ?(yTX)T?XTy)=21?(2XTXθ?XTy?XTy)=XTXθ?XTy 当上式等于零时可以求得损失函数最小时对应的θthetaθ,即我们最终想要获得的系数矩阵:XTXθ?XTy=0XTXθ=XTy((XTX)?1XTX)θ=(XTX)?1XTyEθ=(XTX)?1 XTyθ=(XTX)?1XTyX^TXtheta-X^Ty=0X^TXtheta=X^Ty((X^TX)^{-1}X^TX)theta=(X^TX)^{-1}X^TyEtheta=(X^TX)^{-1}X^Tytheta=(X^TX)^{-1}X^TyXTXθ?XTy=0XT Xθ=XTy((XTX)?1XTX)θ=(XTX)?1XTyEθ=(XTX)?1XTyθ=(XTX)?1XTy (顺便附上一元线性回归的系数解析解公式:θ=∑i=1m(xi?x￣)(yi?y￣)∑i=1m(xi?x ￣)2theta=frac{sum^m_{i=1}(x_i-overline{x})(y_i-overline{y} )}{sum^m_{i=1}(x_i-overline{x})^2}θ=∑i=1m?(xi?x)2∑i=1m?( xi?x)(yi?y?)?)简单实现import numpy as npimport matplotlib.pyplot as plt# 随机创建训练集,X中有一列全为'1'作为截距项X = 2 * np.random.rand(100, 1)y = 5 + 4 * X + np.random.randn(100, 1)X = np.c_[np.ones((100,1)),X]# 按上面获得的解析解来求得系数矩阵thetatheta = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)# 打印结果print(theta)# 测试部分X_test = np.array([[0],X_test = np.c_[(np.ones((2, 1))), X_test]print(X_test)y_predict = X_test.dot(theta)print(y_predict)plt.plot(X_test[:,-1], y_predict, 'r-')plt.axis([0, 2, 0, 15])plt.show()sklearn实现import numpy as npimport matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegression X = 2 * np.random.rand(100, 1)y = 5 + 4 * X + np.random.randn(100, 1)X = np.c_[np.ones((100,1)),X]# 新建线性回归模型model = LinearRegression(fit_intercept=False)# 代入训练集数据做训练model.fit(X,y)# 打印训练结果print(model.intercept_,model.coef_)X_test = np.array([[0],X_test = np.c_[(np.ones((2, 1))), X_test]print(X_test)y_predict =model.predict(X_test)print(y_predict)plt.plot(X_test[:,-1], y_predict, 'r-')plt.axis([0, 2, 0, 15])plt.show()使用解析解的公式来求得地模型是最准确的.计算量非常大,这会使得求解耗时极多,因此我们一般用的都是梯度下降法求解.知识储备距离公式机器学习中常见的距离公式 - WingPig - 博客园中心极限定理是讨论随机变量序列部分和分布渐近于正态分布的一类定理。
线 性 回 归 方 程 推 导
线性回归方程推导理论推导机器学习所针对的问题有两种：一种是回归，一种是分类。
回归是解决连续数据的预测问题，而分类是解决离散数据的预测问题。
线性回归是一个典型的回归问题。
其实我们在中学时期就接触过，叫最小二乘法。
线性回归试图学得一个线性模型以尽可能准确地预测输出结果。
?先从简单的模型看起：?首先，我们只考虑单组变量的情况，有：?使得?假设有m个数据，我们希望通过x预测的结果f(x)来估计y。
其中w和b都是线性回归模型的参数。
?为了能更好地预测出结果，我们希望自己预测的结果f(x)与y 的差值尽可能地小，所以我们可以写出代价函数（cost function）如下：?接着代入f(x)的公式可以得到：?不难看出，这里的代价函数表示的是预测值f(x)与实际值y之间的误差的平方。
它对应了常用的欧几里得距离简称“欧氏距离”。
基于均方误差最小化来求解模型的方法我们叫做“最小二乘法”。
在线性回归中，最小二乘法实质上就是找到一条直线，使所有样本数据到该直线的欧式距离之和最小，即误差最小。
?我们希望这个代价函数能有最小值，那么就分别对其求w和b的偏导，使其等于0，求解方程。
?先求偏导，得到下面两个式子：?很明显，公式中的参数m，b，w都与i无关，简化时可以直接提出来。
?另这两个偏导等于0：?求解方程组，解得：?这样根据数据集中给出的x和y，我们可以求出w和b来构建简单的线性模型来预测结果。
接下来，推广到更一般的情况：?我们假设数据集中共有m个样本，每个样本有n个特征，用X矩阵表示样本和特征，是一个m×n的矩阵：?用Y矩阵表示标签，是一个m×1的矩阵：?为了构建线性模型，我们还需要假设一些参数：?（有时还要加一个偏差（bias）也就是，为了推导方便没加，实际上结果是一样的）好了，我们可以表示出线性模型了：?h(x)表示假设，即hypothesis。
通过矩阵乘法，我们知道结果是一个n×1的矩阵。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
线性回归方程公式推导过程
公式是数学题目的解题关键，那么线性回归方程公式推导过程是什么呢?下面是由小编为大家整理的“线性回归方程公式推导过程”，仅供参考，欢迎大家阅读。
线性回归方程公式推导过程
假设线性回归方程为： y=ax+b (1)，
a,b为回归系数,要用观测数据(x1,x2,...,xn和y1,y2,...,yn)确定之。
为此构造Q(a,b)=Σ(i=1->n)[yi-(axi+b)]^2 (2)，
使Q(a,b)取最小值的a,b为所求。
令：∂Q/∂a= 2Σ(i=1->n)[yi-(axi+b)](-xi)= 0 (3)，
∂Q/∂b= 2Σ(i=1->n)[yi-(axi+b)] = 0 (4)，
根据(3)、(4)解出a ,b就确定了回归方程(1)：
a Σ (Xi)² +
b Σ Xi = Σ Xi Yi (5)；
a Σ Xi +
b n = Σ Yi (6)；
由(5)(6)解出a,b便是。
//这一步就省略了。
拓展阅读：线性回归方程的分析方法
分析按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。
如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。
如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。
线性回归方程的例题求解
用最小二乘法估计参数b,设服从正态分布,分别求对a、b的偏导数并令它们等于零，得方程组解得。
其中，且为观测值的样本方差.线性方程称为关于的线性回归方程,称为回归系数,对应的直线称为回归直线.顺便指出,将来还需用到,其中为观测值的样本方差。
先求x,y的平均值。
利用公式求解：b=把x,y的平均数带入a=y-bx。
求出a=是总的公式y=bx+a线性回归方程y=bx+a过定点。
(x为xi的平均数，y为yi的平均数)。