最小二乘法
最小二乘法定义
最小二乘法定义最小二乘法（Least Squares Method，简称LS）是指在数学中一种最常见的数据拟合方法，它是一种统计学意义上的估计方法，用来找出未知变量和已知变量之间的关系，其中模型参数是通过最小化数据集误差的平方和来估计的。
一、定义：最小二乘法（Least Squares Method）是指在数学中最常见的数据拟合方法，它是一种统计学意义上的估计方法，用来确定未知变量与已知变量之间的关系，其中模型参数是通过最小化数据集误差的平方和来估计的。
二、基本原理：最小二乘法的基本原理是利用数据点与一个被称为“模型函数”的预设函数之间的差异，来从中估计出模型函数的参数。
具体来说，这一差异可以以误差的平方和来衡量，最小二乘法就是最小这一平方和的方法。
三、步骤：1. 构造未知变量的模型函数，其中当需要拟合的参数数目大于等于给定数据点的个数时，就会导致一定的形式多项式模型函数有正解；2. 求解模型函数的最小平方误差的最优解，即求解参数的数值；3. 根据最优解找出最小平方误差的值；4. 对模型函数进行评价，判断是否尽可能地满足数据点；5. 若满足，则用找出的模型函数来预报未来的参数变化情况。
四、应用：1. 拟合统计图形：通过最小二乘法，可以得到曲线拟合的参数，绘制出统计图形的曲线，用来剖析统计数据；2. 回归分析：可以用最小二乘法预测变量和另一变量之间的关系，如：股票收益与股价价格之间的关系，从而得到有用的分析结果；3. 模型拟合：最小二乘法可以估计精确数据模型参数，这些模型参数可与实验数据相同；4. 图像分析：最小二乘法可用于分析图像特征，如：平面图像的特征提取与比较，目标图像分类，等；5. 信号处理：最小二乘法的应用也可扩展到信号处理领域，用该方法对信号和噪声之间的关系进行拟合，来消除信号中的噪声。
最小二乘法的概念
最小二乘法1. 概念定义最小二乘法（Least Squares Method）是一种数学优化方法，用于找到一组参数，使得观测数据与模型预测值之间的平方误差最小。
它通过对误差的平方和进行最小化来估计未知参数的值。
在最小二乘法中，我们假设存在一个线性模型来描述观测数据与未知参数之间的关系。
给定n个观测数据点(xi, yi)，其中xi是自变量，yi是因变量，我们可以将线性模型表示为：yi = β0 + β1 * xi + εi其中β0和β1是待估计的未知参数，εi是服从正态分布的随机误差。
我们的目标是找到最佳拟合线，使得所有数据点到该线的距离之和最小。
2. 重要性最小二乘法在统计学和数据分析中具有广泛应用，并且具有以下重要性：2.1 参数估计通过最小二乘法可以估计出线性回归模型中的未知参数。
这些参数对于理解和解释观测数据与自变量之间关系非常重要。
例如，在经济学中，可以使用最小二乘法来估计供需曲线、收入弹性等经济模型中的参数。
2.2 模型拟合最小二乘法可以用于拟合数据，并找到最佳拟合线或曲线。
通过最小化误差平方和，我们可以找到与观测数据最接近的模型。
这对于预测和预测未来数据点非常有用。
2.3 假设检验在统计推断中，最小二乘法还可以用于假设检验。
我们可以利用最小二乘估计的参数进行假设检验，以确定自变量与因变量之间是否存在显著关系。
2.4 模型诊断除了参数估计和模型拟合外，最小二乘法还可以用于诊断模型的适应性和有效性。
通过分析残差（观测值与预测值之间的差异），我们可以检查模型是否满足所假设的条件，并进行必要的修正。
3. 应用最小二乘法广泛应用于各个领域，包括但不限于以下几个方面：3.1 线性回归分析线性回归是最常见的应用之一。
通过将观测数据与线性模型进行拟合，我们可以估计出自变量与因变量之间的关系。
线性回归可以用于预测、关联分析和因果推断等。
3.2 时间序列分析时间序列分析是对随时间变化的数据进行建模和预测的方法。
最小二乘法知识
最小二乘法知识最小二乘法是一种最优化方法，经常用于拟合数据和解决回归问题。
它的目标是通过调整模型参数，使得模型的预测值与观测值之间的差异最小。
最小二乘法的核心思想是最小化误差的平方和。
对于给定的数据集，假设有一个线性模型y = β₀ + β₁x₁ + β₂x₂ + ... +βₙxₙ，其中β₀, β₁, β₂, ... , βₙ 是需要求解的未知参数，x₁, x₂, ... , xₙ 是自变量，y 是因变量。
那么对于每个样本点 (xᵢ, yᵢ)，可以计算其预测值ŷᵢ = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ，然后计算预测值与实际值之间的差异 eᵢ = yᵢ - ŷᵢ。
最小二乘法的目标是使得误差的平方和最小化，即最小化目标函数 E = ∑(yᵢ - ŷᵢ)²。
对于简单的线性回归问题，即只有一个自变量的情况下，最小二乘法可以通过解析方法求解参数的闭合解。
我们可以通过求偏导数，令目标函数对参数的偏导数等于零，求解出参数的最优解。
然而，对于复杂的非线性回归问题，解析方法通常不可行。
在实际应用中，最小二乘法通常使用迭代方法进行求解。
一种常用的迭代方法是梯度下降法。
梯度下降法通过反复进行参数更新的方式逐步降低目标函数的值，直到收敛到最优解。
具体而言，梯度下降法首先随机初始化参数的值，然后计算目标函数对于每个参数的偏导数，根据偏导数的方向更新参数的值。
迭代更新的过程可以通过下式表示：βₙ = βₙ - α(∂E/∂βₙ)其中，α 是学习率参数，控制每次更新参数的步长。
学习率需要适当选择，过小会导致收敛过慢，过大会导致震荡甚至不收敛。
最小二乘法除了可以用于线性回归问题，还可以用于其他类型的回归问题，比如多项式回归。
在多项式回归中，我们可以通过增加高次项来拟合非线性关系。
同样地，最小二乘法可以通过调整多项式的系数来使得拟合曲线与实际数据更加接近。
除了回归问题，最小二乘法还可以应用于其他领域，比如数据压缩、信号处理和统计建模等。
最小二乘法估计
机器学习领域应用
线性回归模型
在机器学习中，最小二乘法是线性回归模型的核心算法之一。通过最小化预测值与实际值之间的平方误差，可以 训练出预测精度较高的线性回归模型。
特征选择
最小二乘法也可以用于特征选择，通过计算特征的系数大小，可以判断哪些特征对模型的预测结果影响较大，从 而进行特征筛选和优化。
06 最小二乘法的未来发展与 研究方向
用于研究社会现象和人类行为 ，如市场调查、人口统计等。
最小二乘法的历史与发展
历史
最小二乘法最早由法国数学家勒让德 于1805年提出，并广泛应用于天文、 物理和工程领域。
发展
随着计算机技术的进步，最小二乘法 在数据处理和统计分析方面得到了广 泛应用和改进，出现了多种扩展和变 种，如加权最小二乘法、广义最小二 乘法等。
加权最小二乘法（WLS）
总结词
详细描述
加权最小二乘法是一种改进的线性回 归分析方法，通过给不同观测值赋予 不同的权重来调整误差的平方和。
加权最小二乘法（Weighted Least Squares，WLS）是对普通最小二乘法 的改进，通过给不同观测值赋予不同 的权重来调整误差的平方和。这种方 法适用于存在异方差性的数据，即误 差项的方差不恒定的情况。通过合理 地设置权重，WLS能够更好地拟合数 据并提高估计的准确性。
广泛的应用领域
最小二乘法适用于多种统计模型 和回归分析，是线性回归分析中 最常用的方法之一。
缺点
假设限制
01
最小二乘法要求数据满足线性关系和误差项独立同分布等假设，
这些假设在实际应用中可能难以满足。
对异常值敏感
02
虽然最小二乘法相对稳健，但仍然容易受到异常值的影响，可
能导致估计结果偏离真实值。
最小二乘法实现公式
最小二乘法实现公式最小二乘法是一种常用的回归分析方法，用于估计线性模型中的参数。
它通过最小化观测值与预测值之间的误差平方和，来确定最优的参数估计值。
下面将详细介绍最小二乘法的原理和应用。
一、最小二乘法原理最小二乘法的基本思想是，通过找到一条线（或曲线），使得该线与观测数据点之间的误差最小化。
具体来说，对于一个线性模型 y = β0 + β1x + ε，其中 y 是因变量，x 是自变量，β0 和β1 是待估计的参数，ε 是误差项。
最小二乘法的目标是找到最优的参数估计值β0* 和β1*，使得观测值与预测值之间的误差平方和最小化。
为了实现最小二乘法，需要定义一个衡量误差的函数，通常选择误差的平方和作为目标函数。
即最小化目标函数：min Σ(yi - (β0 + β1xi))^2通过对目标函数求导，可以得到参数估计值的解析解。
令目标函数的导数等于零，可以得到以下两个方程：Σyi - nβ0 - β1Σxi = 0Σxiyi - β0Σxi - β1Σxi^2 = 0解这个方程组，可以求得最优的参数估计值β0* 和β1*。
最小二乘法的核心思想就是通过最小化误差平方和来确定最优的参数估计值。
二、最小二乘法的应用最小二乘法广泛应用于各个领域的回归分析中。
下面将介绍最小二乘法在经济学、统计学和工程学中的应用。
1. 经济学中的应用最小二乘法在经济学中被广泛应用于建立经济模型和估计经济参数。
经济学家可以利用最小二乘法来估计需求函数、供给函数和生产函数等。
通过回归分析，经济学家可以研究各种经济变量之间的关系，并对经济现象进行解释和预测。
2. 统计学中的应用最小二乘法是统计学中最常用的参数估计方法之一。
通过最小二乘法，统计学家可以估计线性回归模型中的参数，并进行统计推断。
最小二乘法还可以用于解决多重共线性、异方差性和自相关等统计问题。
3. 工程学中的应用最小二乘法在工程学中有着广泛的应用。
例如，在信号处理中，最小二乘法可以用于信号滤波和信号重构。
最小二乘方法
最小二乘方法：原理、应用与实现一、引言最小二乘方法是数学优化中的一种重要技术，广泛应用于各种实际问题中。
它的基本原理是通过最小化误差的平方和来估计未知参数，从而实现数据拟合、线性回归等目标。
本文将对最小二乘方法的原理、应用与实现进行详细介绍，并探讨其在实际问题中的应用。
二、最小二乘方法的原理最小二乘方法的基本原理可以概括为：对于一组观测数据，通过最小化误差的平方和来估计未知参数。
具体而言，设我们有一组观测数据{(xi, yi)}，其中xi是自变量，yi是因变量。
我们希望找到一个函数f(x)，使得f(xi)与yi之间的差距尽可能小。
为了量化这种差距，我们采用误差的平方和作为目标函数，即：J = Σ(f(xi) - yi)²我们的目标是找到一组参数，使得J达到最小值。
这样的问题称为最小二乘问题。
在实际应用中，我们通常采用线性函数作为拟合函数，即：f(x) = a + bx其中a和b是待估计的参数。
此时，最小二乘问题转化为求解a 和b的问题。
通过求解目标函数J关于a和b的偏导数，并令其为零，我们可以得到a和b的最优解。
这种方法称为最小二乘法。
三、最小二乘方法的应用数据拟合：最小二乘方法在数据拟合中有广泛应用。
例如，在物理实验中，我们经常需要通过一组观测数据来估计某个物理量的值。
通过采用最小二乘方法，我们可以找到一条最佳拟合曲线，从而得到物理量的估计值。
这种方法在化学、生物学、医学等领域也有广泛应用。
线性回归：线性回归是一种用于预测因变量与自变量之间关系的统计方法。
在回归分析中，我们经常需要估计回归系数，即因变量与自变量之间的相关程度。
通过采用最小二乘方法，我们可以得到回归系数的最优估计值，从而建立回归方程。
这种方法在经济学、金融学、社会科学等领域有广泛应用。
图像处理：在图像处理中，最小二乘方法常用于图像恢复、图像去噪等问题。
例如，对于一幅受到噪声污染的图像，我们可以采用最小二乘方法对图像进行恢复，从而得到更清晰、更真实的图像。
最小二乘法名词解释
最小二乘法名词解释
最小二乘法是一种数学优化方法，用于通过对观测数据进行拟合来求解线性回归问题。
它的基本原理是通过最小化观测数据与模型预测值之间的平方误差和，来确定最优的模型参数。
在最小二乘法中，有一些关键的术语和概念需要解释。
1. 观测数据：观测数据是在实际测量或观察中收集到的一系列数值。
在最小二乘法中，这些观测数据通常由两个向量表示，一个是自变量向量X，另一个是因变量向量Y。
2. 模型参数：模型参数是用于预测因变量的线性回归模型中的常数项和各个自变量的系数。
在最小二乘法中，我们通过最小化残差的平方和来确定最优的模型参数。
3. 残差：残差是观测数据的真实值与模型预测值之间的差异。
在最小二乘法中，我们希望通过调整模型参数使得残差的平方和最小化。
4. 残差平方和：残差平方和是残差的平方值的总和，用于衡量模型预测结果与观测数据之间的总体误差。
最小二乘法的目标就是通过最小化残差平方和来求解最优的模型参数。
5. 矩阵表示：最小二乘法可以利用矩阵运算来进行求解，这样可以简化计算并提高效率。
通常，自变量矩阵X、因变量矩阵Y、模型参数向量β和残差向量ε都是以矩阵形式表示。
6. 最优解：在最小二乘法中，我们寻找的是使得残差平方和最小的模型参数向量。
这个最优解可以通过数学推导或迭代算法来求解。
最小二乘法是一种常用且有效的回归分析方法，它在统计学、经济学、工程学等多个领域都有广泛的应用。
通过最小二乘法，我们可以利用已知的观测数据来估计未知的模型参数，从而进行预测、分析和决策。
最小二乘法(least sqaure method)
最小二乘法（least sqauremethod）专栏文章汇总文章结构如下：1：最小二乘法的原理与要解决的问题2 ：最小二乘法的矩阵法解法3：最小二乘法的几何解释4：最小二乘法的局限性和适用场景5：案例python实现6：参考文献1：最小二乘法的原理与要解决的问题最小二乘法是由勒让德在19世纪发现的，形式如下式：标函数 = \sum（观测值-理论值）^2\\观测值就是我们的多组样本，理论值就是我们的假设拟合函数。
目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。
举一个最简单的线性回归的简单例子，比如我们有 m 个只有一个特征的样本： (x_i, y_i)(i=1, 2, 3...,m)样本采用一般的 h_{\theta}(x) 为 n 次的多项式拟合，h_{\theta}(x)=\theta_0+\theta_1x+\theta_2x^2+...\theta_nx^n,\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 为参数最小二乘法就是要找到一组\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 使得\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^2 (残差平方和) 最小，即，求 min\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^22 ：最小二乘法的矩阵法解法最小二乘法的代数法解法就是对 \theta_i 求偏导数，令偏导数为0，再解方程组，得到 \theta_i 。
矩阵法比代数法要简洁，下面主要讲解下矩阵法解法，这里用多元线性回归例子来描：假设函数h_{\theta}(x_1,x_2,...x_n)=\theta_0+\theta_1x_1+...+\t heta_nx_n 的矩阵表达方式为：h_{\theta}(\mathbf{x})=\mathbf{X}\theta\\其中，假设函数 h_{\theta}(\mathbf{x})=\mathbf{X}\theta 为 m\times1 的向量, \theta 为 n\times1 的向量，里面有 n 个代数法的模型参数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
给出如下定理： 定理6.1.1 设 ，由它们的内积构成的矩阵(称为Gram矩阵)
则 非奇异的充分必要条件是 线性无关。 证明：注意到非奇异(即)的充分必要条件是齐次方程组
() 只有零解 。 必要性：现设有系数使线性组合，则有 即满足齐次方程组。于是，如果非奇异(即)，则有，从而线性无关。 充分性：设有参数满足前式的齐次方程组，则它们满足上式，进而有， 按内积的正定性，可知有。如果线性无关，则，从而齐次方程组只有零 解，故非奇异。
类似地，对带权内积为 对连续空间，设 ，则可定义内积和导出2-范数(也称Euclid范数)
同样，也给出上的权函数，从而可定义带权的内积和范数
所谓权函数，其严格定义是： 定义 6.1.7 如果是定义在(有限或无限)上的非负函数；存在()；对非负 的，由必有 ，则称为上的一个权函数。
对连续函数空间的内积，有一个与最小二乘原理应用有关的性质，
(正定性)
(2) ,
(齐次性)
(3)
(三角不等式)
则称为线性空间上的范数，并且称为为赋范线性空间，仍记为。
对于连续函数空间，并定义(并证明满足范数3个基本条件)的如下3种范
数：
范数：
范数：
范数
这就是空间应用中最基本的3种范数。
定义 6.1.4 设是赋范线性空间，其范数为，若序列，如果有
，使
则称序列依范数收敛于，记作
从上述又可见（可能有的读者一时还不太懂），如果有线性空间理 论的基础知识，逼近问题的陈述必定更清晰和简洁。
3. 线性空间 在数学理论中，对集合引起某种的所谓结构（即关系），从而称该集合 为某种数学空间。最基本又常用的一种空间结构是：对集合的任意两个 元素确定一种“加法”和对某数域（通常用到的是实数域R，对于复数域 C也有类似的推广）上的任意一个数与集合中任意一个元素确定一种“数 乘法”，并称这两种运算为“集合在数域上的线性运算”或“线性空间结 构”，而把所论的集合、数域、线性运算合称为线性空间。
6.2 曲线拟合的(线性)最小二乘法 1. 最小二乘拟合问题的提法
设在个节点上给定的离散函数，即给定离散数据(或称实验数据或观测 数据) ( 6.2.1 ) 要在某特定的函数空间中找出一个函数作为的近似函数模型，要求在出 的值与的误差(工程中也称残差)
( 6.2.2 ) 的平方和最小，即(记)
(6.2.3 ) 或为了体现数据的重要性不同，引入对应上不同点的权函数值,因而( 6.2.3 )式写成更一般的带权形式（6.2.4） 这就是最小二乘法拟合问题，称为在个节点()上的最小二乘法(即拟合曲 线或经验公式，或称为回归线)。通常，在简单情形下，取为多项式空 间，这时 为
则称是线性相关的，否则，等式只对才能成立，则称是线性无关的。
定义6.1.2 称是由线性空间中个线性无关元素生成的，即都有 这时，
(1) 记 (2) 称 是的一组基； (3) 称是维的； (4) 系数称为在基下的坐标，并记为 如果的线性无关的元素可以无限地扩充，则称为无限维的；就是无限维 的。
特别地，用中的一组线性无关函数生成则,有 由坐标惟一确定。 对n次多项式空间,设,则
(6.2.5) 在一般情形下，取为线性空间，其中是上已知的线性无关组，这时为
(6.2.6) 显然(6.2.5)是(6.2.6)的一种特殊情形。由于两式中关于待定参量(也称回
归系数) 都是一次的，所以是一种线性模型，而上述问题称为线性最小二乘拟 合。
ቤተ መጻሕፍቲ ባይዱ2. 最小二乘解的解法/法方程 如何由已知数据求出最小二乘解呢？
至此，我们已经引进了赋范线性空间、内积线性空间及其有关概念。 需要特别指出的是有关内积、正交，包括后面还要讲到的正交函数和正 交多项式等概念及其有关性质，均可分为“连续意义下”和“离散意义 下”的两种定义。以上对主要是在连续意义下给出定义，对于离散点列 上的情形(这是在处理离散数据过程中回碰到的问题)，我们在遇到时说 明。
第六章 曲线拟合的最小二乘法/函数平方逼近初 步
这一章也属于近似计算的范畴，或者说是函数逼近的问题，主要介绍离 散数据的最小二乘拟合，也叫做曲线拟合的最小二乘法，并自然地过渡 到连续函数的最佳平方逼近。为了使问题有更清晰、更简洁的数学表 述，在这一章中还复习、补充一些可供使用的线性空间基本理论和正交 多项的基本知识，并鼓励大家使用这些理论知识。
通过内积，又引进正交（垂直）的概念。 定义 6.1.6 设为内积空间，若对任意的，有 则称与正交。 通过内积，还可以导出中的范数，即对于，可定义并证明满足范数定义 的如下范数 根据上述定义，现在有： 对于空间，如上已定义过，设,, 则内积为 从而导出的范数为向量2-范数 更一般地，对给定实数称为权系数，中带权的内积及导出的2-范数分别 为
或
对 及取，上述定义就称在上一致收敛于；若依范数收敛于，则上
述定义称平方收敛或均方收敛。
5. 内积/内积空间
在平面几何和空间几何中，以坐标表示的任意两个向量x, y数量积（或
称“·乘”）分别定义为
推广到线性空间中，任意两个向量，的数量积称为内积，记为,并定义 为 同时将引进内积的线性空间称为n维Euclid（欧几里得）空间，一般仍记 为。Euclid空间便自然地推广了夹角和正交（垂直）的概念。又对于复 线性空间，也有类似的结构，并称为空间。 定义6.1.5 设是数域(如实数域或复数域)上的线性空间，若对，有中一个 数与之对应，记为，满足条件： (1) ,其中 (2) , 为的共轭 (3) , (4) , 则称为与的内积；而定义了内积的线性空间X称为内积空间。只要不混 淆，内积空间仍可为X。
下面，为了简便，有时就使用inf场合写成min。 (2) 最佳一致逼近 即对，求出，使得 或用赋范线性空间的范数记号 最佳一致逼近也称为chebyshev逼近。
从上述可见，最小二乘拟合问题实际上就是针对已知的离散数据的 (离散)平方逼近问题；插值问题就是针对已知的离散函数点，要求以插 值函数与已知离散点相等为逼近标准的逼近问题。本书除了重点介绍针 对离散数据 的多项式插值(第5章)、最小二乘曲线拟合（本章6.2-6.4 节）以外，还介绍连续函数最佳平方逼近的初步知识（本章6.5节，并 冠以*号）。
2. 逼近问题 这里指的 是“连续函数逼近问题”，即对连续函数如，研究用有限维空间 中的简单函数如来近似(逼近)连续函数。为此，需按如下步骤进行： 首先，要选择逼近函数的类型。通常就在中的一个有限维空间(或多项 式空间)中选择一个函数(或多项式)，作为的逼近函数。 其次，对逼近函数提出按什么度量标准来逼近。有了这些标准(即条 件)，才能按这些标准确定出具体的。 通常研究的两种基本的逼近问题是： (1) 最佳平方逼近 即对，求出，使得 或用赋范线性空间的范数记号 这里inf是下确界记号，其定义见有关微积分教材，不妨直观地理解为它 是“最小的更精确、更严格的数学表达”。
6.1* 拟合问题与逼近问题/线性空间基础知识 1. 拟合问题
假设已获得某函数关系的成批离散实验数据或观测数据，拟合问题 就是为这样的大量离散数据建立对应的、近似的连续模型的一种应用基 础问题。所建立的模型的基本形式是一条曲线(一元函数)，称为拟合曲 线或经验公式。
其实，利用离散数据建立对应的连续模型，上一章讨论的插值方法 也是其中一种，在那里，其特点是要求目标模型（即插值函数）要过已 知的离散点，且所得的插值函数通常用来作非插值节点上的近似计算。 在这一章的拟合问题中，它不要求目标模型（即拟合曲线）精确地过已 知的各离散点（离散点本来就可能不准确），只是要求目标模型符合已 知离散点分布的总体轮廓，并且尽可能接近已知的数据，即与已知的离 散点的误差按某种意义尽量地小。关键就在“误差按某种意义尽量地 小”这一点上，可以有多种不同提法，通常采用“误差的平方和最小”的 原则，这就是“最小二乘拟合问题”。
由n+1 个坐标惟一确定，而为线性无关基。记
是n+1维空间，也是的一个n+1维子空间。又如
都是的子空间。
4. 范数/赋范线性空间
对线性空间的元素引进范数的概念，从而称为赋范线性空间。对和已在
第2章2.5节引进范数定义，下面引进一般的线性空间范数的定义。
定义6.1.3 设，若存在惟一的实数，满足条件
(1) ,其中当且仅当
例6.2.1 例已知数据如下：
试求其拟合曲线。 解 根据上面数据，图近似一条直线 ， 得法方程
解之得 得拟合曲线
平方误差
这相当于求多元函数 (6.2.7)
的极小值。按照求极值的必要条件，应有 整理为 这里引用两个离散点列上的函数值向量的内积
(6.2.8) 于是有
(6.2.9) 它称为的法方程或正则方程，是阶线性代数方程组，其系数矩阵为
(6.2.10) 这时，如果非奇异，则方程组(6.2.9)的解存在惟一。但需注意，这 里的每个元素中的是离散点集上的值向量组，而不是连续函数组，由的 线性无关未必能使线性无关，因此，不能直接引用6.1节内积性质定理 6.1.1，由的线性无关性而推断非奇异。 但由于在应用中通常取且，故借助更详细的理论推导，可知这里的 确是非奇异的，因而有惟一解 ,从而得 并且由于(6.2.7)式的是非负的上无界的二次函数，没有最大值，但 可以达到最小值，现在既然存在惟一的解解,则在 从上述求解过程可见，根据已知数据求最小二乘拟合曲线有两个主要步 骤：①选定拟合模型的形式，即选定②求最小二乘解，即求出拟合曲 线，它转化为求解相应的法方程。