正交补与正交投影
第3讲 实内积空间汇总
第3讲 实内积空间内容：1. 实内积空间2. 正交基及正交补与正交投影3. 内积空间的同构4. 正交变换与对称变换在线性空间中，元素（向量）之间的运算仅限于元素（向量）的线性运算．但是，如果以向量作为线性空间的一个模型，则会发现向量的度量(即长度)与向量间的位置关系在线性空间的理论中没有得到反映，而这些性质在许多实际问题中却是很关键的．因此，将在抽象的线性空间中引进内积运算，导出内积空间，并讨论正交变换与正交矩阵及对称变换与对称矩阵．§1 内积空间在解析几何中，向量的长度与夹角等度量性质都可以通过向量的数量积来表示，而向量的数量积具有以下的代数性质：对称性),(),(αββα=；可加性 ),(),(),(γβγαγβα+=+；齐次性R k k k ∈∀=),,(),(βαβα；非负性0),(≥αα，当且仅当0=α时,0),(=αα．以数量积为基础,向量的长度与夹角可表示为： ),(ααα=，βαβαβα⋅>=<),(,cos ．可见数量积的概念蕴涵着长度与夹角的概念，将该概念推广至抽象的线性空间．定义1.1 设V 是实线性空间，若对于V 中任意两个元素（向量）α和β，总能对应唯一的实数，记作),(βα，且满足以下的性质：(1) 对称性 ),(),(αββα=(2) 可加性 ),(),(),(γβγαγβα+=+(3) 齐次性 R k k k ∈∀=),,(),(βαβα(4) 非负性 0),(≥αα，当且仅当0=α时，0),(=αα． 则称该实数是V 中向量α和β的内积．称内积为实数的实线性空间V 为欧几里得(Euclid)空间，简称为欧氏空间．称定义了内积的线性空间为内积空间．例 1.1 在n 维向量空间n R 中,任意两个向量：T n x x x ),,,(21 =α，T n y y y ),,,(21 =β，若规定：βαβαT nk k k n n y x y x y x y x ==+++=∑=12211),( ，则容易验证,这符合内积的定义，是n R 中向量α和β的内积．另外，若规定:∑==nk k k y kx 1),(βα，0>k ，同样可验证，这也是n R 中向量α和β的内积．由此可见，在同一个实线性空间的元素之间，可以定义不同的内积，即内积不是唯一的．从而，同一个实线性空间在不同内积下构成不同的欧氏空间．例 1.2 在[]b a ,上连续的实函数的实线性空间[]b a C ,中，对任意函数[]b a C x g x f ,)(),(∈，定义：⎰=ba dx x g x f g f )()(),(，则可以证明这是[]b a C ,上)(x f 与)(x g 的一种内积．欧氏空间V 中的内积具有如下的性质：(1) V o o ∈∀==ααα,0),(),((2) R k V k k ∈∀∈∀=,,),,(),(βαβαβα(3) V ∈∀+=+γβαγαβαγβα,,),,(),(),((4) ),(),(1111∑∑∑∑=====n j ni j i j i n i n j j j i i y x l k y l x k事实上，由定义1.1有：0),(0),0(),(===αβαβαo ；),(),(),(),(βααβαββαk k k k ===；),(),(),(),(),(),(γαβααγαβαγβγβα+=+=+=+；因此,性质(1)至(3)成立，再结合数学归纳法容易验证性质(4)也成立．定义1.2 设α是欧氏空间V 中的任一元素（向量），则非负实数),(αα称为元素（向量）α的长度或模，记作α．称长度为1的元素（向量）称为单位元素（向量），零元素（向量）的长度为0．由定义1.2易知，元素（向量）的长度具有下列性质： (1) V R k k k ∈∀∈∀⋅=ααα,,(2) 当o ≠α时,,11=αα即αα1是一个单位元素（向量）．通常称此为把非零元素（向量）α单位化．定理1.1 (Cauchy-Schwarz 不等式)． 设βα,是欧氏空间V 中的任意两个元素（向量），则不等式βαβα⋅≤),(，对V ∈∀βα,均成立，并且当且仅当α与β线性相关时，等号成立．证明：当α与β至少有一个是零元素（向量）时，结论显然成立．现在设βα,均为非零元素（向量），则)),(),(,),(),((ββββααββββαα--[]0),(),(),(2≥-=βββααα， 因此有[]),(),(),(2ββααβα≤， 即βαβα⋅≤),(．而且当且仅当ββββαα),(),(=，即α与β线性相关时，等号成立．定义1.3 设x 与y 是欧氏空间V 中的任意两个元素（向量），则称yx y x ),(arccos =θ为x 与y 的夹角，记作,,><y x 即 ),0(,),(arccos ,πθ≤><≤=>=<y x yx y x y x ． 例 1.3 试证明欧氏空间V 中成立三角不等式V y x y x y x ∈∀+≤+,,．证明 因),(2y x y x y x ++=+),(),(2),(y y y x x x ++=，由Schwarz Cauchy -不等式，有 222222)(2),(2y x y y x x y y x x y x +=++≤++=+， 即有 y x y x +≤+ ．§2 正交基及正交补与正交投影1 正交基定义 2.1 设y x ,是欧氏空间V 中的任意两个元素（向量），如果0),(=y x ，则称元素（向量）x 与y 正交，记作.y x ⊥．由定义2.1易知，零元素（向量）与任何元素（向量）均正交．若,o x ≠由于,0),(>x x 所以非零元素（向量）不会与自身正交，即只有零元素（向量）才与自己正交．例 2.1 在2R 中,对于任意两个向量x 与y 的内积，定义：(1)y x y x T =1),(；(2) Ay x y x T =),(，其中⎥⎦⎤⎢⎣⎡=2111A ．由此所得的两个欧氏空间分别记为21R 与22R ，试判断向量T x )1,1(0=与T y )1,1(0-=在21R 与22R 中是否正交？解 由于 011)1,1(),(100=⎪⎪⎭⎫⎝⎛-=y x ；01112111)1,1(),(200≠=⎪⎪⎭⎫ ⎝⎛-⎥⎦⎤⎢⎣⎡=y x ． 故向量x 与y 在21R 中正交,在22R 中不正交．说明：两元素（向量）正交与否由所在空间的内积确定． 此外，在欧氏空间V 中也有勾股定理，即当y x ⊥时,有 222y x y x +=+.可将其推广至多个元素（向量），即当m ααα,,,21 两两正交时，有22221221m m αααααα+++=+++ ．定义2.2 欧氏空间V 中一组非零元素（向量），若两两正交，则称其为一个正交元素（向量）组．定理 2.1 若m ααα,,,21 是欧氏空间V 中一个正交元素（向量）组，则m ααα,,,21 线性无关．证明 设有一组数m k k k ,,,21 ,使o k k k m m =+++ααα 2211，在上式两边分别用),2,1(m i i =α作内积，可得),,2,1(,0),(),(),(21m i k k k i m m i i ==+++αααααα， 由于j i ≠时,0),(=j i αα故可得),,2,1(0),(m i k i i i ==αα，又 0≠i α时, 0),(>i i αα, 从而有),2,1(0m i k i ==，所以m ααα,,,21 线性无关．推论：在n 维欧氏空间中，正交元素（向量）组所含元素（向量）的个数不会超过n 个．定义2.3 在n 维欧氏空间V 中，由n 个元素（向量）构成的正交元素（向量）组称为V 的正交基；由单位元素（向量）组成的正交基叫作标准正交基．定理 2.2 (Schmidt 正交化方法) 设n ααα,,,21 是n 维欧氏空间V 的任意一个基，则总可将其进行适当运算后化为V 的一个正交基，进而将其化为一个标准正交基．证明 因为m ααα,,,21 线性无关，所以),,2,1(0n i i =≠α． 首先, 取11αβ=；其次, 令1111222),(),(ββββααβ-=，则可得两个正交元素（向量）21,ββ；再次, 令222231111333),(),(),(),(ββββαββββααβ--=，则得到三个正交元素（向量）.,,321βββ依此进行下去，一般有),,3,2(),(),(),(),(),(),(111122221111n i i i i i i i i i i =----=----ββββαββββαββββααβ 这样得到V 的一个正交基．再将其单位化，令 ),,2,1(1n i i i i ==ββγ，则可得V 的一组标准正交基n γγγ,,,21 ．例2.1 在4R 中,将基T )0,0,1,1(1=α,T )0,1,0,1(2=α,T )1,0,0,1(3-=α, T )1,1,1,1(4--=α,用Schmidt 正交化方法化为标准正交基．解 先正交化令 ;)0,0,1,1(11T ==αβ ;)0,1,21,21(),(),(1111222T -=-=ββββααβ ;)1,31,31,31(),(),(),(),(222231111333T -=--=ββββαββββααβ T )1,1,1,1(),(),(),(),(),(),(33334222241111444--=---=ββββαββββαββββααβ 再单位化令 T )0,0,21,21(1111==ββγ T)0,62,61,61(1222-==ββγ T )123,121,121,121(1333-==ββγ T )21,21,21,21(1444--==ββγ则 4321,,,γγγγ 就是所要求的标准正交基．例2.2 设n εεε,,,21 是n 维欧氏空间V 的一个标准正交基， n n x x x x εεε+++= 2211，n n y y y y εεε++= 2211，则有),(),(11∑∑===n j j j n i i i y x y x εε∑==n i ii y x 1．在标准正交基下，V 中任意两个元素（向量）的内积等于它们对应坐标的乘积之和．定义2.4 设n εεε,,,21 是n 维欧氏空间V 的一个基，x ，y 在其基下的坐标表示分别为T n x x x x ),,,(21 =，T n y y y y ),,,(21 =，（∑==n i i i x x 1ε，∑==n i i i y y 1ε），则有Gy x y g x y x y x y x T j nj i ij i j j n j i i i n j j j n i i i ====∑∑∑∑======111111),(),(),(εεεε．其中，)(ij g G G =为n 阶方阵，n j i g j i ij ,,2,1,),,( ==εε．称G 为度量矩阵，它为对称可逆矩阵．2 正交补与正交投影定义 2.5 设1W 和2W 是欧氏空间V 的两个子空间，若对任意的21,W y W x ∈∈总有0),(=y x 成立，则称1W 与2W 正交，记作21W W ⊥.若对某个确定的x 及任意的W y ∈，总有0),(=y x 成立，则称x 与W 正交，记作x W ⊥．例 2.3 设{}R y x y x W ∈=,)0,,(1,{}R z z W ∈=),0,0(2 ,则容易得1W 和2W 均为3R 的子空间,且 12W W ⊥．定理2.3 设s W W W ,,,21 是欧氏空间V 的子空间，且两两正交，则s W W W +++ 21是直和．证明 设),,2,1(s i W i i =∈α且 o s =+++ααα 21,分别用iα在上式两边作内积，得0),(=i i αα,即),,2,1(s i oi ==α,即s W W W +++ 21是直和．定义 2.6 设1W 和2W 是欧氏空间V 的两个子空间，若21W W ⊥，且V W W =+21，则称1W 与2W 互为正交补，记作⊥=21W W 或12W W V ⊕=． 定理 2.4 欧氏空间V 的任一个子空间W ，都存在唯一的正交补W ⊥．证明 先证存在性．设m εεε,,,21 是子空间W 的一个标准正交基，则可以扩充为V 的一个标准正交基：n m m εεεεε,,,,,1,21 +，显然：),,(1n m L W εε +⊥=．再证唯一性．设1W 与2W 都是W 的正交补，则1W W V ⊕=，2W W V ⊕=，令任意的o x W x ≠∈,2,则 W x ∉,且W y y x ∈∀=,0),(,所以1W x ∈ ,即12W W ⊂．同理有 21W W ⊂.因此得 12W W =．定理2.4既证明了欧氏空间中任意子空间的正交补是存在且唯一的，又给出了正交补的计算方法．另外，V 中的任一向量x 都可唯一地分解为⊥∈∈+=W z W y z y x ,,．由此可引进正投影的概念．定义2.7 设x 是欧氏空间V 中任意的一个元素（向量），W 是V 的一个子空间，且x 被分解为.,,⊥∈∈+=W z W y z y x ,则称y 元素（向量）为x 元素（向量）在子空间W 上的正投影(又称内投影)．显然W W =⊥⊥)(，故z 为元素（向量）x 在⊥W 上的正投影．例2.4 设 {}R x x W ∈=)0,0,(,则W 是3R 的一个子空间，且它的正交补为{}R z y z y W ∈=⊥,),,0(.若3),,(R c b a ∈=α,α在W 上的正投影为)0,0,(a ,在⊥W 上的正投影为),,0(c b .§3 实内积空间的同构定义3.1 设V 与U 是两个欧氏空间,若存在V 到U 的一个一一对应σ,使(1) U V ∈∈∀+=+)(),(;,),()()(βσασβαβσασβασ(2) U k R k V k k ∈∈∀∈∀=)(;,),()(ασαασασ(3) U V ∈∈∀=)(),(;,),,())(),((βσασβαβαβσασ则称σ为V 到U 的一个同构映射，并称欧氏空间V 与U 同构．同构作为欧氏空间的关系与线性空间的同构相同，因此有：同构的有限维欧氏空间必有相同的维数；任意一个n 维欧氏空间均与n R 同构．此外，欧氏空间的同构还具有以下性质：反身性:任意一个欧氏空间V 均与自己同构；对称性:若V 与V '同构,则V '与V 同构；传递性:若V 与V '同构, V '与V ''同构,则V 与V ''同构．事实上，(1) V 到V 的恒等映射是一个同构映射；(2)设σ是V 到V '的同构映射，记1-σ为σ的逆映射，则对V ∈∀βα,有βαβασσβσασσ+=+=+--))(())()((11))(())((11βσσασσ--+=， ))(())(())((111ασσαασσασσ---===k k k k ，))(),((),()))(()),(((11βσασβαβσσασσ==--，即1-σ是V '到V 的一个同构映射．(3) 传递性的证明留作习题．§4 正交变换与对称变换1 正交变换与正交矩阵定义 4.1 设V 是一个欧氏空间,σ是V 上的线性变换，如果对任意的元素（向量）V ∈βα,,均有),())(),((βαβσασ=成立,则称σ是V 上的一个正交变换．例如，恒等变换是一个正交变换，坐标平面上的旋转变换也是一个正交变换．正交变换可以从以下几个方面来刻画．定理4.1 设σ是欧氏空间V 上的一个线性变换，则下列命题是等价的：(1) σ是一个正交变换；(2) 保持元素（向量）的长度不变,即对任意的V ∈α,有αασ=)(；(3) V 中的任意一个标准正交基在下的象仍是一个标准正交基；(4) 在任一个标准正交基下的矩阵是正交矩阵，即E A A AA T T ==．证明 采用循环证法。
线性代数中的正交补与正交投影
线性代数中的正交补与正交投影线性代数是数学中的一个重要分支，研究向量空间以及线性变换等概念和性质。
正交补与正交投影是线性代数中的两个重要概念，对于理解向量空间的性质和线性变换的特性具有重要意义。
一、正交补在线性代数中，给定一个向量空间V，如果存在一个向量空间W，使得W中的任意向量与V中的任意向量的内积为零，则称W为V的正交补，记作$W=V^{\perp}$。
在实向量空间中，正交补的概念更加容易理解。
例如，对于平面内的一个向量空间V，它的正交补W就是与V所张成的平面垂直的那条直线。
而对于三维空间，V的正交补W则是与V所张成的平面垂直的那个平面。
对于一个向量空间V，它的维数为n，则它的正交补的维数为m = dim(V) - dim(W)。
正交补的维数可以帮助我们判断向量空间的性质以及进行相关计算。
二、正交投影正交投影是线性代数中一个重要的概念，它可以帮助我们理解向量空间中的投影操作。
在给定一个向量空间V和一个向量v时，正交投影可以将向量v投影到V上。
具体而言，对于一个向量空间V和一个向量v，V的正交补空间为$V^{\perp}$。
我们想要将向量v在V上进行投影，可以通过正交补空间来实现。
投影操作的思想是，我们将向量v拆分成V上的一个分量和V的正交补空间上的一个分量。
其中，V上的分量可以称为正交投影。
正交投影的计算公式如下：$$P_V=\frac{v\cdot u}{u\cdot u}u$$其中，$u$为向量空间V上的一个向量，$v$为待投影的向量。
计算得到的正交投影向量$P_V$与向量空间V中的每个向量都正交，并且长度最短。
正交投影的概念和计算方法在实际应用中经常被使用。
例如，在计算机图形学中，正交投影可以帮助我们实现三维物体在二维屏幕上的投影效果。
三、应用实例1. 线性回归中的正交多项式回归在统计学中，线性回归是一种重要的数据分析方法。
当我们需要对多项式进行回归时，可以使用正交多项式回归方法。
正交多项式回归通过寻找一组正交多项式作为基函数，将输入数据在这组基函数上进行投影。
阵列信号处理(知识点)
信号子空间：设N 元阵接收p 个信源，则其信号模型为：()()()()1piiii x t s t a N t θ==+∑在无噪声条件下，()()()()()12,,,P x t span a a a θθθ∈称()()()()12,,,P span a a a θθθ为信号子空间，是N 维线性空间中的P 维子空间，记为P N S 。
P N S 的正交补空间称为噪声子空间，记为N P N N -。
正交投影设子空间m S R ∈，如果线性变换P 满足，()1),,,2),,,0m mx R Px S x S Px x x R y S x Px y ∀∈∈∀∈=∀∈∀∈-=且则称线性变换P 为正交投影。
导向矢量、阵列流形设N 元阵接收p 个信源，则其信号模型为：()()()()1piiii x t s t a N t θ==+∑，其中矢量()i ia θ称为导向矢量，当改变空间角θ，使其在空间扫描，所形成的矩阵称为阵列流形，用符号A 表示，即(){|(0,2)}a A θθπ=∈波束形成波束形成（空域滤波）技术与时间滤波相类似，是对采样数据作加权求和,以增强特定方向信号的功率，即()()()()HHy t W X t s t W a θ==，通过加权系数W 实现对θ的选择。
最大似然已知一组服从某概率模型()f X θ的样本集12,,,N X X X ，其中θ为参数集合，使条件概率()12,,,N f X X X θ最大的参数θ估计称为最大似然估计。
不同几何形态的阵列的阵列流形矢量计算问题假设有P 个信源，N 元阵列，则先建立阵列的几何模型求第i 个信源的导向矢量()i i a θ 选择阵元中的一个作为第一阵元，其导向矢量()1[1]i a θ=然后根据阵列的几何模型求得其他各阵元与第一阵元之间的波程差n ∆，则确定其导向矢量()2jn i a eπλθ∆=最后形成N 元阵的阵列流形矢量()11221N j j N Pe A e πλπλθ-∆∆⨯⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦ 例如各向同性的NxM 元矩形阵，阵元间隔为半个波长，当信源与阵列共面时：首先建立阵列几何模型：对于第m 行、第n 列的阵元，其与第1行、第1列阵元之间的波程差为(1)sin()(1)cos()mn i i n d m d θθ∆=---故：()1122(sin()cos())22((1)sin()(1)cos())11N j j d j j d N M NM P NM Pe e A e e ππθθλλππθθλλθ-∆-∆---⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦而当信源与阵列不共面时： 首先将信源投影到阵列平面然后建立阵列模型对于第m 行、第n 列的阵元，其与第1行、第1列阵元之间的波程差为[(1)sin()(1)cos()]sin()mn i i i n d m d θθϕ∆=-+-故：()1122(sin()cos())cos()22((1)sin()(1)cos())cos()11N j j d j j d N M NM P NM Pe e A e e ππθθϕλλππθθϕλλθ-∆-∆---⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦线性约束最小方差准则（LCMV ）的自适应波束形成算法： 对于信号模型：()()()0X t s t a J N θ=++， 波束形成输出：()()()()0()H H H yt W X t s t W a W J N θ==++LCMV 准则实际上是使()0HW a θ为一个固定值的条件下，求取使得()HWJ N +方差最小的W 作为最有权值，即：()0min .H X W HW R Ws t W a Fθ⎧⎪⎨⎪=⎩，其中F 为常数利用拉格朗日乘子法可解得：()10X opt W R a μθ-=当取1F =时，则()()11H X a R a μθθ-=，μ的取值不影响SNR 和方向图。
丘维声高等代数第十章2
(k) = k
因此，是 V 上的线性变换。▌ 性质 实内积空间 V 上的正交变换是 V 到自身 的同构映射。 证明 只需证明正交变换是单射：设是 V 上 的正交变换，任取 , V ，若 =，则
| |2 ( , ) ( ( ), ( )) | ( ) |2 | |2 | |2 0
所以
2 , U
从而 2 U ，由此得 1 2 U U ，即
V U U
所以 ( , ) 0 设 U U ， 则 U 且 U ， 从而 ，即U U { } 。 综上所述，V U U 。 ▌
T 1
4.326 A 1.739
T
由 X 是 () 的最小二乘解，可得
k 1.739kg / cm
于是，此弹簧的受力方程为
12
y 4.326 1.739 x
▌
推论 设 AX 是不相容线性方程组，这里
A R mn , R m 。若 rank( A ) = n，则此方程组有
AX AX ( AX , AX ) 0 ( AX )T AX 0 ( AX )T A 0 AT ( AX ) 0
AT AX AT
故 X 应为线性方程组
AT AX AT
③
的解。 可以证明 对任意 A R mn , R m ，线性方
1
( 2 , j ) ( 1 , j ) ( , j ) (1 , j ) ( , j ) ( , 1 )( 1 , j ) ( , m )( m , j ) ( , j ) ( , j )( j , j ) ( , j ) ( , j ) 0
射影定理的原理和应用
射影定理的原理和应用1. 射影定理的原理射影定理是在线性代数中常用的一条重要定理，它描述了向量空间中的向量通过投影运算能够分解为两个互相垂直的向量的和。
1.1 向量空间和内积空间在介绍射影定理之前，我们先来了解一下向量空间和内积空间的概念。
•向量空间是指具有加法和数乘运算的集合，满足一些基本的性质，如封闭性、结合律、分配律等。
在向量空间中，我们可以定义向量的加法和数乘运算。
•内积空间是在向量空间的基础上引入了内积的概念。
内积是一个函数，它将两个向量映射为一个标量，满足一些基本的性质，如对称性、线性性、正定性等。
1.2 射影定理的表述射影定理的表述如下：在内积空间中，对于任意一个向量b和一个子空间M，存在唯一的向量a ∈ M，使得向量b与M中的任意向量m的差向量都垂直。
即，有b - a ∈ M⊥其中，M⊥表示M的正交补空间。
1.3 射影向量的计算为了计算向量b在子空间M上的射影向量a，我们可以使用射影公式进行计算。
射影公式如下：a = Pm(b) = (mb * m) / (m * m) * m其中，Pm(b)表示向量b在子空间M上的射影向量，mb表示向量b在子空间M上的投影向量，m表示子空间M的一组基。
2. 射影定理的应用射影定理在实际问题中有着广泛的应用，例如在图像处理、信号处理、机器学习等领域。
2.1 图像处理中的应用在图像处理中，我们常常需要对图像进行降噪处理。
射影定理可以帮助我们去除图像中的噪声，并恢复出清晰的图像。
具体地，我们可以将图像看作是向量空间中的向量，其中每个像素点对应一个维度。
通过将图像向量投影到一个合适的子空间上，可以得到图像在该子空间上的射影向量，从而滤除图像中的噪声。
2.2 信号处理中的应用在信号处理中，射影定理可以用于信号压缩和信号恢复的问题。
例如，在无线通信中，由于带宽受限，需要对信号进行压缩以减少传输的数据量。
通过将信号投影到一个合适的子空间上，并保留最重要的部分信息，可以实现信号的压缩。
线性空间和欧式空间
线性空间和欧式空间第六章线性空间和欧式空间§1线性空间及其同构一线性空间的定义设V是一个非空集合，K是一个数域，在集合V的元素之间定义了一种代数运算，叫做加法；这就是说，给出了一个法则，对于V中任意两个元素和，在V中都有唯一的一个元素与他们对应，成为与的和，记为在数域K与集合V的元素之间还定义了一种运算，叫做数量乘法，即对于数域K中任一数k与V中任一元素，在V中都有唯一的一个元素与他们对应，称为k与的数量乘积，记为k，如果加法与数量乘法满足下述规则，那么V称为数域K上的线性空间。
加法满足下面四条规则：1）；交换律2）()()；结合律3）在V中有一个元素0，对于V中任一元素都有0（具有这个性质的元素0称为V的零元素）；存在零元4）对于V中每一个元素，都有V中的元素，使得0（称为的负元素）.存在负元数量乘法满足下面两条规则：5）1；存在1元6）k(l)(kl).数的结合律数量乘法与加法满足下面两条规则：7）(kl)kl；数的分配律8）k()kk.元的分配律在以上规则中，k,l表示数域中的任意数；,,等表示集合V中任意元素。
例1．元素属于数域K的mn矩阵，按矩阵的加法和矩阵的与数的数量乘法，构成数域K上的一个线性空间，记为Mm,n(K)。
例2．全体实函数（连续实函数），按函数的加法和数与函数的数量乘法，构成一个实数域上的线性空间。
例3．n维向量空间K是线性空间。
n1例4．向量空间的线性映射的集合HomK(K,K)是线性空间。
二．简单性质1．零元素是唯一的。
2．负元素唯一。
3．00，k00，(1)4．若k0，则k0或者0。
三.同构映射定义：设V,V是数域K上的线性空间.AHomK(V,V)是一个线性映射.如果A 是一一映射，则称A是线性空间的同构映射，简称同构。
线性空间V与V'称为同构的线性空间。
定理数域P上两个有限维线性空间同构的充分必要条件是他们有相同的维数。
同构映射的逆映射以及两个同构映射的乘积还是同构映射。
线性代数中的正交补与正交投影
线性代数中的正交补与正交投影线性代数是数学中的一个重要分支，研究线性方程组、向量空间和线性变换等概念。
在线性代数中，正交补和正交投影是两个关键的概念。
本文将从理论和应用的角度来介绍线性代数中的正交补与正交投影。
1. 正交补正交补是线性代数中的一个重要概念，用于描述给定向量空间中与另一给定子空间正交的所有向量的集合。
设V为一个向量空间，W为V的子空间，则W的正交补可以表示为W的所有与V中所有向量都正交的向量的集合，用W⊥表示。
正交补的定义：给定向量空间V和子空间W，W的正交补为所有与W中元素正交的向量所构成的集合，即W⊥={v∣v∈V, v⋅w=0,∀w∈W}。
正交补的性质：（1）若W是V的子空间，则W与W⊥的交集只包含零向量；（2）W⊥是一个子空间，且dim(V)=dim(W)+dim(W⊥)。
2. 正交投影正交投影是线性代数中的一个重要概念，用于描述向量在给定子空间上的投影。
正交投影可以将一个向量分解为两个正交的部分：其一在子空间上，其二在子空间正交补上。
设V为一个向量空间，W为V的子空间，v为V中的一个向量。
v 在W上的正交投影可以表示为Pw(v)，即将v投影到子空间W上得到的向量。
正交投影的定义：给定向量空间V和子空间W，v在W上的正交投影定义为Pw(v)，满足v−Pw(v)∈W⊥。
Pw(v)可以通过求解最小化问题得到：Pw(v)=argminw∈W‖v−w‖。
正交投影的性质：（1）Pw(v)是W上最接近v的向量；（2）Pw(v)与v−Pw(v)正交；（3）Pw(v)的范数‖Pw(v)‖≤‖v‖。
3. 正交补和正交投影的应用正交补和正交投影在实际问题中有广泛的应用。
下面以几个具体的例子来说明其应用。
例子一：考虑一个三维空间中的平面P，以及一个向量v，求v在平面P上的正交投影。
首先，我们需要找到平面P的一个正交基{u1,u2}，然后使用正交投影公式计算Pw(v)。
这样，我们就可以将向量v分解为两个正交的部分：一个在平面P上，一个在平面P的正交补上。
第2章 内积空间-2
1 2
1 2
cos sin
sin cos
1 2
G
1 2
就是一个正交变换。因为此变换的矩阵表示 G 是正
交矩阵。
矩阵分析简明教程
例2 HouseHolder变换
如图，
e2
x
x ( x, e1 )e1 ( x, e2 )e2 ,
2β
y
e1
因此向量 x 关于“与 e2 轴正交的直线”对称的镜
一、正交补与投影定理
定义 2.4.1 设 V1,V2 是数域 R上欧氏空间 V 的
两个子空间。向量 V 。如果对任意 V1 ，都 有 ( , ) 0 ，则称 与子空间 V1 正交，记
为 V1 。如果对任意 V2 ，都有 V1 ， 则称子空间 V1 与 V2 正交，记为 V1 V2
就称 x 为方程组的最小二乘解，这种方法就称为
最小二乘法。
矩阵分析简明教程
令 y A x ，显然 y R( A) ，因此求不相容方 程组的最小二乘解的问题即为在 R( A) 中找出向 量 Ax，使得向量b 到 Ax 的距离比到子空间 R( A) 中其它向量的距离都短，即Ax 是向量 b 在 R( A)
1. 正交投影的概念
定义 设 V1 是数域 R上欧氏空间V 的子空间。
向量 V 。如果有 1 V1 , 2 V1 使得
1 2
则称 1 是 在 V1 上的正交投影。
定理 （投影定理）设 V1 是数域 R 上欧氏空间V 的
子空间，则对任意 V ， 在 V1 上存在唯一 的正交投影。
矩阵分析简明教程
设 Rn 为单位向量，对任意 Rn ，定义
H ( E 2 H )
称H 为Householder 变换（初等反射变换），则 H 是 Rn 的正交变换。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
.
例题4.5
.
一般的线性最小二乘问题
(比如说多项式)
我们的目标是
.
一般的线性最小二乘问题
.
一般的线性最小二乘问题
.
例子 4.1
back
.
例子4.2
解: 子空间 W 的法方向(正交补空间)为 z 轴,
back
.
例子4.3
共三种方法
back
.
命题 4.1 的证明
证明: =0
back
.
定理 4.2 的证明
.
例子4.2
正交投影的求法
例子4.3
.
正交投影的性质，最佳逼近元
证明
.
最小二乘法
为了确定a, b的值，需要通过实验得到一组数据。
解: 由已知条件有
讨论参数a与b的确定方法。
.
最小二乘法
将多目标的问题转化为单目标的问题。有几种方法： (最大偏差达到最小)
(偏差的绝对值之和达到最小) (偏差的平方和达到最小) 以偏差的平方和达到最小为目标的方法称为最小二乘法
.
最小二乘法
.
最小二乘法: 例题4.4
试用最小二乘法建立x与y之间的经验公式。 用最小二乘法求解问题的一般骤如下： （1）数据描点； （2）初步确定经验公式； （3）列出法方程组，求解； （4）精度检验； （5）修正（如果需要）。
.
例题4.4：数据描点（草图），观察
.
例题4.4：经验公式
(2) 初步确定经验公式：
§4 正交补空间与正交投影
向量与集合正交 正交补空间 正交投影
定义,求法,性质
最小二乘法
问题的提法 问题的求解
主讲人：
.
正交补空间
V欧几里得空间, S是V的一个非空子集,
定义：设Ｗ是欧几里得空间V的一个非空子集, V中与W正交的所有向量组成的集合称为Ｗ的正交补
例子4.1
证明 证明
.
正交投影
作映射 它具有性质：
证明: 分两步
因此
back
.
定理 4.3 的证明
back
证：
.
( x) a bx (即0( x) 1 1( x) x)
(3) 建立法方程组：
m
xi
xi xi2
a b
yi xi yi
代入
6 396.6
28339665..628
a b
1011415786.3
解得：a 95.3524 b 2.2337
( x) 95.2524 2.2337x