不懂这些线性代数知识 别说你是搞机器学习的_深圳光环大数据
线性代数基本定理
线性代数基本定理线性代数是数学中的一个重要分支，研究向量空间、线性变换、矩阵和线性方程组等概念和性质。
线性代数基本定理是线性代数中的核心定理，它揭示了矩阵的奇异值分解（SVD）和特征值分解（EVD）的重要性质。
本文将介绍线性代数基本定理及其应用。
一、奇异值分解奇异值分解是矩阵分析中最基本的分解之一，它将任意矩阵分解为三个矩阵的乘积：A=UΣV^T。
其中，U和V是正交矩阵，Σ是一个对角矩阵，对角线上的元素称为奇异值。
线性代数基本定理指出，对于任意的矩阵A，它的奇异值分解一定存在，并且是唯一的。
这意味着任何矩阵都可以通过奇异值分解进行表示，奇异值的大小和特征决定了矩阵的性质和重要特征。
奇异值分解在数据降维、图像处理、推荐系统等领域具有广泛的应用。
通过保留矩阵的主要奇异值，可以将高维数据映射到低维空间，从而减少数据的维度和冗余信息，提高计算效率和数据处理速度。
二、特征值分解特征值分解是线性代数中另一个重要的矩阵分解方法，它将一个矩阵分解为两个矩阵的乘积：A=QΛQ^(-1)。
其中，Q是正交矩阵，Λ是一个对角矩阵，对角线上的元素称为特征值。
线性代数基本定理指出，对于任意的方阵A，它的特征值分解一定存在，并且是唯一的。
特征值分解可以帮助我们理解线性变换对向量空间的作用，特征值和特征向量决定了矩阵变换的主要性质。
特征值分解在物理学、工程学、计算机科学等领域有广泛的应用。
通过求解特征值和特征向量，可以得到矩阵的主要特征和重要特性，如稳定性、动力学行为等。
特征值分解还可以用于对称矩阵的对角化和正定矩阵的判定。
三、线性代数基本定理的应用1. 数据降维奇异值分解可以将高维数据映射到低维空间，从而实现数据降维。
通过保留最重要的奇异值和对应的奇异向量，可以大大减少数据的维度，并且保留数据的主要分布和性质。
数据降维在机器学习、数据挖掘等领域具有重要意义，可以提高算法的效率和准确性。
2. 图像压缩奇异值分解可以对图像进行压缩和恢复。
机器学习入门指南_北京光环大数据培训
机器学习入门指南_北京光环大数据培训机器学习是一种概念。
对于待解问题，你无需针对这个问题编写任何专门的代码，泛型算法（Generic Algorithms）能够在输入的数据集上为你得出相应的答案。
泛型算法是指，不用编码，而是将数据输入，它将在数据之上建立起它自己的逻辑。
译者注：泛型，即没有特定类型，泛型算法是一种对很多不同问题都适用的算法，也叫作通用算法。
如果你现在还对这个概念一知半解没关系，相信你读过这篇文章之后会对“泛型算法”有一个更深入的理解。
举个例子，有一类算法称为分类算法，它可以将数据划分为不同的组别。
一个用来识别手写数字的分类算法，不用修改一行代码，就可以把这个算法用来将电子邮件分为垃圾邮件和普通邮件。
算法没变，但是输入的训练数据变了，因此它得出了不同的分类逻辑。
机器学习算法是个黑盒，可以重用来解决很多不同的分类问题。
“机器学习”是一个涵盖性术语，覆盖了大量类似的泛型算法。
两类机器学习算法你可以认为机器学习算法分为两大类：监督式学习（Supervised Learning）和非监督式学习（Unsupervised Learning）。
两者区别很简单，但却非常重要。
监督式学习假设你是一名房地产经纪人，生意越做越大，因此你雇了一批新员工来帮你。
但是问题来了——你可以看一眼房子就知道它到底值多少钱，新员工没有经验，不知道如何估价。
为了帮助你的新员工（也许就是为了给自己放个假嘻嘻），你决定写个小软件，可以根据房屋大小、地段以及类似房屋的成交价等因素来评估一间房屋的价格。
你把3个月来城里每笔房屋交易都写了下来，每一单你都记录了一长串的细节——卧室数量、房屋大小、地段等等。
但最重要的是，你写下了最终的成交价：这是我们的“训练数据”我们要利用这些训练数据来编写一个程序来估算该地区其他房屋的价值：这就称为监督式学习。
你已经知道每一栋房屋的售价，换句话说，你知道问题的答案，并可以反向找出解题的逻辑。
为了编写软件，你将包含每一套房产的训练数据输入你的机器学习算法。
学习过程中需要必备的线性代数知识
学习过程中需要必备的线性代数知识【导读】线性代数是一种连续的、非离散的数学形式，许多计算机科学家对此缺乏应用经验，掌握线性代数对理解深度学习算法至关重要。
今天AI科技大本营就为大家整理了学习过程中需要必备的线性代数知识，并附上代码实现，帮助大家加深理解。
为什么数学是必要的？线性代数、概率论和微积分都是机器学习的“语言”。
学习这些科目将有助于深入了解底层的算法机制和开发新的算法。
从较低的层级来看，深度学习背后的一切都是以数学为基础的。
因此，理解基础的线性代数对于探索深度学习和上手与深度学习相关的编程来说是必要的。
深度学习中的核心数据结构由标量、向量、矩阵和张量组成。
从编程的角度来说，我们只需运用这些知识就能解决所有基本的线性代数问题。
参考阅读：https://hadrienj.github.io/posts/Deep-Learning-Book-Series-2.1-Scalars-Vectors-Matrices-and-T ensors/标量标量仅用于表达值的大小，也是零阶张量的一个例子。
符号x ∈ℝ表示标量x 属于实数值数组“ℝ”。
在深度学习中我们比较关注以下几个数集，ℕ、ℤ和ℚ。
ℕ表示正整数集（1,2,3，...）。
ℤ表示整数集，它包含了正值、负值和零值。
ℚ表示可以由两个整数所构成的分数进行表达的有理数数集。
Python 中内置了少数几种标量类型，如int，float，complex，bytes，Unicode。
而在Python 库NumPy 中，有24 种新的基本数据类型来描述不同类型的标量。
参考阅读：https://docs.scipy/doc/numpy-1.14.0/reference/arrays.scalarsl如何在Python中定义和运算标量？。
数据挖掘知识(点)总结_深圳光环大数据人工智能培训
数据挖掘知识(点)总结_深圳光环大数据人工智能培训Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic Programming 二次规划)，CP(Conditional Probability条件概率)，JP(Joint Probability 联合概率)，MP(Marginal Probability边缘概率)，Bayesian Formula(贝叶斯公式)，L1 /L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)，GD(GradientDescent 梯度下降)，SGD(Stochastic Gradient Descent 随机梯度下降)，Eigenvalue(特征值)，Eigenvector(特征向量)，QR-decomposition(QR分解)，Quantile (分位数)，Covariance(协方差矩阵)。
Common Distribution(常见分布)：Discrete Distribution(离散型分布)：BernoulliDistribution/Binomial(贝努利分布/二项分布)，Negative BinomialDistribution(负二项分布)，MultinomialDistribution(多项式分布)，Geometric Distribution(几何分布)，HypergeometricDistribution(超几何分布)，Poisson Distribution (泊松分布)。
Continuous Distribution (连续型分布)：UniformDistribution(均匀分布)，Normal Distribution /Guassian Distribution(正态分布/高斯分布)，ExponentialDistribution(指数分布)，Lognormal Distribution(对数正态分布)，GammaDistribution(Gamma分布)，Beta Distribution(Beta分布)，Dirichlet Distribution(狄利克雷分布)，Rayleigh Distribution(瑞利分布)，Cauchy Distribution(柯西分布)，Weibull Distribution (韦伯分布)。
线性代数知识点全面总结-互联网类
线性代数知识点全面总结－互联网类线性代数这门课，对于很多学互联网相关专业的小伙伴来说，那可真是让人又爱又恨呐！咱们先来说说啥是线性代数。
简单来讲，它就是研究线性关系的一门数学学科。
比如说，在互联网世界里，咱们经常要处理大量的数据，怎么把这些乱七八糟的数据整理得井井有条，就得靠线性代数的知识啦。
就拿图像识别来说吧，一张图片在计算机里其实就是一堆数字。
那怎么从这堆数字里找出有用的信息，判断这是一只猫还是一只狗呢？这时候线性代数里的矩阵就派上用场了。
矩阵就像是一个整理箱，把这些数字按照一定的规则装进去，然后通过各种运算，就能提取出图像的特征。
再比如说，在推荐系统里。
你有没有发现，当你在网上买了一本书，马上就会给你推荐一堆相关的书？这背后的原理也离不开线性代数。
通过分析你之前的购买记录、浏览历史等数据，构建一个向量空间，然后利用线性代数的方法计算相似度，就能给你推荐出可能感兴趣的东西。
还有哦，在网络优化方面。
想象一下，一个城市的网络就像一张大蜘蛛网，每个节点都有数据在流动。
怎么让这些数据跑得又快又稳，不堵车呢？这就得用线性代数来规划路线，找到最优的传输路径。
我记得有一次，我参加一个互联网公司的项目。
我们要优化一个电商网站的搜索算法，提高用户找到心仪商品的速度。
一开始，大家都没什么头绪，各种尝试都效果不佳。
后来，一个小伙伴提出来，能不能用线性代数的方法来重新构建搜索模型。
于是，我们开始埋头研究线性代数的知识，什么向量、矩阵的运算，线性方程组的求解等等。
经过好几天的努力，终于找到了一个合适的解决方案。
当新的搜索算法上线后，用户的搜索速度明显提高，大家都兴奋得不行。
那一刻，我深深地感受到了线性代数在互联网领域的强大力量。
线性代数里的向量，这可是个很基础也很重要的概念。
向量就像是有方向和长度的箭头，在互联网中，可以用来表示很多东西。
比如用户的兴趣偏好，网站的流量走向等等。
矩阵呢，更是无处不在。
比如说在网页排名算法中，谷歌的PageRank 算法就大量运用了矩阵的知识。
线性代数知识点总结(第1、2章)
线性代数知识点总结（第1、2章）（一）行列式概念和性质1、逆序数：所有的逆序的总数2、行列式定义：不同行不同列元素乘积代数和3、行列式性质：（用于化简行列式）（1）行列互换（转置），行列式的值不变（2）两行（列）互换，行列式变号（3）提公因式：行列式的某一行（列）的所有元素都乘以同一数k，等于用数k 乘此行列式（4）拆列分配：行列式中如果某一行（列）的元素都是两组数之和，那么这个行列式就等于两个行列式之和。
（5）一行（列）乘k加到另一行（列），行列式的值不变。
（6）两行成比例，行列式的值为0。
（二）重要行列式4、上（下）三角（主对角线）行列式的值等于主对角线元素的乘积5、副对角线行列式的值等于副对角线元素的乘积乘6、Laplace展开式：（A是m阶矩阵，B是n阶矩阵），则7、n阶（n≥2）范德蒙德行列式数学归纳法证明★8、对角线的元素为a，其余元素为b的行列式的值：（三）按行（列）展开9、按行展开定理：（1）任一行（列）的各元素与其对应的代数余子式乘积之和等于行列式的值（2）行列式中某一行（列）各个元素与另一行（列）对应元素的代数余子式乘积之和等于0（四）行列式公式10、行列式七大公式：（1）|kA|=k n|A|（2）|AB|=|A|·|B|（3）|A T|=|A|（4）|A-1|=|A|-1（5）|A*|=|A|n-1（6）若A的特征值λ1、λ2、……λn，则（7）若A与B相似，则|A|=|B|（五）克莱姆法则11、克莱姆法则：（1）非齐次线性方程组的系数行列式不为0，那么方程为唯一解（2）如果非齐次线性方程组无解或有两个不同解，则它的系数行列式必为0（3）若齐次线性方程组的系数行列式不为0，则齐次线性方程组只有0解；如果方程组有非零解，那么必有D=0。
（六）矩阵的运算12、矩阵乘法注意事项：（1）矩阵乘法要求前列后行一致；（2）矩阵乘法不满足交换律；（因式分解的公式对矩阵不适用，但若B=E,O,A-1，A*,f(A)时，可以用交换律）（3）AB=O不能推出A=O或B=O。
线性代数基础知识
线性代数基础知识线性代数是数学中一个重要的分支，它主要研究向量空间、线性变换以及它们之间的关系。
以下是线性代数的一些基础知识：1. 向量：向量是具有大小和方向的量，可以表示为有序的数字集合。
在二维空间中，向量可以表示为 (a, b)，其中 a 和 b 是实数。
2. 向量空间：也称为线性空间，是一组向量的集合，这些向量满足加法和标量乘法的封闭性。
这意味着，如果两个向量属于向量空间，那么它们的和以及任何标量与向量的乘积也属于该向量空间。
3. 基：向量空间的基是一组线性无关的向量，任何该空间中的向量都可以唯一地表示为基向量的线性组合。
4. 矩阵：矩阵是一个由行和列组成的矩形数组，通常用大写字母表示。
矩阵可以表示为向量的线性变换，也可以表示为线性方程组的系数。
5. 行列式：行列式是一个数值，它与方阵相关联，可以提供关于矩阵的信息，例如矩阵是否可逆。
6. 线性方程组：线性方程组是一组线性方程，每个方程都是未知数的一次多项式。
线性方程组可以用矩阵形式表示，并且可以通过行简化或者矩阵运算来求解。
7. 特征值和特征向量：对于一个方阵 A，如果存在一个非零向量 v和一个标量λ，使得Av = λv，则λ 称为 A 的特征值，v 称为 A 的特征向量。
8. 线性变换：线性变换是从一个向量空间到另一个向量空间的函数，它保持向量加法和标量乘法。
线性变换可以用矩阵表示。
9. 内积：内积是定义在两个向量上的一个运算，它满足正定性、线性性和对称性。
在欧几里得空间中，内积通常定义为向量的点积。
10. 正交性和正交基：一组向量如果两两正交，则称为正交。
如果这组向量还是线性无关的，则称为正交基。
在正交基中，每个向量都与基中的其他向量正交。
这些基础知识构成了线性代数的核心，是理解和应用线性代数概念的基础。
深度学习入门课程学习笔记_深圳光环大数据培训
深度学习入门课程学习笔记_深圳光环大数据培训softmax：这个分类器可以说是咱们深度学习领域最常见的一个分类器了，如果大家对逻辑回归有基础的话那么这个softmax分类器可以当成一个多分类的逻辑回归。
sigmoid:上图就是咱们这个sigmoid函数了，这个函数很重要无论在softmax还是在咱们之后会讲到的激活函数上，所以咱们先来看看这个函数是干什么用的，首先咱们先来看它的自变量X得到取值范围，可以看到咱们的X可以取正无穷到负无穷的一切实数，那么对应的Y也就是值域的范围是从0到1的。
那么对于一个任意的输入X1我们都可以得到一个对应的值Y1，这个Y1是在0到1之间的一个数，也就是我们可以把所有的值都压缩到0到1这个区间内，结合咱们之前的得分函数，一个输入对于每一个类别的得分X，我们都可以把这个得分映射到[0,1]区间内，也就是把我们的得分数值转成了相应的概率值。
softmax-loss计算：这一系列的公式其实就告诉了咱们一件事咱们这个分类器最终的LOSS值是如何计算出来的，首先咱们对应于一个输入计算出了它属于每一个类别的得分数值，然后再用上面讲的sigmoid函数把所有的得分数值映射成一个概率值，有了概率值之后loss的计算就是对最终正确分类所占的概率求一个LOG值再取负号就OK了。
动手算：咱们现在就来动手算一下这个LOSS值是什么计算的，首先对每个得分数值计算其指数次幂，然后对于得到的所有值再做一个归一化的操作，最后把正确分类的那个概率值带到LOSS计算公式中就性啦。
SVM和SOFTMA对比：从图中可以到最明显的区别就是LOSS值的计算方式，SVM是计算的分值的一个差值情况，SOFTMAX看的则是分类的准确率。
这里就不详细推导他们优缺点了，可以告诉大家的是SOFTMAX对错误的分类敏感程度更高，其实SOFTMAX是一个永不满足的分类器，它的LOSS始终存在的，感兴趣的同学可以自己算一算LOSS的流程就知道了，所以在深度学习领域我们使用的更多的是SOFTMAX分类器。
光环大数据分享 深度学习的高维度问题_光环大数据培训
光环大数据分享深度学习的高维度问题_光环大数据培训光环大数据培训机构了解到，数据的高维度问题深度学习的目标是基于某些给定信息对未知变量进行预测。
需要预测的变量，一般是单个变量，若是需要预测多个变量，则也拆成多个深度学习模型处理，因此对每个模型还是输出单个变量。
模型输出的单个变量称为标量，英文是Scalar,深度学习模型的输出一般不涉及高维问题。
在模型进行预测时，需要基于一些输入的信息进行判断，这些输入信息往往不是单一变量，而是多个变量，因此深度学习中数据的高维问题往往是指模型输入变量的高维问题。
向量（Vector）对深度学习模型来说，向量是最基本的输入数据的结构，每个维度上的数据可以表示一个进行预测的参考信息。
一般的预测问题中，输入数据都可以用向量表示，向量中的各个值可类比于多元线性回归模型中的各个自变量的作用。
矩阵（Matrix）深度学习模型的输入可以是矩阵。
矩阵可以理解为2维的数据平面，输入数据存储在一个棋盘一样的网格里。
每个数据点占据这个“棋盘”的一个格子。
当需要提取一个格子里的数据时，需要给定“行”和“列”两个坐标。
有人会问，我在做深度学习时，只需要知道输入是多个“自变量”就可以了，为什么需要用一个数据平面表示。
其实，任何输入数据都可以只用向量表示，而无需用更复杂的结构来表示。
实际情况是，对于很多深度学习框架，在底层仍然是将数据矩阵转化为向量进行计算。
既然如此，为什么会有矩阵形式的输入存在呢？道理也许是简单的让人无语的，只是为了方便！深度学习的很多模型是用于处理图片的，将图片的像素作为输入，每张图片按照网格进行切分成存储着像素信息的矩阵。
矩阵的每个格子里，都存储着一个数字用于表示这个像素上有没有“点”。
整张图片就用这个包含着有“点”或者没有“点”的网格的矩阵表示出来了。
张量（Tensor）除了矩阵以外，还有一种数据的输入格式，叫“张量”。
数据存储在一条线上，叫向量，存储在一个平面上，叫矩阵，再复杂点，就是存储在一个立方体上……对!数据可以存储在更高维度的空间上。
一文读懂机器学习的线性代数(10案例)
一文读懂机器学习的线性代数（10案例）
线性代数是数学的分支学科，涉及矢量、矩阵和线性变换。
它是机器学习的重要基础，从描述算法操作的符号到代码中算法的实现，都属于该学科的研究范围。
虽然线性代数是机器学习领域不可或缺的一部分，但二者的紧密关系往往无法解释，或只能用抽象概念（如向量空间或特定矩阵运算）解释。
阅读这篇文章后，你将会了解到：
如何在处理数据时使用线性代数结构，如表格数据集和图像。
数据准备过程中用到的线性代数概念，例如one-hot 编码和降维。
深度学习、自然语言处理和推荐系统等子领域中线性代数符号和方法的深入使用。
让我们开始吧。
这10 个机器学习案例分别是：
Dataset and Data Files 数据集和数据文件
Images and Photographs 图像和照片
One-Hot Encoding one-hot 编码
Linear Regression 线性回归
RegularizaTIon 正则化
Principal Component Analysis 主成分分析
Singular-Value DecomposiTIon 奇异值分解
Latent SemanTIc Analysis 潜在语义分析
Recommender Systems 推荐系统
Deep Learning 深度学习
1. 数据集和数据文件在机器学习中，你可以在数据集上拟合一个模型。
这是表格式的一组数字，其中每行代表一组观察值，每列代表观测的一个特征。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com
光环大数据 http://hadoop.aura.cn 不懂这些线性代数知识 别说你是搞机器学习的_深圳光环大数据 数学是计算机技术的基础，线性代数是机器学习和深度学习的基础，了解数据知识最好的方法我觉得是理解概念，数学不只是上学时用来考试的，也是工作中必不可少的基础知识，实际上有很多有趣的数学门类在学校里学不到，有很多拓展类的数据能让我们发散思维，但掌握最基本的数学知识是前提，本文就以线性代数的各种词条来做一下预热，不懂的记得百度一下。 矩阵与方程组
还记得n*n方程组是怎么求解的吗？这个术语叫“回代法”，即转成三角形方程组再挨个代入求解 一直不理解“代数”这个“代”是什么意思，现在终于理解了，代，英文是substitution，含义是代替，从初中到现在一直以为“代数”就是“代入” 系数矩阵，英文名叫coefficient matrix，怪不得读开源代码里面经常遇到变量名叫做coe，原来是从这来的 “导数”、“可导”还记得吗？不知道“导”是什么含义的有木有？英文derivative（含义是派生的、衍生的），看起来不是疏导的意思，而是音译过来的 矩阵就是矩形的数字阵列，这再简单不过了 n*n的矩阵叫方阵，傻子都知道了 系数矩阵加一列右端项的矩阵叫增广矩阵，英文叫做augmented matrix，记作：(A|B)，科学家们随便想个东西起个名字就让我们抱着书本啃，我把A后面放两个B，叫做“增广矩阵二”行吗 行阶梯型矩阵，这回有点难度了，它就是这样的：非零一行比一行少，第一个元素是1，数字靠右 高斯消元法：把增广矩阵化为行阶梯型矩阵 超定方程组：方程个数比未知量个数多 光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com
光环大数据 http://hadoop.aura.cn 行最简形：行阶梯形，每行第一个非零元是该列唯一的非零元 高斯-若尔当消元法：将矩阵化为最简形的方法 齐次方程组(homogeneous)：右端项全为零。齐次方程组总是有解的 平凡解，就是零解（0,0,0,„..0），能不能别这么平凡的叫„. 非平凡解：零解以外的解 x上面加水平箭头表示水平数组（行向量），不加则表示列向量，不一样的书里记法不太一样，姑且这么记吧 对称矩阵的性质：转置等于他自己 若A=(1)，则An=(2n-1) 如果AB=BA=I，则称A是可逆的，或A是非奇异的(nonsingular)，B叫做A的逆元，记作A-1 矩阵没有乘法逆元，那么叫做奇异的(singlular) (AB)-1=B-1A-1 (AB)T=BTAT 图的邻接矩阵（相连为1否则为0）是对称的 初等矩阵：乘到方程两端得到行阶梯形，初等矩阵是非奇异的，即有逆 如果B=多个初等矩阵连乘A，那么说A与B是行等价的 如果A与I行等价，那么Ax=0只有平凡解0，而且A有逆矩阵A-1，也就是A是非奇异的，此时Ax=b有唯一解 求逆的方法：对增广矩阵A|I做行列变换，把A变成I，则I变成了A-1 对角矩阵：对角线以外的元素都是0 如果A可以仅利用行运算化简为严格上三角形，则A有一LU分解，L是单位下三角矩阵，矩阵值就是变换中用的系数，这叫LU分解 矩阵分块后满足矩阵乘法规则 内积也叫标量积：行向量和列向量乘积，得出一个数 外积：列向量和行向量乘积，得出一个矩阵 外积展开：两个矩阵分别用向量方式表示，其乘积可以表示为外积展开 光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com
光环大数据 http://hadoop.aura.cn
行列式
行列式：两条竖线间包括的阵列 每个方形矩阵可以和他的行列式对应，行列式数值说明方阵是否是奇异的 行列式算法：展开某一行，每个数乘以他的余子式并加和 如果行列式非0，则方形矩阵为非奇异 det(A)可表示为A的任何行或列的余子式展开 三角形矩阵的行列式等于对角元素乘积 交换矩阵两行，行列式变成原来的负数，即det(EA)=-det(A) 矩阵某行乘以a，行列式变成原来的a倍，即det(EA)=adet(A) 矩阵某行乘以a加到另一行，行列式不变 如果某行为另一行的倍数，则矩阵行列式为零 det(AB)=det(A)det(B) adj A：矩阵的伴随(adjoint)，将元素用余子式替换并转置 求逆方法：A-1=(1/det(A)) adj A，推导：A(adj A)=det(A)I所以A(((1/det(A)) adj A) = I 克拉黙法则：Ax=b的唯一解是xi=det(Ai)/det(A)，这是线性方程组用行列式求解的便利方法 信息加密方法：找到行列式为正负1的整数矩阵A，A-1=+-adj A易求，乘A加密，乘A-1解密，A的构造方法：单位矩阵做初等变换 向量积也是一个向量 微积分中x看做行向量，线性代数中x看做列向量 假设x和y是行向量，则x*y=(x2y3-y2x3)i-(x1y3-y1x3)j+(x1y2-y1x2)k，其中i,j,k是单位矩阵的行向量 向量积可用于定义副法线方向 光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com
光环大数据 http://hadoop.aura.cn xT(x*y)=yT(x*y)=0，说明向量积与向量夹角为0
向量空间
向量空间：这个集合中满足加法和标量乘法运算，标量通常指实数 子空间：向量空间S的子集本身也是个向量空间，这个子集叫做子空间 除了{0}和向量空间本身外，其他子空间叫做真子空间，类似于真子集的概念，{0}叫做零子空间 Ax=0的解空间N(A)称为A的零空间，也就是说Ax=0线性方程组的解空间构成一个向量空间 向量空间V中多个向量的线性组合构成的集合成为这些向量的张成(span)，记作span(v1,v2,„,vn) span(e1,e2)为R3的一个子空间，从几何上表示为所有x1x2平面内3维空间的向量 span(e1,e2,e3)=R3 如果span(v1,v2,v3)=R3，那么说向量v1,v2,v3张成R3，{v1,v2,v3}是V的一个张集 最小张集是说里面没有多余的向量 最小张集的判断方法是：这些向量线性组合=0只有0解，这种情况也就是这些向量是线性无关的，如果有非零解那么就说是线性相关的 在几何上看二位向量线性相关等价于平行，三维向量线性相关等价于在同一个平面内 向量构成矩阵的行列式det(A)=0，则线性相关，否则线性无关 线性无关向量唯一地线性组合来表示任意向量 最小张集构成向量空间的基，{e1,e2„en}叫做标准基，基向量数目就是向量空间的维数 转移矩阵：把坐标从一组基到另一组基的变换矩阵 光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com
光环大数据 http://hadoop.aura.cn 由A的行向量张成的R1*n子空间成为A的行空间，由A的列向量张成的Rm子空间成为A的列空间 A的行空间的维数成为A的秩(rank)，求A的秩方法：把A化为行阶梯形，非零行个数就是秩 矩阵的零空间的维数成为矩阵的零度，一般秩和零度之和等于矩阵的列数 m*n矩阵行空间维数等于列空间的维数
线性变换
线性变换：L(av1+bv2)=aL(v1)+bL(v2) 线性算子：一个向量空间到其自身的线性变换 典型线性算子距离：ax(伸长或压缩a倍)，x1e1（到x1轴的投影），(x1,-x2)T（关于x1轴作对称），(-x2,x1)T逆时针旋转90度 判断是不是线性变换，就看看这种变换能不能转化成一个m*n矩阵 线性变换L的核记为ker(L)，表示线性变换后的向量空间中的0向量 子空间S的象记为L(S)，表示子空间S上向量做L变换的值 整个向量空间的象L(V)成为L的值域 ker(L)为V的一个子空间，L(S)为W的一个子空间，其中L是V到W的线性变换，S是V的子空间 从以E为有序基的向量空间V到以F为有序基的向量空间W的线性变换的矩阵A叫做表示矩阵 B为L相应于[u1,u2]的表示矩阵,A为L相应于[e1,e2]的表示矩阵，U为从[u1,u2]到[e1,e2]的转移矩阵，则B=U-1AU 如果B=S-1AS，则称B相似于A 如果A和B为同一线性算子L的表示矩阵，则A和B是相似的 光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com
光环大数据 http://hadoop.aura.cn
正交性
两个向量的标量积为零，则称他们正交(orthogonal) R2或R3中的向量x和y之间的距离是：||x-y|| xTy=||x|| ||y|| cos θ，即cos θ=xTy / (||x|| ||y||) 设方向向量u=(1/||x||)x，v=(1/||y||)y，则cos θ=uTv，即夹角余弦等于单位向量的标量积 柯西-施瓦茨不等式：|xTy| <= ||x|| ||y||，当且仅当有0向量或成倍数关系时等号成立 标量投影：向量投影的长度，α=xTy/||y|| 向量投影：p=(xTy/||y||)y=(xTy/yTy)y 对R3：||x*y|| = ||x|| ||y|| sinθ 当x和y正交时, ||x+y||2= ||x||2+ ||y||2，叫毕达哥拉斯定律 c2=a2+b2叫毕达哥拉斯定理，其实就是勾股弦定理 余弦应用于判断相似程度 U为向量组成的矩阵，C=UTU对应每一行向量的标量积值，这个矩阵表示相关程度，即相关矩阵(correlation matrix)，值为正就是正相关，值为负就是负相关，值为0就是不相关 协方差：x1和x2为两个集合相对平均值的偏差向量，协方差cov(X1,X2)=(x1Tx2)/(n-1) 协方差矩阵S=1/(n-1) XTX，矩阵的对角线元素为三个成绩集合的方差，非对角线元素为协方差 正交子空间：向量空间的两个子空间各取出一个向量都正交，则子空间正交。比如z轴子空间和xy平面子空间是正交的 子空间Y的正交补：是这样一个集合，集合中每个向量都和Y正交 正交补一定也是一个子空间 A的列空间R(A)就是A的值域，即Rn中的x向量，列空间中的b=Ax