从拉普拉斯矩阵说到谱聚类
谱聚类方法
谱聚类方法一、谱聚类的基本原理谱聚类（Spectral Clustering）是一种基于图论的聚类方法，通过研究样本数据的图形结构来进行聚类。
谱聚类方法的基本原理是将高维数据转换为低维数据，然后在低维空间中进行聚类。
它利用样本之间的相似性或距离信息，构建一个图模型（通常是相似度图或距离图），然后对图模型进行谱分解，得到一系列特征向量，最后在特征向量空间中进行聚类。
谱聚类的核心步骤是构建图模型和进行谱分解。
在构建图模型时，通常采用相似度矩阵或距离矩阵来表示样本之间的联系。
在谱分解时，通过对图模型的拉普拉斯矩阵进行特征分解，得到一系列特征向量，这些特征向量表示了样本数据的低维空间结构。
通过对特征向量空间进行聚类，可以将高维数据分为若干个类别。
二、谱聚类的优缺点1.优点（1）适用于高维数据：谱聚类方法能够有效地处理高维数据，因为它的核心步骤是将高维数据转换为低维数据，然后在低维空间中进行聚类。
这有助于克服高维数据带来的挑战。
（2）对噪声和异常值具有较强的鲁棒性：谱聚类方法在构建图模型时，会考虑到样本之间的相似性和距离信息，从而在一定程度上抑制了噪声和异常值的影响。
（3）适用于任意形状的聚类：谱聚类方法可以适用于任意形状的聚类，因为它的聚类结果是基于特征向量空间的，而特征向量空间可以捕捉到样本数据的全局结构。
2.缺点（1）计算复杂度高：谱聚类的计算复杂度相对较高。
构建图模型和进行谱分解都需要大量的计算。
在大规模数据集上，谱聚类的计算效率可能会成为问题。
（2）对相似度矩阵或距离矩阵的敏感性：谱聚类的结果会受到相似度矩阵或距离矩阵的影响。
如果相似度矩阵或距离矩阵不合理或不准确，可能会导致聚类结果不理想。
（3）对参数的敏感性：谱聚类的结果会受到参数的影响，如相似度度量方式、距离度量方式、图模型的构建方式等。
如果参数选择不当，可能会导致聚类效果不佳。
三、谱聚类的应用场景1.图像分割：谱聚类方法可以应用于图像分割，将图像中的像素点分为若干个类别，从而实现对图像的分割。
谱聚类 拉普拉斯矩阵
谱聚类拉普拉斯矩阵
谱聚类是一种基于图论的聚类方法，它通过对数据的相似性矩
阵进行特征值分解来实现聚类的目的。
在谱聚类中，拉普拉斯矩阵
扮演着重要的角色。
首先，让我们来谈谈拉普拉斯矩阵。
拉普拉斯矩阵是一种对称
正定矩阵，它在图论中扮演着重要的角色。
对于一个图，可以构建
其对应的拉普拉斯矩阵，一般来说，拉普拉斯矩阵有三种形式，度
数矩阵减去邻接矩阵、正则化的对称拉普拉斯矩阵和非正则化的对
称拉普拉斯矩阵。
拉普拉斯矩阵的特征向量和特征值与图的拓扑结
构息息相关，这使得它成为图分析和图聚类中的重要工具。
接下来，谱聚类是如何利用拉普拉斯矩阵进行聚类的呢？在谱
聚类中，首先根据数据点之间的相似性构建相似性矩阵，然后利用
这个相似性矩阵构建拉普拉斯矩阵。
接着，对拉普拉斯矩阵进行特
征值分解，得到特征向量矩阵，然后利用这些特征向量进行聚类。
一般来说，取特征值较小的几个特征向量作为新的特征空间，然后
使用传统的聚类算法（如K均值）在这个新的特征空间中进行聚类。
谱聚类的优点在于它可以发现任意形状的簇，并且对噪声数据不敏感。
总的来说，谱聚类是一种基于图论和拉普拉斯矩阵的聚类方法，通过对拉普拉斯矩阵进行特征值分解来实现聚类的目的。
拉普拉斯
矩阵在谱聚类中扮演着重要的角色，它能够提取数据的拓扑结构信息，帮助实现对数据的聚类。
谱聚类在图像分割、社交网络分析等
领域有着广泛的应用。
一种自动确定类个数的谱聚类算法
谱聚类（Spectral Clustering）是一种基于图论和矩阵特征的聚类方法。
谱聚类的主要思想是将数据集表示为一个图，通过图的拉普拉斯矩阵的特征向量进行降维，然后使用 K-means 等方法对降维后的数据进行聚类。
一般而言，用户需要提前设定聚类的个数（K值），但有一些自动确定类个数的谱聚类算法可以帮助在不知道真实聚类数的情况下进行聚类。
以下是一种常见的自动确定类个数的谱聚类算法：
1. 谱峰值检测算法（Spectral Peak Detection）：
步骤：
1.构建谱图：计算数据相似性矩阵，然后构建相应的谱图。
2.计算谱聚类：计算谱图的拉普拉斯矩阵，并找到其特征向量。
3.寻找谱峰值：对特征向量进行分析，通过找到特征值的峰值或拐点来确定
类的个数。
4.K-means聚类：使用确定的类个数对数据进行 K-means 聚类。
优点和注意事项：
▪优点：
▪不需要预先设定聚类个数，通过分析特征向量的峰值自动确定。
▪对于不规则形状的聚类较为有效。
▪注意事项：
▪依赖于特征向量的峰值，对数据的分布和结构有一定的要求。
▪可能对数据中的噪声敏感。
这种自动确定类个数的谱聚类算法通过对拉普拉斯矩阵的特征向量进行分析，找到谱峰值来自适应地确定聚类个数。
这样的方法在一些情况下能够更好地适应数据的复杂结构和变化。
在实践中，根据具体的数据分布和问题特点选择合适的谱聚类算法是很重要的。
拉普拉斯矩阵 特征向量
拉普拉斯矩阵特征向量拉普拉斯矩阵是图论中一种常用的矩阵表示方法，它与图的拓扑结构密切相关。
通过对拉普拉斯矩阵的特征值和特征向量进行分析，可以揭示图的一些重要性质和结构信息。
本文将从理论和应用两个方面介绍拉普拉斯矩阵的特征向量。
一、理论基础拉普拉斯矩阵是图论中的一种重要工具，用于描述图的拓扑结构。
对于一个无向图G，拉普拉斯矩阵L定义为L=D-A，其中D为图G的度矩阵，A为图G的邻接矩阵。
拉普拉斯矩阵的特征值与特征向量可以提供关于图G的一些重要信息。
特征向量是指矩阵在某个特定的方向上的伸缩变换，对应的特征值表示该方向上的变换倍数。
对于拉普拉斯矩阵，特征向量可以用于刻画图的结构和性质。
一般来说，拉普拉斯矩阵的特征向量与图的连通性、聚类以及图的谱分析等有密切关系。
二、特征向量的应用1. 图的划分通过拉普拉斯矩阵的特征向量可以实现图的划分，将图分成若干个不相交的子图。
具体做法是选取拉普拉斯矩阵的特征向量中与最小的几个特征值对应的特征向量，然后通过对特征向量进行聚类分析，将图划分成若干个子图。
这种方法在社交网络分析、图像分割等领域有广泛的应用。
2. 图的谱聚类拉普拉斯矩阵的特征向量还可以用于图的谱聚类。
谱聚类是一种基于图的聚类方法，通过对拉普拉斯矩阵的特征向量进行聚类分析，将图中的节点划分成不同的聚类。
特别是对于图中存在多个独立的子图时，谱聚类方法能够更好地划分图中的节点。
3. 图的中心性分析通过拉普拉斯矩阵的特征值和特征向量可以计算图的中心性指标，如介数中心性、度中心性等。
中心性分析可以帮助我们了解图中的重要节点和连接方式，辅助我们进行图的分析和挖掘。
4. 图的嵌入拉普拉斯矩阵的特征向量还可以用于图的嵌入。
图的嵌入是将图的节点映射到低维空间中，以便于对图进行可视化和分析。
通过选取拉普拉斯矩阵的特征向量作为图的嵌入向量，可以将高维的图数据映射到低维空间，从而方便我们对图进行可视化和分析。
三、总结通过对拉普拉斯矩阵的特征向量进行分析，可以揭示图的一些重要性质和结构信息。
谱聚类算法综述
谱聚类算法综述一、本文概述谱聚类算法是一种基于图理论的机器学习技术，它在数据分析和模式识别中发挥着重要作用。
本文旨在对谱聚类算法进行全面的综述，从理论基础、算法流程、应用领域以及最新进展等多个方面进行深入的探讨。
我们将简要介绍谱聚类算法的基本概念和原理，包括图论基础、拉普拉斯矩阵、特征值分解等关键知识点。
然后，我们将详细阐述谱聚类算法的基本流程和主要步骤，包括数据预处理、构建相似度矩阵、计算拉普拉斯矩阵、求解特征向量和聚类等。
接下来，我们将重点分析谱聚类算法在不同领域中的应用，如图像处理、社交网络分析、机器学习等，并探讨其在这些领域中取得的成果和优势。
我们还将对谱聚类算法的性能进行评估，包括其时间复杂度、空间复杂度以及聚类效果等方面。
我们将对谱聚类算法的最新研究进展进行综述，包括新的算法模型、优化方法以及应用领域的拓展等方面。
通过对这些最新进展的梳理和总结，我们可以更好地了解谱聚类算法的发展趋势和未来研究方向。
本文旨在对谱聚类算法进行全面的综述和分析，为读者提供一个清晰、系统的认识框架，同时也为该领域的研究者提供有价值的参考和启示。
二、谱聚类算法的基本原理谱聚类算法是一种基于图理论的聚类方法，它通过将数据点视为图中的节点，数据点之间的相似性视为节点之间的边的权重，从而构建出一个加权无向图。
谱聚类的基本原理在于利用图的拉普拉斯矩阵（Laplacian Matrix）的特征向量来进行聚类。
构建相似度矩阵：需要计算数据点之间的相似度，这通常通过核函数（如高斯核函数）来实现，从而构建出一个相似度矩阵。
构建图的拉普拉斯矩阵：根据相似度矩阵，可以构建出图的度矩阵和邻接矩阵，进而得到图的拉普拉斯矩阵。
拉普拉斯矩阵是相似度矩阵和度矩阵之差，它反映了数据点之间的局部结构信息。
求解拉普拉斯矩阵的特征向量：对拉普拉斯矩阵进行特征分解，得到其特征向量。
这些特征向量构成了一个新的低维空间，在这个空间中，相似的数据点更接近，不相似的数据点更远。
谱聚类 拉普拉斯算法
谱聚类拉普拉斯算法
谱聚类是一种常用的聚类算法，通过将数据集转化为图形模型，利用图的谱分析方法来进行聚类。
其中，拉普拉斯算法是谱聚类的一种基本算法，其主要思想是将数据集转化为图形模型后，通过计算拉普拉斯矩阵来得到聚类结果。
具体来说，拉普拉斯算法分为两种类型：标准拉普拉斯算法和对称拉普拉斯算法。
标准拉普拉斯算法通过计算拉普拉斯矩阵的特征向量来进行聚类，而对称拉普拉斯算法则通过计算对称拉普拉斯矩阵的特征向量来进行聚类。
两种算法的主要区别在于拉普拉斯矩阵的构造方式不同。
在实现拉普拉斯算法时，需要先构造数据集的邻接矩阵和度矩阵，然后根据不同的算法类型计算拉普拉斯矩阵，并求解其特征向量。
最后，通过对特征向量进行聚类，即可得到最终的聚类结果。
总之，拉普拉斯算法是谱聚类中比较基础的算法之一，通过对数据集进行图形模型转化，可以有效地进行聚类。
在实际应用中，需要根据数据集的特点选择不同的算法类型，并根据具体情况进行参数调整，才能得到更加准确的聚类结果。
- 1 -。
谱聚类详细、入门级的介绍
i1 j1
nn
n
n
2wij qiq j 2qi 2 wij
i1 j 1
i 1
j 1
2qT (D W )q
其中D为对角矩阵
n
Dii wij j 1
Laplacian矩阵
Spectral Clustering 谱聚类
nn
wij (qi q j )2 2qT (D W )q
i1 j 1
6
0.0ቤተ መጻሕፍቲ ባይዱ0.0 0.0 0.0 0.0 1.5
1
2
3
4
5
6
1 1.5 -0.8 -0.6 0.0 -0.1 0. 0 2 -0.8 1.6 -0.8 0.0 0.0 0.0 3 -0.6 -0.8 1.6 -0.2 0.0 0.0 4 0.0 0.0 -0.2 1.7 -0.8 -0.7 5 -0.1 0.0 0.0 -0.8 1.7 -0.8 6 0.0 0.0 0.0 -0.7 -0.8 1.5
123456 1 1.5 0.0 0.0 0.0 0.0 0. 0 2 0.0 1.6 0.0 0.0 0.0 0.0 3 0.0 0.0 1.6 0.0 0.0 0.0 4 0.0 0.0 0.0 1.7 0.0 0.0 5 0.0 0.0 0.0 0.0 1.7 0.0 6 0.0 0.0 0.0 0.0 0.0 1.5
再定义一个 L 矩阵
L DW
L 称为拉普拉斯矩阵，W 为权重矩阵（也称邻接矩阵），D 为度矩阵
nn
wij (qi q j )2 2qT Lq
i1 j1
Spectral Clustering 谱聚类
Laplacian矩阵
qT Lq
1 2
拉普拉斯矩阵的特征分解
拉普拉斯矩阵的特征分解拉普拉斯矩阵是图论中一个重要的概念，它能够揭示图的结构和性质，而拉普拉斯矩阵的特征分解更是为图论中的很多问题提供了解决方法。
本文将从以下几个方面介绍拉普拉斯矩阵的特征分解。
一、拉普拉斯矩阵的定义拉普拉斯矩阵是一种特殊形式的对称矩阵，是由图的邻接矩阵和度数矩阵构成的。
对于无向图$G=(V,E)$，顶点集为$V=\{v_1,v_2,...,v_n\}$，边集为$E=\{e_1,e_2,...,e_m\}$，其邻接矩阵$A\in \mathbb{R}^{n\times n}$定义为：$$A_{ij} =\begin{cases}1, & \text{if $(v_i,v_j)\in E$} \\0, & \text{otherwise}\end{cases}$$其度数矩阵$D\in \mathbb{R}^{n\times n}$定义为：$$D_{ii} = \sum_{j=1}^{n}A_{ij},\;\;\;D_{ij} =0\;\;\;\text{if}\;\;\;i\not=j$$那么拉普拉斯矩阵$L\in \mathbb{R}^{n\times n}$定义为：$$L = D - A$$二、拉普拉斯矩阵的性质1.拉普拉斯矩阵是对称半正定矩阵。
2.拉普拉斯矩阵有$n$个非负实数特征值$0\leq\lambda_1\leq\lambda_2\leq...\leq\lambda_n$。
3.对于二分图和完全图，其拉普拉斯矩阵有特殊的形式。
三、拉普拉斯矩阵的特征分解拉普拉斯矩阵的特征分解是指将一个矩阵分解为特征向量矩阵和特征值矩阵的乘积。
对于拉普拉斯矩阵$L\in \mathbb{R}^{n\times n}$，可以进行特征分解为：$$L = U\Lambda U^T$$其中$U\in \mathbb{R}^{n\times n}$是正交矩阵，每一列是$L$的一个特征向量，$\Lambda\in \mathbb{R}^{n\times n}$是对角矩阵，其对角线上的元素是$L$的特征值，且$\Lambda_{ii}\leq 2$。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 矩阵基础
5
为例，X 轴单位度量长度变为原来的 1/2，Y 轴单位度量长度变为原来的 1/3，即 与矩阵 (
1 2
0
1 3
)
0
相乘，便成直角坐标系 I 。即对坐标系施加变换，即让其与变换矩阵相乘。
1.2
一堆基础概念
根据 wikipedia 的介绍2 ，在矩阵中，n 阶单位矩阵，是一个的方形矩阵，其主对角
3 谱聚类 3.1 3.2 3.3 3.4 相关定义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
目标函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 最小化 RatioCut 与最小化 f ′ Lf 等价 . . . . . . . . . . . . . . . . . . . . 11 谱聚类算法过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
从拉普拉斯矩阵说到谱聚类
Spectral Hashing
作者： July 出处： 结构之法算法之道 blog
目录
2
目录
0 引言 1 矩阵基础 1.1 1.2 理解矩阵的 12 点数学笔记 . . . . . . . . . . . . . . . . . . . . . . . . . . . 一堆基础概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 3 5 6 6 8 9 9
1
/v_july_v/article/details/7237351#t61
1 矩阵基础
4
定一组基，得到一个矩阵描述它，换一组基，得到不同矩阵描述它，矩阵只是描 述线性变换非线性变换本身，类比给一个人选取不同角度拍照。 4. 前面都是说矩阵描述线性变换，然而，矩阵不仅可以用来描述线性变换，更可以 用来描述基（坐标系/角度） ，前者好理解，无非是通过变换的矩阵把线性空间中 的一个点给变换到另一个点上去，但你说矩阵用来描述基 (把一个坐标系变换到 另一个坐标系)，这可又是何意呢？实际上，变换点与变换坐标系，异曲同工！ @ 坎儿井围脖：矩阵还可以用来描述微分和积分变换。关键看基代表什么，用坐 标基就是坐标变换。如果基是小波基或傅里叶基，就可以用来描述小波变换或傅 里叶变换 5. 矩阵是线性运动（变换）的描述，矩阵与向量相乘则是实施运动（变换）的过程， 同一个变换在不同的坐标系下表现为不同的矩阵，但本质/特征值相同，运动是相 对的，对象的变换等价于坐标系的变换，如点 (1, 1) 变到 (2, 3)，一者可以让坐标 点移动，二者可以让 X 轴单位度量长度变成原来 1/2，让 Y 轴单位度量长度变成 原来 1/3，前后两者都可以达到目的。 6. M a = b，坐标点移动则是向量 a 经过矩阵 M 所描述的变换，变成了向量 b；变 坐标系则是有一个向量，它在坐标系 M 的度量下结果为 a，在坐标系 I （I 为单 位矩阵，主对角为 1，其它为 0）的度量下结果为 b，本质上点运动与变换坐标系 两者等价。为何？如 (5) 所述，同一个变换，不同坐标系下表现不同矩阵，但本 质相同。 7. Ib，I 在 (6) 中说为单位坐标系，其实就是我们常说的直角坐标系，如 M a = Ib， 在 M 坐标系里是向量 a，在 I 坐标系里是向量 b，本质上就是同一个向量，故此 谓矩阵乘法计算无异于身份识别。且慢，什么是向量？放在坐标系中度量，后把 度量的结果（向量在各个坐标轴上投影值）按顺序排列在一起，即成向量。 8. b 在 I 坐标系中则是 Ib， a 在 M 坐标系中则是 M a，故而矩阵乘法 M × N ， 不过是 N 在 M 坐标系中度量得到 M N ，而 M 本身在 I 坐标系中度量出。故 M a = Ib，M 坐标系中的 a 转过来在 I 坐标系中一量，却成了 b。如向量 (x, y ) 在单位长度均为 1 的直角坐标系中一量，是 (1, 1)，而在 X 轴单位长度为 2； Y 轴单位长度为 3 的量则是 (2, 3)。 9. 何谓逆矩阵? M a = Ib，之前已明了坐标点变换 a → b 等价于坐标系变换 M → I ， 但具体 M 如何变为 I 呢，答曰：让 M 乘以 M 的逆矩阵。以坐标系: ( ) 2 0 0 3
2
(1.4)
/wiki/Matrix_(mathematics)
2 拉普拉斯矩阵 使用矩阵乘法并把（纵列）向量当作 n × 1 矩阵，点积还可以写为： ⃗ a ·⃗ b =⃗ aT⃗ b
6
(1.5)
这里 ⃗ aT 的指示矩阵的转置。使用上面的例子，将一个 1 × 3 矩阵（就是行向量） 乘以一个 3 × 1 向量得到结果 (通过矩阵乘法的优势得到 1 × 1 矩阵也就是标量)： 4 ( ) = (3) (1.6) − 2 1 3 −5 −1 除了上面的代数定义外，点积还有另外一种定义： 几何定义。在欧几里得空间中， 点积可以直观地定义为： ⃗ a ·⃗ b = |⃗ a||⃗ b|cosθ (1.7)
2
拉普拉斯矩阵
2.1 Laplacian matrix 的定义
拉
普拉斯矩阵（Laplacian matrix)，也称为基尔霍夫矩阵, 是表示图的一种矩阵。给 定一个有 n 个顶点的图 G = (V, E )，其拉普拉斯矩阵被定义为: L=D−W (2.1)
2 拉普拉斯矩阵 其中 D 为图的度矩阵，W 为图的邻接矩阵。 举个例子。给定一个简单的图，如下：
n ∑ i=1
⃗ u ∥⃗ u∥
(1.2)
ai bi = a1 b1 + a2 b2 + . . . + an bn
(1.3)
指示求和符号。
例如，两个三维向量 [1, 3, −5] 和 [4, −2, −1] 的点积是： [1, 3, −5] · [4, −2, −1] = (1)(4) + (3)(−2) + (−5)(1) = 3
0 引言
3
0
引言
11 月 1 日上午，机器学习班1 第 7 次课，邹博讲聚类（PPT） ，其中的谱聚类引起 了自己的兴趣，他从最基本的概念：单位向量、两个向量的正交、方阵的特征值和特征 向量，讲到相似度图、拉普拉斯矩阵，最后讲谱聚类的目标函数和其算法流程。 课后自己又琢磨了番谱聚类跟拉普拉斯矩阵，打算写篇博客记录学习心得，若有不 足或建议，欢迎随时不吝指出，thanks。
1
矩阵基础
在讲谱聚类之前，有必要了解一些矩阵方面的基础知识。
1.1
理解矩阵的 12 数学笔记
如果对矩阵的概念已经模糊，推荐国内一人写的《理解矩阵 by 孟岩》系列，其中，
抛出了很多有趣的观点，我之前在阅读的过程中做了些笔记，如下： 1. 简而言之：矩阵是线性空间里的变换的描述，相似矩阵则是对同一个线性变换的 不同描述。那，何谓空间？本质而言， 空间是容纳运动的一个对象集合，而变换则规定了对应空间的运动 by 孟岩 在线性空间选定基后，向量刻画对象的运动，运动则通过矩阵与向量相乘来施加。 然，到底什么是基？坐标系也。 2. 有了基，那么在 (1) 中所言的则应是：矩阵是线性空间里的变换的描述，相似矩阵 则是对同一个线性变换在不同基（坐标系）下的不同描述。出来了两个问题，一 者何谓变换，二者不同基（坐标系）如何理解？事实上，所谓变换，即空间里从 一个点（元素/对象）到另一个（元素对象）的跃迁，矩阵用来描述线性变换。基 呢? 通过前面已知，矩阵无非不过就是用来描述线性空间中的线性变换的一个东 西而已，线性变换为名词，矩阵为描述它的形容词，正如描述同一个人长得好看 可以用多个不同形容词“帅” “靓”描述，同一个线性变换也可以由多个不同的矩 阵来描述，而由哪一个矩阵描述它，则由基（坐标系）确定。 3. 前面说了基，坐标系也，形象表述则为角度，看一个问题的角度不同，描述问题 得到的结论也不同，但结论不代表问题本身，同理，对于一个线性变换，可以选
(2.2)
把 W 的每一列元素加起来得到 N 个数，然后把它们放在对角线上（其它地方都 是零） ，组成一个 N × N 的对角矩阵，记为度矩阵 D，如下图所示： 2 0 0 0 0 0 0 3 0 0 0 0 0 0 2 0 0 0 D= 0 0 0 3 0 0 0 0 0 0 3 0 0 0 0 0 0 1 根据拉普拉斯矩阵的定义 L = D − W ，可得拉普拉斯矩阵 L 为： 2 −1 0 0 −1 0 −1 3 −1 0 −1 0 0 −1 2 −1 0 0 L= 0 0 −1 3 −1 −1 −1 −1 0 −1 3 0 0 0 0 −1 0 1
这里 |⃗ x| 表示 ⃗ x 的模（长度） ，θ 表示两个向量之间的角度。根据这个定义式可得： 两个互相垂直的向量的点积总是零。若和都是单位向量（长度为 1） ，它们的点积就是 它们的夹角的余弦。 正交是垂直这一直观概念的推广，若内积空间中两向量的内积（即点积）为 0，则 称它们是正交的，相当于这两向量垂直，换言之，如果能够定义向量间的夹角，则正交 可以直观的理解为垂直。而正交矩阵（orthogonal matrix）是一个元素为实数，而且行 与列皆为正交的单位向量的方块矩阵（方块矩阵，或简称方阵，是行数及列数皆相同的 矩阵。 ） 若数字 λ 和非零向量 ⃗ v 满足 A⃗ v = λ⃗ v ，则 ⃗ v 为 A 的一个特征向量，λ 是其对应的 特征值。换句话说，在 ⃗ v 这个方向上，A 做的事情无非是把 ⃗ v 沿其 ⃗ v 的方向拉长/缩短 了一点（而不是毫无规律的多维变换） ，λ 则是表示沿着这个方向上拉伸了多少的比例。 简言之，A 对 ⃗ v 做了手脚，使得向量 ⃗ v 变长或变短了，但 ⃗ v 本身的方向不变。 矩阵的迹是矩阵的对角线元素之和，也是其个特征值之和。 更多矩阵相关的概念可以查阅相关 wikipedia，或《矩阵分析与应用》 。