附录A

A.1.5向量与数据分析

我们常常把一个数据对象或属性看作向量 在第2 章中，介绍了一个由150种鸢尾花组成的 数据集，用萼片长度、萼片宽度、花瓣长度和花 瓣 宽度4个属性刻画。每种花可以看作一个4维 向量，而每个属性可以看作一个150维的向量。 文档可以用向量表示，其中每个分量对应一个术 语（词），而每个分量的值是该术语 在文档中 出现的次数。这会产生非常稀疏、高维的向量。 这里，稀疏是指向量的大多数分量为0。
数据挖掘导论
19

数据上的其他常用运算也可以看作向量上的运算。 考虑维归约。 在最简单的方法中，数据向 量中的某些分量 被删除，而保留其他分量不变。 其他维归约技术产生数据向量的新的分量（ 属性） 集，这些新分量是原分量的线性组合 还有其他方法，使用更复杂的方法改变分量 。维归约在附 录B中进一步讨论。
表示一个从变量x1 , x2 ,, xn 到变量 y1 , y2 ,, ym的
线性变换.
数据挖掘导论
其中 aij为常数.
30 30
一般来说, n m
对线性变换来说，与矩阵有密切的关系． y1 a11 x1 a12 x2 a1n xn , y a x a x a x , 2 21 1 22 2 2n n ym am 1 x1 am 2 x2 amn xn .
5
向量空间的性质

数据挖掘导论
9



基向量通常是正交的（orthogonal)。向量正交是直 线垂直的二维概念的推广。 从概念上讲，正交向量是不相关的或独立的。如果 基向量是相互正交的，则将向量表示成 基向量的 线性组合事实上把该向量分解成一些独立分量 n维空间的向量可以看作标量（数）的n元组。为了 具体地解释，考虑二维欧几里得 空间，那里每个 点都与一个表示该点到原点的位移的向量相关联。 到任意点的位移向量都可以用 x方向和y方向的位 移和表示，这些位移分别是该点的x和y坐标

尽管看上去像点积，但它并不是点积（实际上是矩 阵乘法），其结果是秩为1的mxn矩阵
数据挖掘导论
42


每个矩阵都可以表示成秩为1矩阵的以奇异值为权 重的加权和。 由于以 非递增序排列的奇异值通常下降很快，因 此有可能使用少量奇异值和奇异向量得到矩阵的很 好的近似；这对于维归约是很有用的，这将在附录 b中进一步讨论
数据挖掘导论
14
线性独立性




定义：如果一个向量集中的每个向量都不能表示成 该集合中其他向量的 线性组合，则该集合是线性 独立（线性无关）的。 如果一个向量集不是线性独立的，则它们是线性依 赖（线性相关）的 注意，我们希 望基中每个向量都不线性依赖于其 余的基向量，否则的话，我们可以删除线性依赖于 其它基向量的向量，仍然有一个可以生成整个向量 空间的基向量集。 如果选择相互正交的（独立的）基向 则我们自动 得到一个线性独立的基向量集，因为任意两个向量 都正交的向量集是线性独立的 15
数据挖掘导论
20

对于某些数据分析领域（如统计学)，分析技术用 数据向量和包含这些数据向最的数据矩阵上 的运 算数学地表达。这样，向量表示带动了可以用来表 示、变换和分析数据的强有力的数学工具。
数据挖掘导论
21
A.2矩阵

数据挖掘导论
22

数据挖掘导论
23
A.2.2矩阵：加法和与标量乘法

数据挖掘导论
24
矩阵加法的性质

数据挖掘导论
25
标量乘以矩阵

数据挖掘导论
26
矩阵的标量乘法的性质

数据挖掘导论
27
A.2.3矩阵：乘法

数据挖掘导论
28
矩阵乘法的性质

数据挖掘导论
29
线性变换
定义 n个变量 x1 , x2 ,, xn 与m个变量 y1 , y2 ,, ym 之间的关系 y1 a11 x1 a12 x2 a1n xn , y a x a x a x , 2 21 1 22 2 2n n ym am 1 x1 am 2 x2 amn xn .
44

数据挖掘导论
45

对于许多统计学和数据分析问题，我们希望解线性 方程组，但是这些线性方程组不能使用刚 才介绍 的方法求解。 例如，我们可能有一个数据矩阵，其中行代表病 人，而列代表病人的特征（身 高、体重和年龄 ）和他们对特定药物治疗的反应（如血压的变化 ）。我们想把血压（因变量）表 示成其他（自 ）变量的线性函数，并且可以用上面的方法写一 个矩阵方程。然而，如果我们的病 人比变量多 （通常如此），则矩阵的逆不存在。
数据挖掘导论 10

数据挖掘导论
11
A.1.4 点积、正交性和正交投影

数据挖掘导论
12

13


如果u是单位向量，则该 点积是v在u的方向 上的分量。我们称它为v在u上的正交投影。 当然， 如果v是单位向量，则该点积也是u在 v方向上的投影。 推论：给定一个形成向量空间基的、范数为 1的正交向量集，对于任 意向量，我们可以 通过求该向量与每个基向量的点积来计算该 向量关于该a m1
数据挖掘导论
a12 a 22 am1
31
a1 n 系数矩阵 a2n 称之为线性 变换的矩阵 a mn
31
线性变换与矩阵之间是相互唯一确定的．
线性变换与逆矩阵

数据挖掘导论
32

数据挖掘导论
33
把矩阵看作将向量从一个空间映射到另一个空 间的函数时，矩阵具有如下性质。

数据挖掘导论
34

数据挖掘导论
35


左零空间 是被该矩阵映射到0的行向量。 右零空间(或更一般地，零空间）是被该矩阵映射 到0的列向暈》 注意：矩阵的秩（rank of a matrix)是行空间和列 空间的最小维度
数据挖掘导论 47




向量加法的交换律。加的次序不影响结果：u + v = v + u。 向量加法的结合律。相加时向量分组不影响结果： （u + v) + w = u + (v + w)。 向量加法单位元的存在性。存在一个零向量,简记 为0,是单位元。对于任意向量u,有u + 0 = u。 向量加法逆元的存在性。对于每个向量u,都存在一 个逆向量-u ，使得u + (-u) = 0
数据挖掘导论
李美争 主讲
附录A 线性代数——A1.向量vector

A.1.1定义 是一个具有量值 (magnitude)和方向（direction) 的量 用一个有向线段表示，其长度等于向量的量 值 ，其指向由向量的方向给出
A 两个向量 b两个向量的差 c两个向量的和
数据挖掘导论
2
A.1.2向量加法
数据挖掘导论 46


在这种情况下，我们仍然想找出该方程组的最好解 。这意味我们想找出自变量的最好线性组 合来预 测因变量。使用线性代数的术语，我们想找到尽可 能接近向量b的向量Ax; 换句话说， 我们希望最小 化向量b - Ax的长度||b - Ax||。这称作最小二乘（ least square)问题。许多统计 学技术（例如，将在 附录D中讨论的线性回归）都需要解最小二乘问题 。可以证明，方程Ax = b 的最小二乘解是x = (ATA)-1ATb。 在分析数据时，特别是对于维归约（将在附录B中 讨论），奇异值和本征向最分解也非常 有甩。注 意，维归约还可以带来降低噪声的效果。

数据挖掘导论
3
向量与标量的数乘

数据挖掘导论
4
A.1.3向量空间

向量空间（vector space)是向董的集合，连同一个 相关联的标量集（如实数集），满足上述 性质， 并且关于向量加法和标量与向量乘法是封闭的。（
封闭是指向量相加的结果、向量与标量相乘的结果
都是原向量集中的向量。）
数据挖掘导论
数据挖掘导论
36
矩阵的逆

数据挖掘导论
37
A.2.5本征值与奇异值分解

数据挖掘导论
38

数据挖掘导论
39
任何mxn矩阵A都可以分解 成3个矩阵的乘积， 如下面的定理所述

数据挖掘导论
40

数据挖掘导论
41

矩阵的奇异值分解（singular value decomposition,SVD）也可以用下面的等式表示
数据挖掘导论
43
A.2.6矩阵与数据分析

把数据集表示成数据矩阵， 其中每一行存放一个数据对象，而每一列是一个 属性。 (同样，我们也可以用行表示属性，列表 示对象。） 矩阵表示为我们的数据提供了紧凑、结构良好好 的表示，使得我们可以很容易地通过各种矩阵运 算对数据对象或属性进行操作
数据挖掘导论
数据挖掘导论
16

17

数据挖掘导论
18

对于向量数据，计算向量集的均值也有意义。 向量集的均值通过计算每个分景的均值实现。 有些聚类方法，如K-均值（第8章）就是将数据 对象划分成组（簇），并用数据对象（数 据向 量）的均值刻画每个族。其基本思想是，簇中数 据对象靠近均值的族是好的簇。其中，对于 像 鸢尾花这样的数据集，靠近用欧几里得距离度最 ，而对于像文档这样的数据集用余弦相似 性度 量。