核函数理论
指数核函数
指数核函数指数核函数是支持向量机（SVM）中常用的一种核函数，它在机器学习和模式识别领域发挥着重要作用。
指数核函数可以将输入空间映射到高维空间，从而使得非线性可分的数据在高维空间中变得线性可分，进而提高分类的准确性和泛化能力。
在支持向量机中，核函数的作用是将输入空间中的数据映射到高维特征空间中，使得原本线性不可分的数据变得线性可分。
指数核函数是一种常用的核函数之一，它的表达形式为K(x, z) = exp(-γ||x-z||^2)，其中γ是一个常数，||x-z||表示输入样本x和z之间的欧氏距离。
指数核函数的特点是能够将数据映射到无限维的特征空间中，从而可以处理非线性可分的数据。
指数核函数在SVM中的应用非常广泛。
通过将数据映射到高维空间中，SVM可以更好地对复杂的数据进行分类和预测。
指数核函数的非线性特性使得SVM在处理非线性问题时表现出色，能够取得较好的分类效果。
此外，指数核函数还具有较好的鲁棒性和泛化能力，可以有效避免过拟合的问题。
除了在SVM中的应用，指数核函数还可以用于其他机器学习算法中，如核主成分分析（Kernel PCA）、最大间隔聚类（Maximum Margin Clustering）等。
指数核函数的高维映射特性使得它在处理复杂数据集和高维数据时具有一定优势，能够提高模型的性能和泛化能力。
总的来说，指数核函数作为一种常用的核函数，在机器学习和模式识别领域发挥着重要作用。
它能够将数据映射到高维空间中，从而提高模型的分类准确性和泛化能力，适用于处理复杂的非线性问题。
指数核函数的特点是具有较好的鲁棒性和泛化能力，能够有效避免过拟合的问题，是一种非常实用的核函数。
希望未来能够进一步研究和应用指数核函数，为机器学习和模式识别领域的发展做出更大的贡献。
核函数（kernelfunction）
核函数（kernelfunction）在接触反演、算法等⽅⾯的知识后，经常听到“核”这个字，它不像对原始变量的线性变换，也不像类似于机器学习中激活函数那样的⾮线性变换，对原始数据进⾏变换，就可以将复杂的问题简单化。
接下来，就让我们了解了解“核”这个东西。
参考链接：注，kernel function 与kernel function指的是同⼀个东西，可以这样理解：核⽅法只是⼀种处理问题的技巧，低维空间线性不可分可以在⾼维空间线性可分，但是⾼维空间的计算复杂度⼜很⼤，那么我们就把⾼维空间的计算通过低维空间的计算外加⼀些线性变换来完成。
还有，都说核⽅法与映射⽆关，怎么理解呢？核⽅法是⼀种技巧，不管怎么映射，我们都是⽤低维空间的计算来解决⾼维空间计算复杂的问题。
1. 问题描述给定两个向量(x_i)和(x_j)，我们的⽬标是要计算他们的内积\(I\) = <\(x_i\), \(x_j\)>。
现在假设我们通过某种⾮线性变换：\(\Phi : x \rightarrow \phi(x)\)把他们映射到某⼀个⾼维空间中去，那么映射后的向量就变成：\(\phi(x_i)\)和\(\phi(x_j)\)，映射后的内积就变成：\(I’\) = <\(\phi(x_j)\),\ (\phi(x_j)\)>。
现在该如何计算映射后的内积呢？传统⽅法是先计算映射后的向量\(\phi(x_i)\)和\(\phi(x_j)\)，然后再计算它俩的内积。
但是这样做计算很复杂，因为映射到⾼维空间后的数据维度很⾼。
⽐如，假设\(x_i\)和\(x_j\)在映射之后都是⼀个( \(1 \times 10000\))维的向量，那么他们的内积计算就需要做10000次加法操作和10000次乘法操作，显然复杂度很⾼。
于是，数学家们就想出⼀个办法：能不能在原始空间找到⼀个函数\(K(x_i,x_j)\)使得\(K(x_i,x_j) = <\phi(x_j),\phi(x_j)>\)呢？如果这个函数存在，那么我们只需要在低维空间⾥计算函数\(K(x_i,x_j)\)的值即可，⽽不需要先把数据映射到⾼维空间，再通过复杂的计算求解映射后的内积了。
常见的核函数
常见的核函数核函数是机器学习中一种常用的方法，它主要用于将高维空间中的数据映射到低维空间中，从而提升算法的性能。
核函数在SVM、PCA、KPCA等机器学习算法中广泛应用。
下面我们将介绍常见的核函数。
1. 线性核函数线性核函数是最简单的核函数之一，它是一种将数据点映射到低维空间的方式，其表达式如下：K(x_i, x_j) = (x_i * x_j)其中x_i, x_j是样本数据集中的两个数据，返回一个标量值。
线性核函数的优点在于需要的计算量较小，适用于大型数据集，但它的缺点是它只能处理线性分离的数据。
2. 多项式核函数其中x_i, x_j是样本数据集中的两个数据，c是一个常数，d是多项式的度数。
多项式核函数适用于非线性分离的数据。
3. 径向基函数(RBF)核函数其中x_i, x_j是样本数据集中的两个数据，gamma是一个正常数，||x_i - x_j||^2表示两个数据点之间的欧几里得距离的平方。
4. Sigmoid核函数其中x_i, x_j是样本数据集中的两个数据，alpha和beta是Sigmoid函数参数。
Sigmoid核函数适用于二分类问题。
上述四种核函数都是常见的核函数，它们各自有不同的优劣势，在不同的机器学习算法中应该选择适当的核函数来处理不同的数据。
除了上述四种常见的核函数，还有其他的一些核函数也具有重要的应用价值。
5. Laplacian核函数Laplacian核函数计算方式类似于径向基函数，但是它将样本数据点间的距离转化成样本数据点间的相似度，其表达式如下：K(x_i, x_j) = exp(-gamma * ||x_i - x_j||)其中gamma和径向基函数中的参数相同。
Laplacian核函数在图像识别和自然语言处理等领域有着广泛的应用。
6. ANOVA核函数ANOVA核函数通常用于数据分析和统计学中，它对混合多种类型数据的模型有较好的表现，其表达式如下：其中h_i和h_j是从样本数据点中提取出来的特征，gamma是一个常数。
ceres的核函数
ceres的核函数Ceres的核函数Ceres是一种用于非线性最小二乘问题求解的优化库。
在Ceres中，核函数是用于衡量残差的权重的一种函数。
核函数的作用是将残差转化为代价函数，进而影响优化过程中的参数更新。
Ceres库提供了多种核函数供用户选择，包括Huber核函数、Cauchy核函数、Tukey核函数等。
1. Huber核函数Huber核函数是一种鲁棒（robust）核函数，它在残差较小的情况下近似于平方函数，在残差较大的情况下近似于线性函数。
Huber 核函数的形式如下：φ(r) ={0.5 * r^2, |r| <= δδ * (|r| - 0.5 * δ), |r| > δ}其中，r为残差，δ为阈值。
当残差的绝对值小于等于阈值δ时，使用平方函数；当残差的绝对值大于阈值δ时，使用线性函数。
Huber核函数的优点是对异常值具有较好的鲁棒性，能够减小异常值对优化结果的影响。
2. Cauchy核函数Cauchy核函数是一种鲁棒核函数，它在残差较小时近似于平方函数，在残差较大时近似于对数函数。
Cauchy核函数的形式如下：φ(r)= ln(1 + (r/δ)^2)其中，r为残差，δ为阈值。
Cauchy核函数在残差较小的情况下和平方函数类似，但对残差较大的情况下有更快的衰减。
相比于Huber核函数，Cauchy核函数对异常值的惩罚更加严厉。
3. Tukey核函数Tukey核函数是一种鲁棒核函数，它在残差较小时近似于平方函数，在残差较大时近似于常数函数。
Tukey核函数的形式如下：φ(r) ={δ^2 * (1 - (1 - (r/δ)^2)^3), |r| <= δδ^2, |r| > δ}其中，r为残差，δ为阈值。
当残差的绝对值小于等于阈值δ时，使用平方函数；当残差的绝对值大于阈值δ时，使用常数函数。
Tukey核函数在残差较小的情况下和平方函数类似，但对残差较大的情况下有更快的衰减。
c++核函数
c++核函数在计算机科学中，核函数是一个在两个数据点之间定义相似度的函数。
它通常用于机器学习和数据挖掘等领域。
核函数有许多不同的类型，每种类型都有各自的优点和缺点。
核函数的常用类型之一是高斯核函数。
它定义为：K(x,y)=exp(−γ||x−y||2)其中，γ是核函数的宽度参数。
γ越大，核函数的宽度越窄，相似度越局部。
γ越小，核函数的宽度越宽，相似度越全局。
高斯核函数的另一个常用类型是拉普拉斯核函数。
它定义为：K(x,y)=exp(−γ||x−y||)其中，γ是核函数的宽度参数。
γ越大，核函数的宽度越窄，相似度越局部。
γ越小，核函数的宽度越宽，相似度越全局。
拉普拉斯核函数比高斯核函数更平滑，因此它对噪声数据更鲁棒。
然而，拉普拉斯核函数的计算成本更高。
核函数的另一个常用类型是多项式核函数。
它定义为：K(x,y)=(x T y+c)d其中，c和d是核函数的参数。
c是偏移参数，d是度参数。
d越大，核函数的非线性程度越高。
多项式核函数是一种简单的核函数，但它可以非常有效。
它通常用于分类和回归任务。
核函数的另一个常用类型是径向基核函数。
它定义为：K(x,y)=ϕ(||x−y||)其中，φ是一个径向基函数。
径向基函数通常是单调递减的函数，因此核函数的相似度随着两个数据点之间的距离增加而减小。
径向基核函数的常用类型之一是指数径向基核函数。
它定义为：K(x,y)=exp(−γ||x−y||2)其中，γ是核函数的宽度参数。
γ越大，核函数的宽度越窄，相似度越局部。
γ越小，核函数的宽度越宽，相似度越全局。
指数径向基核函数是一种简单而有效的核函数。
它通常用于回归和聚类任务。
核函数在机器学习和数据挖掘中有着广泛的应用。
它们可以用于分类、回归、聚类和降维等任务。
核函数的选择对于机器学习模型的性能非常重要。
核函数方法简介
核函数方法简介（1）核函数发展历史早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。
而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。
（2）核函数方法原理核函数方法原理根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。
采用核函数技术可以有效地解决这样问题。
设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n<<m。
根据核函数技术有：K(x,z) =<Φ(x),Φ(z) >(1)其中：<, >为内积,K(x,z)为核函数。
从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。
根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。
采用核函数技术可以有效地解决这样问题。
设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n<<m。
根据核函数技术有：K(x,z) =<Φ(x),Φ(z) > (1)其中：<, >为内积,K(x,z)为核函数。
核函数
核函数(2010-12-23 23:08:30)分类：工作篇标签：校园高斯核函数所谓径向基函数(Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。
通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数, 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小。
高斯核函数 - 常用公式最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。
核函数简介（1）核函数发展历史早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。
而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。
（2）核函数方法原理根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。
采用核函数技术可以有效地解决这样问题。
设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n<<m。
根据核函数技术有：K(x,z) =<Φ(x),Φ(z) >(1)其中：<, >为内积,K(x,z)为核函数。
从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。
核函数的实现和应用
核函数的实现和应用核函数是一种优秀的机器学习算法，它可以将高维度数据通过非线性变换映射到低维度的子空间中，用来进行分类或回归。
简单来说，核函数就是一种基于向量内积的函数，可以应用于支持向量机（SVM）等机器学习算法中，使得分类器的性能更加优秀。
一、核函数的实现核函数的实现通常有两种方法：一种是通过数值计算来实现，这种方法适用于简单的核函数，例如径向基函数（RBF）核函数；另一种是通过显式地定义核函数来实现，这种方法适用于复杂的核函数，例如多项式核函数。
1. 数值计算法对于径向基函数核函数，其公式如下：K(x_i, x_j) = exp(-||x_i-x_j||^2/2sigma^2 )其中，x_i和x_j分别表示训练集中的两个样本，sigma为高斯核的带宽参数。
该公式可以通过数值计算来实现，具体步骤如下：（1）计算训练集样本之间的欧几里得距离。
（2）将欧几里得距离除以2sigma^2 。
（3）将结果取负值并进行指数运算。
（4）最终得到核函数的值。
2. 定义核函数法对于复杂的核函数，可以显式地将核函数定义出来，并直接应用到机器学习算法中。
例如，多项式核函数的定义如下：K(x_i, x_j) = (x_i^Tx_j + c)^d其中，c和d分别为常数，x_i和x_j分别表示训练集中的两个样本。
这种方法的优点是可以更容易地定义出多种复杂的核函数，缺点是实现时需要考虑到纬度的规模。
二、核函数的应用核函数在机器学习中有着广泛的应用，下面将具体介绍一些核函数在SVM等机器学习算法中的应用。
1. 线性核函数线性核函数是SVM最简单的核函数之一，其公式如下：K(x_i, x_j) = x_i^Tx_j这种核函数的主要优点是计算速度快、参数较少，且在数据集线性可分的情况下具有好的分类性能。
2. 多项式核函数K(x_i, x_j) = (x_i^Tx_j + c)^d其中，c和d分别为常数。
该核函数的优点在于其能够表达出非线性的分类决策边界，但是需要注意的是，该核函数容易产生过拟合现象。
核函数的性质及其构造方法
Space ,R KHS) ,记作 H 。根据定义 , k 满足
k ( x , x′) =〈k ( x , ·) , k ( x′, ·〉
定义特征映射
Φ∶X →H ,Φ( x) = k ( x , ·) 则 k ( x , x′) =〈Φ( x) ,Φ( x′) 〉。证毕 。
2. 2 核函数的基本性质
tion invariant and co nvolution kernels. By t hem , a lot of impo rtant kernel f unctions are const ructed so me of which are
co mmonly employed in p ractice.
x ∈S and x′∈S ot herwise
是 X ×X 上的核函数 ,称为 k 的零置换 。
证明 : k ( x , x′) = k ( x , x′) IS ×S ( x , x′) = IS ( x) k ( x , x′) IS
( x′) ,由定理 2. 1. 3 (2) , k ( x , x′) 是核函数 。证毕 。
摘 要 支持向量机是一项机器学习技术 ,发展至今近 10 年了 ,已经成功地用于模式识别 、回归估计以及聚类等 ,并 由此衍生出了核方法 。支持向量机由核函数与训练集完全刻画 。进一步提高支持向量机性能的关键 ,是针对给定的 问题设计恰当的核函数 ,这就要求对核函数本身有深刻了解 。本文首先分析了核函数的一些重要性质 ,接着对 3 类核 函数 ,即平移不变核函数 、旋转不变核函数和卷积核 ,提出了简单实用的判别准则 。在此基础上 ,验证和构造了很多重 要核函数 。 关键词 支持向量机 ,核函数 ,机器学习 ,核方法
核函数和函数序列的收敛性
核函数是定义在输 入空间与特征空间 之间的函数
核函数的选择会影 响到支持向量机的 性能
常用的核函数有线 性核函数、多项式 核函数和径向基函 数等
核函数的作用是将 输入空间映射到特 征空间，使得非线 性问题线性化
核函数的性质
核函数是定义在概率空间上的非负实函数，满足一定的积分性质 核函数具有正定性，即对于任意非负实数x和y，有K(x,y)≥0 核函数具有对称性，即对于任意x和y，有K(x,y)=K(y,x) 核函数具有归一性，即对于任意x，有∫K(x,y)dy=1
随着研究的深入，核函数和函数序列收敛性的理论将进一步完善，为实际应用提供更可靠的数学 基础。
未来，核函数和函数序列收敛性的研究有望在人工智能、机器学习等领域发挥重要作用，推动相 关领域的发展。
期待核函数和函数序列收敛性的研究能够为解决实际问题提供更多有效的数学工具和方法。
感谢观看
汇报人：XX
06
核函数和函数序列收敛性的研究展望
目前研究存在的问题和不足
核函数的性质和收敛性之间的关系尚不明确 对于函数序列的收敛性，缺乏有效的判别方法 对于不同类型函数序列的收敛性，研究不够深入 实际应用中，如何选择合适的核函数和函数序列仍需探讨
未来研究的方向和重点
深入研究核函数 的性质和收敛性， 探索其在不同领 域的应用。
单击此处添加副标题
核函数和函数序列的收敛
性
汇报人：XX
目录
01 02 03 04 05 06
添加目录项标题
核函数的定义和性质
函数序列的收敛性概念
核函数与函数序列收敛性的关系 核函数与函数序列收敛性的实例分
析 核函数和函数序列收敛性的研究展
望
01
添加目录项标题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
核函数理论§1 多项式空间和多项式核函数定义 1.1 (核或正定核) 设X 是n R 中的一个子集，称定义在X X ⨯上的函数),(z x K 是核函数，如果存在一个从X 到Hilbert 空间H 的映射ΦH x x ∈ΦΦ)(:α (1.1)使得对任意的X z x ∈,，))()((),(z x z x Φ⋅Φ=K (1.2)都成立。
其中)(⋅表示Hilbert 空间H 中的内积。
定义1.2 （d 阶多项式）设n T n R x x x x ∈=)][,,][,]([21Λ，则称乘积dj j j x x x ][][][21K 为x 的一个d 阶多项式，其中},,2,1{,,,21n j j j d K K ∈。
1. 有序齐次多项式空间考虑2维空间中（n R x ∈）的模式Tx x x )][,]([21=，其所有的2阶单项式为 21][x ，22][x ，21][][x x ，12][][x x (1.3)注意，在表达式(1.3)中，我们把21][][x x 和12][][x x 看成两个不同的单项式，所以称式（1.3）中的单项式为有序单项式。
这4个有序单项式张成的是一个4维特征空间，称为2阶有序齐次多项式空间，记为H 。
相应地可建立从原空间2R 到多项式空间H 的非线性映射H x x x x x x x C x x x C T T ∈==)][][,][][,][,]([)()][,]([:122122212212α (1.4) 同理，从n R 到d 阶有序齐次多项式空间H 的映射可表示为 H n j j j x x x x C x x x x C T d j j j d T n d d ∈∈==}),,2,1{,,,|][][]([)()][,,][,]([:212121K K K αK (1.5)这样的有序单项式d j j j x x x ][][][21K 的个数为d n ，即多项式空间H 的维数dH n n =。
如果在H 中进行内积运算)()(z C x C d d ⋅，当n 和d 都不太小时，多项式空间H 的维数d H n n =会相当大。
如当200=n ，5=d 时，维数可达到上亿维。
显然，在多项式空间H 中直接进行内积运算将会引起“维数灾难”问题，那么，如何处理这个问题呢？我们先来考查2==d n 的情况，计算多项式空间H 中两个向量的内积2121221212222212122)(][][][][][][][][][][][][))()((z x z z x x z z x x z x z x z C x C ⋅=+++=⋅ (1.6)若定义函数2)(),(z x z x ⋅=K (1.7)则有),())()((22z x z C x C K =⋅ (1.8)即4维多项式空间H 上的向量内积可以转化为原始2维空间上的向量内积的平方。
对于一般的从n R 到d 阶有序多项式空间H 的映射（1.5）也有类似的结论。
定理1.1 考虑由式（1.5）定义的从n R 到多项式空间H 的映射)(x C d ，则在空间H 上的内积))()((z C x C d d ⋅可表为 ),())()((z x z C x C d d K =⋅ (1.9)其中d z x z x )(),(⋅=K (1.10)证明：直接计算可得∑∑==⋅=⋅n j n j j j j j d d d d d z z x x z C x C 11111][][][][))()((K K K∑∑==⋅⋅=n j n j j j j j d d d z x z x 11111][][][][Kd d n j j j z x z x )()][][(1⋅=⋅=∑= (1.11)上述定理表明，我们并不需要在高维的多项式空间H 中直接做内积运算))()((z C x C d d ⋅， 而利用式（1.10)给出的输入空间n R 上的二元函数),(z x K 来计算高维多项式空间中的内积。
2. 有序多项式空间在式（1.5）定义的映射中，多项式空间H 的分量由所有的d 阶有序单项式组成。
如果把该多项式空间的分量扩充为所有不超过d 阶的有序单项式，便得到从nR 到有序多项式空间的映射~d C Td n j j j j d T n d n j j j x d x d x x d x x x C x x x x C d d }),,2,1{,,,|1,][,,][,,][][,][]([)()][,,][,]([:211~21~11K K K K K K αK ∈==(1.12)对于这个映射，我们有如下的定理：定理1.2 考虑有式（1.12）定义的从nR 到多项式空间H 的映射~d C ，则空间H 上的内积))()((~~z C x C d d ⋅可表为空间n R 上的内积)(z x ⋅的函数d z x )1)((+⋅，即若定义两个变量x 和z 的函数dz x z x )1)((),(+⋅=K (1.13)则有),())()((~~z x z C x C d d K =⋅ (1.14)上述有序多项式空间的一个简单的例子是αT x x x C )][,]([:21~2=T x x x x x x x x x C )1,][2,][2,][][,][][,][,]([)(2112212221~2=(1.15) 3. 无序多项式空间如果我们把式（1.4）中的21][][x x 和12][][x x 看作相同的单项式，那么我们就可以把从2R 到4维多项式空间H 的映射（1.4）简化为从2R 到3维多项式空间的映射TT x x x x x x )][][,][,]([)][]([21222121α (1.16) 将映射（1.16）调整为)][][2,][,]([)][,]([)(2122212122x x x x x x x =Φ=Φ (1.17) 则相应的多项式空间称为2阶无序多项式空间，并且有222)())()((z x z x ⋅=Φ⋅Φ (1.18)对式（1.5）所示的变换)(x C d 按下述方式操作：把)(x C d 中次序不同但因子相同的各分量合并为一个分量，并在该分量前增加一个系数，这个系数取为相应次序不同但因子相同的分量在)(x C d 中出现次数的平方根。
这样得到的从n R 到d 阶无序多项式空间的变换)(x d Φ仍满足关系式),())()((z x z x d d K =Φ⋅Φ (1.19)其中dz x z x )(),(⋅=K (1.20)根据定义1.1，我们称（1.13）和（1.20）分别为d 阶多项式核函数和d 阶齐次多项式核函数。
比较式（1.4）定义的变换)(2x C 和式（1.17）定义的)(2x Φ可以发现，它们所映射到的多项式空间是不同的。
前者是一个4维多项式空间，后者为一个3维多项式空间。
但是内积是相同的，它们都可以表示为内积的函数2)(),(z x z x ⋅=K 。
这说明：多项式空间不是由核函数唯一确定的。
§2 Mercer 核1.半正定矩阵的特征展开给定向量集合},,,{21l x x x X K =，其中l i R x n i ,,2,1,K =∈ 。
设),(z x K 是X X ⨯上的对称函数，我们定义l j i x x K G j i ij ,,2,1,),,(Λ== (1.21)则称)(ij G G =是),(z x K 关于X 的Gram 矩阵。
我们首先要研究的问题是：当Gram 矩阵G 满足什么条件时，函数),(⋅⋅K 是一个核函数。
定义 1.2 （矩阵算子）定义在l R 上的矩阵算子G ：对l T l R u u u u ∈=),,,(21K ，Gu的分量由下式确定l i u x x K Gu jlj j i i ,,2,1,),(][1K ==∑= (1.22) 定义1.3 （特征值和特征向量）考虑定义1.2给出的矩阵算子G 。
称R λ∈为它的特征值，并称v 为相应的特征向量，如果v Gv λ= 且v 0≠ (1.23)定义 1.4（半正定性） 考虑定义 1.2给出的矩阵算子G 。
称它是半正定的，如果对l T l R u u u u ∈=∀),,,(21K ，有0),(1,≥=∑=j i l j i j i Tu u x x K Gu u (1.24)引理 1.1 若定义1.2给出的矩阵算子G 是半正定的，则存在着l 个非负特征值t λ和互相正交的单位特征向量t v ，使得∑==l t tj ti t j i vv x x K 1),(λ, ,1,2,,i j m =K (1.25)证明： 由于G 是对称的，所以存在着正交矩阵),,,(21l v v v V Λ=和对角矩阵),,,(21l diag λλλΛ=Λ，使得TV V G Λ= (1.26)这里T tl t t t v v v v ),,,(21Λ=是矩阵G 的第t 个特征向量，它对应的特征值是t λ。
因为G 是半正定的，所以所有特征值均为非负数。
于是由（1.26）推知∑∑====l t tj ti t l t tjt ti j i v v v v x x K 11),(λλ (1.27)引理 1.2 若引理1.1的结论成立，则存在着从X 到l R 的映射Φ，使得l j i x x x x K j i j i ,,2,1,)),()((),(Λ=Φ⋅Φ= (1.28) 其中()⋅是特征空间l R 的内积。
因而),(⋅⋅K 是一个核函数。
证明： 定义映射l T li l i i i i R v v v x x ∈=ΦΦ),,,()(:2211λλλΛα (1.29) 直接验证可知引理1.2成立。
引理 1.3 若引理1.2的结论成立，则矩阵G 是半正定的。
证明： 设G 不是半正定的，则一定存在着与一个负特征值s λ相对应的单位特征向量s v 。
定义l R 中的向量zs l v x x x z )](,),(),([21ΦΦΦ=Λ (1.30)则有S S S S T S S l T l T S v Kv v v x x x x v z λλ===ΦΦΦΦ=≤2112)](,),([)](,),([0ΛΛ (1.31)显然，这与s λ是负特征值相矛盾。
因此K 必须是半正定的。
定理 1.3 设X 是有限集合},,,{21l x x x X K =，),(z x K 是定义在X X ⨯上的对称函数。
则由定义1.2给出的矩阵算子G 半正定，等价于),(⋅⋅K 可表示为∑==l t tj ti t j i v v x x K 1),(λ (1.32)其中0≥t λ是矩阵 lj i j i x x K G 1,)),((== (1.33)的特征值，T tl t t t v v v v ),,,(21Λ=为对应于t λ的特征向量，也等价于),(z x K 是一个核函数，即))()((),(j i j i x x x x K Φ⋅Φ=，其中映射Φ由式（1.29）定义。