5 非线性分类器
合集下载
模式识别课件 第五章p4
第五章非线性分类器Ø支持向量机5.5 支持向量机ØVapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。
其原理也从线性可分说起，然后扩展到线性不可分的情况。
甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机(Support Vector Machine，简称SVM)。
Ø支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论，但对多数人来说，以前学到的或常用的是约束条件为等式表示的方式，但在此要用到以不等式作为必须满足的条件，此时只要了解拉格朗日理论的有关结论就行。
5.5 支持向量机线性可分条件下的支持向量机最优分界面ØSVM的思想：由于两类别训练样本线性可分，因此在两个类别的样本集之间存在一个间隔。
对一个二维空间的问题用下图表示。
线性可分条件下的支持向量机最优分界面Ø其中H是将两类分开的分界面，而H1与H2与H平行，H是其平分面，H1上的样本是第一类样本到H最近距离的点，H2的点则是第二类样本距H的最近点。
5.5 支持向量机HH1H2线性可分条件下的支持向量机最优分界面Ø由于这两种样本点很特殊，处在间隔的边缘上，因此再附加一个圈表示。
这些点称为支持向量，它们决定了这个间隔。
HH 1H 25.5 支持向量机线性可分条件下的支持向量机最优分界面Ø从图上可以看出能把两类分开的分界面并不止H这一个，如果略改变H的方向，则根据H1、H2与H平行这一条件，H1、H2的方向也随之改变，这样一来，H1与H2之间的间隔(两条平行线的垂直距离)会发生改变。
Ø显然使H1与H2之间间隔最大的分界面H是最合理的选择，因此最大间隔准则就是支持向量机的最佳准则。
5.5 支持向量机5.5 支持向量机最佳线性分割线？高维空间？5.5 支持向量机寻找各自点所在的凸集中的最近点dc5.5 支持向量机最佳分割面dc5.5 支持向量机最优线性分离：最大化间隔最优分类超平面：它能够将训练样本没有错误的分开，并且两类训练样本中离超平面最近的样本与超平面之间的距离最大间隔（M a r g i n）：两类样本中离分类面最近的样本到分类面的距离间隔为了将这个准则具体化，需要用数学式子表达。
模式识别(5)
在使用上述方法得到一组超平面作为分段线性分类器的分 界面后，仅对交遇区的样本集进行性能检测有时不能发现 存在的问题，需要使用全体样本对其进行性能检验，观察 其能否对全体样本作出合理的划分？
分段线性分类器的检验决策规则
例：图中所示样本利用局部训练法产生了H1与H2两个 超平面，将整个特征空间划分成R1、R2与R3三个决策 域。
模式识别
第五章非线性判别函数
§5.1 引言
线性判别函数：简单、实用，但样本集线性 不可分时错误率可能较大
问题线性不可分：
噪声影响 问题本身
采用非线性分类器 改变特征，使线性可分
新特征 非线性变换
§5.1 引言
由于样本在特征空间分布的 复杂性，许多情况下采用线 性判别函数不能取得满意的 分类效果。－非线性判别函 数 例如右图所示两类物体在二
§5.2基于距离的分段线性判别函数
❖例：未知x,如图：
❖先与ω1类各子类的均值比较，即 x m1l ，找一
个最近的 g1(x) x m12 与ω2各子类均值比较取
最近的 g2 (x) x m23 因g2(x)< g1(x) ，所以
x∈ω2类 。
m11
11
1 m12 2
22
m22 x
2 m12 1
具体做法往往是利用处于最紧贴边界的紧互对原型 对产生一初始分界面，然后利用交遇区进行调整， 这种调整属于局部性的调整。
局部训练法
具体步骤：
步骤一： 产生初始决策面
首先由紧互对原型对集合中最近的一对， 产生一个初
始决策面的方程。例如可由这两个原型的垂直平分平面作
为初始分界面，表示成H1； 步骤二： 初始决策面最佳化
这种方法要解决的几个问题是：
分段线性分类器的检验决策规则
例：图中所示样本利用局部训练法产生了H1与H2两个 超平面，将整个特征空间划分成R1、R2与R3三个决策 域。
模式识别
第五章非线性判别函数
§5.1 引言
线性判别函数：简单、实用，但样本集线性 不可分时错误率可能较大
问题线性不可分：
噪声影响 问题本身
采用非线性分类器 改变特征，使线性可分
新特征 非线性变换
§5.1 引言
由于样本在特征空间分布的 复杂性，许多情况下采用线 性判别函数不能取得满意的 分类效果。－非线性判别函 数 例如右图所示两类物体在二
§5.2基于距离的分段线性判别函数
❖例：未知x,如图：
❖先与ω1类各子类的均值比较，即 x m1l ，找一
个最近的 g1(x) x m12 与ω2各子类均值比较取
最近的 g2 (x) x m23 因g2(x)< g1(x) ，所以
x∈ω2类 。
m11
11
1 m12 2
22
m22 x
2 m12 1
具体做法往往是利用处于最紧贴边界的紧互对原型 对产生一初始分界面，然后利用交遇区进行调整， 这种调整属于局部性的调整。
局部训练法
具体步骤：
步骤一： 产生初始决策面
首先由紧互对原型对集合中最近的一对， 产生一个初
始决策面的方程。例如可由这两个原型的垂直平分平面作
为初始分界面，表示成H1； 步骤二： 初始决策面最佳化
这种方法要解决的几个问题是：
模式识别6-非线性分类器-第一讲
x1 0 0 1 1
x2 0 1 0 1
AND 0 0 0 1
Class B B B A
x1 0 0 1
x2 0 1 0
OR 0 1 1
Class B A A
1
1
1
A
5
Introduction
The XOR problem
x1 0 x2 0 OR 0 Class B
0
1 1
1
0 1
1
1 1
A
A A
Expand in terms of the number of layers Adopted principle: decomposition of the problem into smaller Expand in terms of the number of their nodes(neurons)---- use one problems that are easier to handle or two hidden layers For each smaller problem, single node is employed. Allow conncetions betweenaodes of nonsuccessive layers Allow conncections between nodes of the same layer Their parameters are determined • iteratively using appropriate learning algorihms, such as the pocket algorihms or the LMS algorithm • Directly via analytical computations
第四章+线性和非线性分类器
第 4 章 线性和非线性分类器的设计
线性判别函数的概念
线性分类器的设计：梯度法、感知器
法、MSE准则、Fisher准则
非线性分类器的设计
引言：
本章讲述另一种重要的分类器设计方法：判别函数法。 包括线性判别函数法和非线性判别函数法；
它不需要关于样本的统计分布的资料，而是利用样本 集直接设计分类器；
由于决策域的分界面是数学表达式，如线性或非线性 函数，所以它的主要思想是：确定分界面函数的类型即 判别函数类，再根据样本集确定函数的未知参数，从而 完成分类器的设计；
采用线性判别函数所产生的错误率或风险虽然比Bayes 分类器要大，但是线性判别简单、易实现、且需要的计 算量和存储量小，所以线性判别函数是统计模式识别的 基本方法之一，也是实际中最常用的方法之一。
其中， W
(w1, w2 ,...., wd )T 称为加权向量。
T 称为增广模式。 X ( x1, x2 ,...., xd ,1)，
另外一种表示方法： 令：
T W (w1, w2 ,...., wd , wd 1 )，称为增广加权向量。
则有：
g ( x) W T X
线性判别函数的性质
1、两类情况：
0, 训练时： d ( X ) W T X 0, （X个数多） 0, 识别时： 若d ( X ) W T X 0, 若X 1 若X 2
则X 1 则X 2
） （= 0是不可判别情况，可以 X 1或X 2或拒绝 2、多类情况： 1 、 2 、 …… 、 M ，有三种划分方式： 模式可为M类，
x2
x1
x1
2. 判决函数 d ( X ) 的系数。用所给的模式样本确定。
线性判别函数的概念
线性分类器的设计：梯度法、感知器
法、MSE准则、Fisher准则
非线性分类器的设计
引言：
本章讲述另一种重要的分类器设计方法：判别函数法。 包括线性判别函数法和非线性判别函数法；
它不需要关于样本的统计分布的资料，而是利用样本 集直接设计分类器；
由于决策域的分界面是数学表达式，如线性或非线性 函数，所以它的主要思想是：确定分界面函数的类型即 判别函数类，再根据样本集确定函数的未知参数，从而 完成分类器的设计；
采用线性判别函数所产生的错误率或风险虽然比Bayes 分类器要大，但是线性判别简单、易实现、且需要的计 算量和存储量小，所以线性判别函数是统计模式识别的 基本方法之一，也是实际中最常用的方法之一。
其中， W
(w1, w2 ,...., wd )T 称为加权向量。
T 称为增广模式。 X ( x1, x2 ,...., xd ,1)，
另外一种表示方法： 令：
T W (w1, w2 ,...., wd , wd 1 )，称为增广加权向量。
则有：
g ( x) W T X
线性判别函数的性质
1、两类情况：
0, 训练时： d ( X ) W T X 0, （X个数多） 0, 识别时： 若d ( X ) W T X 0, 若X 1 若X 2
则X 1 则X 2
） （= 0是不可判别情况，可以 X 1或X 2或拒绝 2、多类情况： 1 、 2 、 …… 、 M ，有三种划分方式： 模式可为M类，
x2
x1
x1
2. 判决函数 d ( X ) 的系数。用所给的模式样本确定。
模式识别——非线性分类器
1st phase x1 0 x2 0 y1 0(-) y2 0(-)
2nd phase B(0)
x y [ y1, y2 ]T
0
1 1
1
0 1
1(+)
1(+) 1(+)
0(-)
0(-) 1(+)
A(1)
A(1)
3 B(0)
决策在变换后的数据 y 域进行: 可以再划一条线，将两类分开， 该线用一个感知器实现。 阶段1实现了一个映射，将线性 不可分问题转化为线性可分问题。 神经网络的结构如下图所示。
• 阶段1 划两条线（超平面）
g1 ( x ) g 2 ( x ) 0
每条线由一个感知器实现 0 gi ( x ) 0 yi f ( gi ( x )) i 1, 2 1 gi ( x ) 0
• 阶段2 根据 y1, y2 的值确定 x 相 对两条线的位置
等价地: 阶段1 实现如下影射
误差反向传播算法
迭代计算连接权值的算法程序，使代价函数最小化
5
优化过程需要计算导数，不连续的激活函数存在问题 1 x 0 f ( x) 0 x 0 可以采用下面的连续函数近似，也可以采用其他函数
1 f ( x) 1 exp(ax)
函数中的 a 决定了函 数的近似程度。
有两种训练方法 批量训练方法：所有 样本一起计算误差， 统一调节权值 单样本训练方法：每 个样本误差调节一次 权值
6
7
主要问题: 算法可能收敛到局部极小值
8
过拟合问题网络把噪声的信息也学来了，推广能力差
9
广义线性判别函数
回忆异或问题，映射
f ( g1 ( x )) x y f ( g2 ( x ))
非线性分类器及神经网络
三个神经元决策线的方程
1 0 2 3 g 2 ( x ) x1 x 2 0 2 1 g3 ( y ) y1 y 2 0 2 y g1 ( x ) x1 x 2
2
2. 两层感知器分类能力 ⑴隐层神经元： • d 维, 隐层有p个神经元，其作用是将输入X空 间映射到p维Y空间中单位边长的超立方体顶点 yi上，即输入空间到超立方体顶点的映射是通 过创建p个(gi=0)超平面实现的。 p维空间： {[ y1 ,, y p ]T R p , yi [0,1], 1 i p}
• 隐层作用，也可说是产生超平 面Hp的交集，即将输入拆分为 由超平面交集构成的多面体。 每个超平面由隐层中的一个神 经元实现，神经元输出为0或1。
d
• 设d=2， p=3。根据输入x与三个平面g1,2,3(x)=0 的相对位置，由平面交集定义的每个区域对应 的三维立方体的一个顶点。如100顶点对应的 区域为g1的(+)侧, g2的(-)侧, g3的(-)侧。 • 即将输入拆分为由超平面交集构成的多面体。 每个区域中所有向量映射到立方体(y1 y2 y3)的顶 点, yi∈0或1。 w1∈[011,001, 000]； y w2∈[111,010,110,100]。
• 三层网络可以实现任何复杂类型的映射。可以 证明，由于在分类空间中超立方体的凸性，对 于无论多么复杂的分类问题，一般来说用两个 隐层已足够。 • 图a单层感知器只能一个线性判别；图b两层感 知器中每个隐层神经元都有线性判别能力，就 可建立复杂的凸区域；图c三层感知器的前二 层已得到了超体立方，在第三层再次建立超平 面划分区域。 • 多层感知器简称 MLP。 Multi-Layer-Perceptron
二、二次判别函数 • 决策面较复杂，是二次曲面，包括超球面、超 椭球面、超双曲面等。其判别函数
PR 第五章 非线性分类
三个要素：
神经元的计算特性（传递函数）
网络的结构（连接形式）
学习规则
h
8
三要素的不同形成了各种各样的神经网模型
基本可分为三大类：
前馈网络
以MLP为代表
反馈网络
以Hopfield网为代表
自组织网络（竞争学习网络） 以SOM为代表
基本的神经元模型 McCulloch-Pitts Model
样k i本到类均值的Mahalanobis距离的平方与
阈值的比较
h
5
两类的决策面方程：
g1(x)g2(x)
决策规则：
0 g1(x)g2(x)0
x1 x2
h
6
5.4 多层感知器神经网络
5.4.1 神经元与感知器 神经元（neuron）：细胞体（cell）、树突
（dentrite）、轴突（axon）、突触（synapses） 神经元的作用：加工、传递信息（电脉冲信号） 神经系统：神经网：大量神经元的复杂连接
三层网（两个隐层）可实现任意形状（连续或不 连续）区域划分。
问题：如何找到这样的网络结构？权值如何 确定？
反向传播算法----BP算法（Back Propagation Algorithm）
h
13
BP算法：LeCun, 1986; Rumelhart, Hinton & Williams, 1986; Parker, 1985
过学习（over-fitting）与欠学习（under-fitting） 问题
样本数与网络结构问题
隐层节点数目：
根据具体问题进行试探选择：例 隐结点数目小于输入 维数
据对问题的先验知识去精心地设计隐层节点的层数和 节点数目：例
用算法来推测适当的隐层节点数目：例
神经元的计算特性（传递函数）
网络的结构（连接形式）
学习规则
h
8
三要素的不同形成了各种各样的神经网模型
基本可分为三大类：
前馈网络
以MLP为代表
反馈网络
以Hopfield网为代表
自组织网络（竞争学习网络） 以SOM为代表
基本的神经元模型 McCulloch-Pitts Model
样k i本到类均值的Mahalanobis距离的平方与
阈值的比较
h
5
两类的决策面方程：
g1(x)g2(x)
决策规则：
0 g1(x)g2(x)0
x1 x2
h
6
5.4 多层感知器神经网络
5.4.1 神经元与感知器 神经元（neuron）：细胞体（cell）、树突
（dentrite）、轴突（axon）、突触（synapses） 神经元的作用：加工、传递信息（电脉冲信号） 神经系统：神经网：大量神经元的复杂连接
三层网（两个隐层）可实现任意形状（连续或不 连续）区域划分。
问题：如何找到这样的网络结构？权值如何 确定？
反向传播算法----BP算法（Back Propagation Algorithm）
h
13
BP算法：LeCun, 1986; Rumelhart, Hinton & Williams, 1986; Parker, 1985
过学习（over-fitting）与欠学习（under-fitting） 问题
样本数与网络结构问题
隐层节点数目：
根据具体问题进行试探选择：例 隐结点数目小于输入 维数
据对问题的先验知识去精心地设计隐层节点的层数和 节点数目：例
用算法来推测适当的隐层节点数目：例
非线性分类器课件
秀。
决策 树
决策树是一种基于树结构的分 类方法，它通过递归地将数据 集划分为更纯的子集来工作。
对于非线性问题，决策树可以 通过构建多级节点来逼近任意 非线性决策边界。
决策树具有直观易懂、易于解 释的优点，但也可能存在过拟 合和鲁棒性较差的问题。
神经网络
神经网络是一种模拟人脑神经元结构的计算模型，通过训练来学习和识别数据中的 模式。
贝叶斯分类器具有简单、易于理 解和实现的优势，但在处理大规
模高维数据时可能效率较低。
集成学 习
集成学习是一种通过构建多个模型并 将它们的预测结果进行融合来提高分 类性能的方法。
集成学习具有较好的泛化性能和鲁棒 性，但也可能存在计算复杂度较高、 模型选择困难等问题。
对于非线性问题，集成学习可以通过 构建多个非线性分类器并将它们的预 测结果进行综合来提高分类性能。
召回率与F1分数
总结词
召回率也称为查全率，表示分类器真正 识别出的正样本占所有正样本的比例； F1分数是准确率和召回率的调和平均数， 综合考虑了分类器的精度和召回率。
VS
详细描述
对于某些应用场景，如欺诈检测或异常值 检测，召回率可能比准确率更重要。高F1 分数意味着分类器在精度和召回率方面都 表现良好。
非线性分类器的主要方法
支持向量机
支持向量机（SVM）是一种基 于统计学习理论的分类方法，它 通过找到一个超平面来分隔两个
类别的数据。
SVM对于非线性问题，通过使 用核函数将数据映射到更高维空 间，然后在高维空间中找到分隔
超平面。
支持向量机具有较好的泛化性能 和鲁棒性，尤其在处理小样本、 高维数和局部极值问题时表现优
类别平衡
对于类别不平衡的数据集，可以采用过采样、欠采样、SMOTE等方法来平衡类 别分布。
决策 树
决策树是一种基于树结构的分 类方法，它通过递归地将数据 集划分为更纯的子集来工作。
对于非线性问题，决策树可以 通过构建多级节点来逼近任意 非线性决策边界。
决策树具有直观易懂、易于解 释的优点，但也可能存在过拟 合和鲁棒性较差的问题。
神经网络
神经网络是一种模拟人脑神经元结构的计算模型，通过训练来学习和识别数据中的 模式。
贝叶斯分类器具有简单、易于理 解和实现的优势，但在处理大规
模高维数据时可能效率较低。
集成学 习
集成学习是一种通过构建多个模型并 将它们的预测结果进行融合来提高分 类性能的方法。
集成学习具有较好的泛化性能和鲁棒 性，但也可能存在计算复杂度较高、 模型选择困难等问题。
对于非线性问题，集成学习可以通过 构建多个非线性分类器并将它们的预 测结果进行综合来提高分类性能。
召回率与F1分数
总结词
召回率也称为查全率，表示分类器真正 识别出的正样本占所有正样本的比例； F1分数是准确率和召回率的调和平均数， 综合考虑了分类器的精度和召回率。
VS
详细描述
对于某些应用场景，如欺诈检测或异常值 检测，召回率可能比准确率更重要。高F1 分数意味着分类器在精度和召回率方面都 表现良好。
非线性分类器的主要方法
支持向量机
支持向量机（SVM）是一种基 于统计学习理论的分类方法，它 通过找到一个超平面来分隔两个
类别的数据。
SVM对于非线性问题，通过使 用核函数将数据映射到更高维空 间，然后在高维空间中找到分隔
超平面。
支持向量机具有较好的泛化性能 和鲁棒性，尤其在处理小样本、 高维数和局部极值问题时表现优
类别平衡
对于类别不平衡的数据集，可以采用过采样、欠采样、SMOTE等方法来平衡类 别分布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
把各类划分成适当的子类 在多个子类之间构建线性判别函数 各段合并成分段线性判别函数
5.2.1 分段线性距离分类器
最小距离分类器
严格条件：正态分布、先验概率相等、各维特征独立且方差 相当 两类均值之间连线的垂直平分面（超平面） 适用条件：各类数据单峰分布、各维分布基本对称、先验概 率基本相同 模板匹配：代表点，归为最相似模板所在的类 把每类划分成若干子类、单峰分布、各维对称 利用多类的最小距离分类器：与子类比较、分到最近子类所 属的类 多段超平面
多层感知器模型
5.4.1 神经元与感知器
神经元、神经系统的基本组成单位 神经元构成示意图 神经元工作过程与数学模型 与感知器的关系
5.4.2 用多个感知器实现非线性分类
单个感知器神经元能够完成线性可分数据的分 类问题 多个神经元分层组合解决复杂的分类问题
5.4.3 采用反向传播算法的多层感知器
分段线性距离分类器
数学表示
5.2.2 一般的分段线性判别函数
对每个子类建立更一般形式的线性判别函数
子类划分 子类的线性判别函数 各类的判别函数利用其子类的判别函数来表示
分段线性判别函数的设计等同与多类分类器的 设计 子类的划分方法
5.3 二次判别函数
一般正态分布的贝叶斯决策面是二次函数 参数化的方法估计二次判别函数
5.4.7 人工神经网络的一般知识
神经网络模型的三种类型
前馈型：单向网络连接，如多层感知器 反馈型：Hopfield网络 竞争学习型：神经元节点通常排列在同一层次上
5.5 支持向量机
构造非线性的支持向量机 非线性高维问题的处理思路
5.5.1 广义线性判别函数
考虑如下分类问题
b a x
5.2 分段线性判别函数
线性判别函数，一个显著的优点是：算法简单 和具有“学习”的能力，即给定已知类别标志 的样本集，能够根据样本“学习”，自动找到 线性分界面 是在容许一定的错误率时的一种“有限合理性” 的选择 在线性分类器的基础上，用分段线性分类器可 以实现更复杂的分类面
2
1
为解决比较复杂的线性不可分样本分类问题， 提出非线性判别函数
g (x) a T y
2
a
i 1
3
i
yi
称为广义线性判别函数 可推广至任意高次，变为Y空间的线性分类 维数太高不利于处理，“维数灾难”
5.5.2 核函数变换与支持向量机
引入特征变换将原空间的非线性问题转化成新 空间中的线性问题
无须直接计算复杂的非线性变换
非线性变换高维空间的线性支持向量机通过核 函数在原空间进行求解，避免高维计算 支持向量机的最主要特点是能够在样本相对较 少、特征维数高的情况下取得很好的推广能力
5.4.4 多层感知器用于模式识别
具有通用非线性函数逼近器的性质 “黑盒子”特点 解决模式识别的一般做法
两类问题 多类问题 特征预处理
5.4.5 神经网络结构的选择
神经网络三要素
神经元传递函数 网络结构 权值学习算法 输入层节点数取样本特征维数 输出层节点根据待识类别数确定 主要问题是隐层节点数的确定
多层感知器网络的学习算法 神经元的阈值函数采用Sigmoid函数 多层网络的构成
输入层 隐层 输出层
目标函数是神经网络在所有训练样本上的预测输出与期望输 出的均方误差，采用梯度下降法通过调整各层的权证求目标 函数最小化 误差反向传播到各隐层节点对中间各层的权值进行学习 BP网络
BP算法
5.6 核函数机器
借鉴支持向量机的核心思想
通过最大化分类间隔保证推广能力 通过核函数定义的内积函数间接地实现对特征的非 线性变换，用变换空间中的线性问题来求解原空间 中的非线性问题 如果原方法能表述成之涉及样本内积计算的形式， 可通过采用核函数内积实现非线性变换，通过引入 适当的间隔约束来控制非线性机器的推广能力
核函数方法，传统线性方法的发展
超曲面，非线性判别函数计算复杂，实际应用上受 到较大的限制
解决问题比较简便的方法是采用多个线性分界 面，将它们分段连接，用分段线性判别划分去 逼近分界的超曲面
由于各段都是超平面，有可能利用已知的线性判别 函数来解决分类问题
由若干超平面组成，可以较好地逼近分类的超曲面， 从而减少分类错误
基本做法
能否用线性分类器解决该划分问题？ 线性分类不适应非凸决策区域和多联通区域的划分 考虑二次函数 g ( x ) ( x a )( x b ) ，正负对
决策问题是对x轴的划分 判别函数正负对应不同类别，非指抛物线内外
广义线性表示
改变表示形式
g ( x ) c 0 c1 x c 2 x
常用三层网络
5.4.6 与传统模式识别方法的关系
神经网络方法与传统模式识别方法在某些方面 是等价的
单层感知器模型就是一种采用感知准则函数的线性 判别函数，多层感知器是非线性推广 很多情况下，多层感知器的输出可以看作是对贝叶 斯后验概率的估计
当训练样本无穷多时，BP算法的目标函数等价于神经网 络输出与样本后验概率的均方误差，其最小化得到的网络 输出就是对样本后验概率的最小均方误差估计
正态分布、判别函数是样本到均值马氏距离的平方 与固定阈值的比较
5.4 多层感知器神经网络
模式识别是一种基本的智能活动 智能研究的两个出发点 人工神经网络
根据对自然神经系统构造和机理的认识，神经系统 是由大量的神经细胞构成的复杂的网络，对这一网 络建立一定的数学模型和算法，设法使它能够实现 诸如基于数据的模式识别、函数映射等带有“智能” 的功能 能从训练数据中学习任意复杂的非线性映射，包括 实现复杂的非线性分类判别函数
第5章 非线性分类器
5.1 引言 5.2 分段线性判别函数 5.3 二次判别函数 5.4 多层感知器神经网络 5.5 支持向量机 5.6 核函数机器
5.1 引言
类别之间的分类边界在很多情况下不是线性的
正态分布、分类面是二次函数 很多实际问题更复杂
非线性判别函数指除线性函数外的各种判别函 数，设计方法多样