[课件]RBF神经网络的实现过程PPT
合集下载
人工神经网络理论与应用 第6章 RBF神经网络
。
，int(x)表示对x进行取整运 算。因此经过S1个样本之后，学习速率逐渐减至零。
• (4)判断聚类质量。
• 当满足
• 时，聚类结束，否则转到第(2)步。
14
2. 有监督学习阶段
• 确定好隐含层的参数后，利用最小二乘法原则求出隐含 层到输出层的连接权wki。
• 当ci确定以后，训练隐含层至输出层之间的连接权值， 由于输出层传递函数使用的是线性函数，则求连接权值
2
• RBF神经网络的结构与多层前向网络类似，是一种具有 单隐层的三层前向神经网络。输入层由信号源节点组成， 隐含层是单神经元层，但神经元数可视所描述问题的需 要而定，输出层对输入的作用作出响应。从输入层空间 到隐含层空间的变换是非线性的，而从隐含层空间到输 出层空间的变换是线性的。隐含层神经元的变换函数是 RBF，它是一种局部分布的中心径向对称衰减的非负非 线性函数。
• 输出层传递函数采用线性函数，隐含层到输出层的信号
传递实现了y1(x)→y2的线性映射，即
•
式
中
，
y
i
1
是
第
i个
隐
节点的
输
出
，
y
2 i
是
第k个隐
节
点
的输
出
，
w
k
2 i
是
隐
含
层
到
输
出
层
的
加
权
系
数
，Байду номын сангаас
b
2 k
是
隐
含
层
的
阈值。
11
6.3 RBF神经网络算法
• 假设RBF神经网络有N个训练样本，则系统对所有N个 训练样本的总误差函数为
基于RBF神经网络的人脸识别研究PPT课件
其中， 为平均人脸，即所有训练样本的均值
2020/11/12
7
⑵ 计算矩阵 L AT A的特征值 i 和特征向 量 v i ，则矩阵C的特征向量为 i Avi ，特 征值仍为 i 。
⑶ 计算得到的C的所有特征向量1,2, ,N 是按特征值 1,2, ,N从大到小排列的正 规化特征向量。若要求PCA变换后的数据 降为k维，则选取特征值最大的k个特征向 量构造特征空间 U1,2, ,k。
2020/11/12
6
设人脸图像样本的总数为N，每个人脸图
图像样本的大小为 mn ，所有样本可以用
一个 MN(Mmn) 的矩阵来表示：
X(X1,X2 ,XN)
其中，每个列向量代表一个人脸样本。 PCA的算法步骤如下：
⑴ 构造所有训练样本的协方差矩阵
CN 1iN 1(Xi)(Xi)TA A T
2020/11/12
5
二 人脸特征提取
本文采用主成分分析和Fisher线性鉴别 进行特征提取。
主成分分析法（Principal Component Analysis） PCA的基础是K-L变换，这是以一种常用
的正交变换，是最小均方误差下的最优维数 据压缩技术，可以将高维度的人脸图像资料 压缩。由于正交，因此提取的特征之间互不 相关。
11
FLD的目的是找到使 Sb SW 最大化的投影 W o p t
W opt argm axW W T T S SW bW Ww 1,w 2, ,w c1
上式可以看成以下特征值问题：
S b w iiS W w i i 1 ,2 , c 1
即
i
和w
i
分别为矩阵
S
w
1
S
b
的特征值和特
2020/11/12
7
⑵ 计算矩阵 L AT A的特征值 i 和特征向 量 v i ，则矩阵C的特征向量为 i Avi ，特 征值仍为 i 。
⑶ 计算得到的C的所有特征向量1,2, ,N 是按特征值 1,2, ,N从大到小排列的正 规化特征向量。若要求PCA变换后的数据 降为k维，则选取特征值最大的k个特征向 量构造特征空间 U1,2, ,k。
2020/11/12
6
设人脸图像样本的总数为N，每个人脸图
图像样本的大小为 mn ，所有样本可以用
一个 MN(Mmn) 的矩阵来表示：
X(X1,X2 ,XN)
其中，每个列向量代表一个人脸样本。 PCA的算法步骤如下：
⑴ 构造所有训练样本的协方差矩阵
CN 1iN 1(Xi)(Xi)TA A T
2020/11/12
5
二 人脸特征提取
本文采用主成分分析和Fisher线性鉴别 进行特征提取。
主成分分析法（Principal Component Analysis） PCA的基础是K-L变换，这是以一种常用
的正交变换，是最小均方误差下的最优维数 据压缩技术，可以将高维度的人脸图像资料 压缩。由于正交，因此提取的特征之间互不 相关。
11
FLD的目的是找到使 Sb SW 最大化的投影 W o p t
W opt argm axW W T T S SW bW Ww 1,w 2, ,w c1
上式可以看成以下特征值问题：
S b w iiS W w i i 1 ,2 , c 1
即
i
和w
i
分别为矩阵
S
w
1
S
b
的特征值和特
第8章基于数学原理的神经网络.ppt
17
2、 广义RBF网络
由于正则化网络的训练样本与“基函数”是一一对应 的。当样本数P很大时，实现网络的计算量将大得惊人。 为解决这一问题，可减少隐节点的个数，即
N< M< P
N为样本维数， P为样本个数，从而得到广义RBF网络。
18
广义RBF网络的基本思想是： 用径向基函数作为非线性变换函数，构成 隐层空间。隐层对输入向量进行变换，将低维 输入空间的模式变换到高维隐层空间内，使得 在低维空间中线性不可分问题在高维空间中变 得线性可分。
21
3、 广义RBF网络设计方法
根据数据中心的取值方法，RBF网的设计方法可 分为两类。
第一类方法：数据中心从样本输人中选取。一般来说，样 本密集的地方中心点可以适当多些，样本稀疏的地方中心点可 以少些；若数据本身是均匀分布的，中心点也可以均匀分布， 总之，选出的数据中心应具有代表性。
Green函数的一个重要例子是多元Gauss函数，定
义为
G(
X
,
Байду номын сангаас
X
p
)
exp
1
2
2 p
X
X
p
2
11
G(X,X1)
y1
∑
x1
G(X,X2)
y2
x2
∑
xN
G(X,XP)
…
∑ yl
正则化RBF网络
12
2、RBF网络常用学习算法
当采用正则化RBP网络结构时，隐节点数即样本数， 基函数的数据中心即为样本本身，参数设计只需考虑扩展 常数和输出节点的权值。
p 1
P
w p ( X 2 X p ) d 2
p 1
径向基函数（RBF）神经网络
径向基函数（RBF）神经⽹络RBF⽹络能够逼近任意的⾮线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能⼒，并有很快的学习收敛速度，已成功应⽤于⾮线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。
简单说明⼀下为什么RBF⽹络学习收敛得⽐较快。
当⽹络的⼀个或多个可调参数（权值或阈值）对任何⼀个输出都有影响时，这样的⽹络称为全局逼近⽹络。
由于对于每次输⼊，⽹络上的每⼀个权值都要调整，从⽽导致全局逼近⽹络的学习速度很慢。
BP⽹络就是⼀个典型的例⼦。
如果对于输⼊空间的某个局部区域只有少数⼏个连接权值影响输出，则该⽹络称为局部逼近⽹络。
常见的局部逼近⽹络有RBF⽹络、⼩脑模型（CMAC）⽹络、B样条⽹络等。
径向基函数解决插值问题完全内插法要求插值函数经过每个样本点，即。
样本点总共有P个。
RBF的⽅法是要选择P个基函数，每个基函数对应⼀个训练数据，各基函数形式为，由于距离是径向同性的，因此称为径向基函数。
||X-X p||表⽰差向量的模，或者叫2范数。
基于为径向基函数的插值函数为：输⼊X是个m维的向量，样本容量为P，P>m。
可以看到输⼊数据点X p是径向基函数φp的中⼼。
隐藏层的作⽤是把向量从低维m映射到⾼维P，低维线性不可分的情况到⾼维就线性可分了。
将插值条件代⼊：写成向量的形式为，显然Φ是个规模这P对称矩阵，且与X的维度⽆关，当Φ可逆时，有。
对于⼀⼤类函数，当输⼊的X各不相同时，Φ就是可逆的。
下⾯的⼏个函数就属于这“⼀⼤类”函数：1）Gauss（⾼斯）函数2）Reflected Sigmoidal（反常S型）函数3）Inverse multiquadrics（拟多⼆次）函数σ称为径向基函数的扩展常数，它反应了函数图像的宽度，σ越⼩，宽度越窄，函数越具有选择性。
完全内插存在⼀些问题：1）插值曲⾯必须经过所有样本点，当样本中包含噪声时，神经⽹络将拟合出⼀个错误的曲⾯，从⽽使泛化能⼒下降。
RBF网络应用—逼近非线性函数 神经网络控制课件(第三版)
例 2-6-5 M 高斯RBF网络应用 逼近非线性函数
1
RBF网络应用—逼近非线性函数
Matlab程序
m265a.m
4
RBF网络应用—逼近非线性函数
m265a.m执行结果
构造3个高斯RBF
5
RBF网络应用—逼近非线性函数
m265a.m执行结果
构造非线性函数d=f(u)
6
RBF网络应用—逼近非线性函数
12
RBF网络应用—逼近非线性函数
m265b.m执行结果
网络输出
13
RBF网络应用—逼近非线性函数
m265b.m执行结果
非线性函数d(o) 、网络输出y(*)
14
RBF网络应用—逼近非线性函数
m265b.m执行结果
与m265a.m 执行 结果 比较： 相同
非线性函数d(o) 、网络输出y(*)
m265a.m执行结果
设计的网络输出 y逼近d=f(u)
7
RBF网络应用—逼近非线性函数
m265a.m执行结果
Command Window:
w1 = 0.7000
-1.7000
2.1000
-0.1000
2.7000
-1.4000
3.0000
b1 = 26
1. 设计的RBFNN结构。 2. RBFNN的所有参数。 由m265b.m程序，仿真N1,7,1 逼近非线性函数d=f(u)的过程。
10
RBF网络应用—逼近非线性函数
m265b.m执行结果
7个隐层节点的输出
11
RBF网络应用—逼近非线性函数
m265b.m执行结果
7个隐层节点输出的加权、网络输出
15
RBF网络应用—逼近非线性函数
1
RBF网络应用—逼近非线性函数
Matlab程序
m265a.m
4
RBF网络应用—逼近非线性函数
m265a.m执行结果
构造3个高斯RBF
5
RBF网络应用—逼近非线性函数
m265a.m执行结果
构造非线性函数d=f(u)
6
RBF网络应用—逼近非线性函数
12
RBF网络应用—逼近非线性函数
m265b.m执行结果
网络输出
13
RBF网络应用—逼近非线性函数
m265b.m执行结果
非线性函数d(o) 、网络输出y(*)
14
RBF网络应用—逼近非线性函数
m265b.m执行结果
与m265a.m 执行 结果 比较： 相同
非线性函数d(o) 、网络输出y(*)
m265a.m执行结果
设计的网络输出 y逼近d=f(u)
7
RBF网络应用—逼近非线性函数
m265a.m执行结果
Command Window:
w1 = 0.7000
-1.7000
2.1000
-0.1000
2.7000
-1.4000
3.0000
b1 = 26
1. 设计的RBFNN结构。 2. RBFNN的所有参数。 由m265b.m程序，仿真N1,7,1 逼近非线性函数d=f(u)的过程。
10
RBF网络应用—逼近非线性函数
m265b.m执行结果
7个隐层节点的输出
11
RBF网络应用—逼近非线性函数
m265b.m执行结果
7个隐层节点输出的加权、网络输出
15
RBF网络应用—逼近非线性函数
RBF神经网络
的权向量为：W = [w , w
1
b j为节点的基宽度参数 ， 且为大于零的数 。 网络 为节点的基宽度参数， 且为大于零的数。
2
⋯wj ⋯wm ]
k时刻网络的输出为： 时刻网络的输出为：
y m ( k )=wh = w1h1+w 2 h2+ ⋯⋯ +w m hm
设理想输出为y(k)， 设理想输出为y(k)，则性能指标函数为：
∂y (k ) ∂ym (k ) ≈ = ∂u (k ) ∂u (k )
m
∑w h
j =1
c1 j − x1 b2 j
j j
其中取 x1 = u(k) 。
6 RBF网络逼近仿真实例 RBF网络逼近仿真实例
使用RBF网络逼近下列对象：
y (k ) = u (k ) +
3
y ( k − 1) 1 + y ( k − 1)
Ii
wij
I
j
I1
. . .
R1
. . .
. .u .
u ..
R
j
. . .
1
1
.
V1
C1
. . .
j
j
.
Vj
.
u ..
Cj
i
i
.V
i
Ri
.
Ci
Hopfield网络模型 Hopfield网络模型
RBF神经网络 RBF神经网络
信息工程学院 Alen Fielding
1 RBF神经网络 RBF神经网络
径向基函数(RBF径向基函数(RBF-Radial Basis Function)神经网络 Function)神经网络 是由J Moody和 Darken在80年代末提出的一种神经 是由J.Moody和C.Darken在80年代末提出的一种神经 网络,它是具有单隐层的三层前馈网络。 网络,它是具有单隐层的三层前馈网络。由于它模拟 了人脑中局部调整、相互覆盖接收域（或称感受野了人脑中局部调整、相互覆盖接收域（或称感受野Receptive Field）的神经网络结构，因此，RBF网络 Field）的神经网络结构，因此，RBF网络 是一种局部逼近网络， 是一种局部逼近网络 ， 它能够以任意精度逼近任意 连续函数，特别适合于解决分类问题。 连续函数，特别适合于解决分类问题。
径向基(RBF)神经网络的介绍及其案例实现
人 脸 识 别
Company Logo
Contents
1 2
什么是神经网络 径向基（RBF）神经网络
3
ቤተ መጻሕፍቲ ባይዱ
Matlab案例实现
Company Logo
RBF 神经网络
几 种 常 见 的 神 经 网 络
Matlab案例实现
%% 清空环境变量 clc clear % 产生训练样本(训练输入，训练输出) % ld为样本例数 ld=100; % 产生2*ld的矩阵 x=rand(2,ld); % 将x转换到[-1.5 1.5]之间 x=(x-0.5)*1.5*2; %% 建立RBF神经网络 % 采用approximate RBF神经网络。spread 为默认值 net=newrb(x,F); % 计算网络输出F值 F=20+x1.^2-10*cos(2*pi*x1)+x2.^210*cos(2*pi*x2); % x的第一列为x1，第二列为x2. x1=x(1,:); x2=x(2,:);
y w1* x1 w2 * x2 w3 * x3 w4 * x4 wi * xi
i 1
Company Logo
n
RBF 神经网络
RBF神经网络概况：
神经网络基础知识
Company Logo
RBF 神经网络
60 50 40 30 20 10 0 2 2 0 0 -2 -2
Company Logo
1000
60 50 40 30 20 10 0 2 2 0 0 -2 -2
60 50 40 30 20 10 0 2 2 0 0 -2 -2
60 50 40 30 20 10 0 2 2 0 0 -2 -2
绝对经典RBF神经网络ppt课件
exp
1
2 i 2
X k ti
2
k 1,2,N;i 1,2,, I
该网络为局部逼近网络
RBF网络的工作原理
函数逼近： 以任意精度逼近任一连续函数。一般函数都可表示成一组 基函数的线性组合，RBF网络相当于用隐层单元的输出构 成一组基函数，然后用输出层来进行线性组合，以完成 逼近功能。
分类： 解决非线性可分问题。RBF网络用隐层单元先将非线性可 分的输入空间设法变换到线性可分的特征空间（通常是高 维空间），然后用输出层来进行线性划分，完成分类功能。
j1
举1.问例题：的提R出：B假F设网如下络的输实入现输出函样本数，输逼入向近量为[-1 1] 区间上等间隔的数组成的向量P,相应的期望值向量为T。
P=-1:0.1:1; T=[-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -
则扩展常数可取为
3.学权习值权的学值习可以用LMS学习算法
注意：①LMS算法的输入为RBF网络隐含层的输出
②RBF网络输出层的神经元只是对隐含层
神经元的输出加权和。
因此RBF网奇络异的矩实阵际或输非出方为阵Y的n矩阵不GnW n
其中 Y nXAXy=k存Aj ,在AnX逆,Ak矩=X阵1，,2则若, X称, N为; j 1,2, J
用用L伪M逆S方方法法A求求的解解伪pWi逆Wnv阵（n。AG）在1 D求ma伪Wtl逆aDnb中用d1X,n
e
dk
n
,
d
N
T
D为期望响应 G 是矩阵 G的伪逆
伪逆的求法 G G T G 1 G T
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
规则表达2
j a r g m a xg x ) i(
i
第四章 线性判别函数
7
线性判别函数的几何意义
决策面(decision boundary)H方程：g(x)=0
引言
决策面将特征空间分成决策区域。
向量w是决策面H的法向量 g(x)是点x到决策面H的距离的一种代数度量
w x xp r , g (x ) r w w r是 x 到 H 的 垂 直 距 离 x p是 x 在 H 上 的 投 影 向 量 w0 r0 w
第四章 线性判别函数
12
广义线性判别函数举例
引言
例1：设五维空间的线性方程为 55x1+68x2+32x3+16x4+26x5+10 =0，试求出其权向 量与样本向量点积的表达式wTx+w0=0中的w，x以及 增广权向量与增广样本向量形式aTy中的a与y。 答： 样本向量：x = (x1, x2, x3, x4, x5)T 权向量：w = (55, 68, 32, 16, 26)T, w0=10 增广样本向量：y = (1, x1, x2, x3, x4, x5)T 增广权向量：a = (10, 55, 68, 32, 16, 26)T
x x ,, xx . . . w w , w , . . . w 1 2 12
T d T d
第四章 线性判别函数
6
两类问题的分类决策规则
引言
规则表达1 g () x>, 0 则 决 策 x 1 如 果 g () x<, 0 则 决 策 x 2 g () x=, 0 可 将 其 任 意 分 类 或 拒 绝
a(x)
xn
gc
• 最一般情况下适用的“最 优”分类器：错误率最小， 对分类器设计在理论上有 指导意义。 决策规则： • 获取统计分布及其参数很 判别函数 困难，实际问题中并不一 决策面方程 定具备获取准确统计分布 的条件。
第四章 线性判别函数
3
直接确定判别函数
基于样本的直接确定判别函数方法：
引言
第四章 线性判别函数
4
线性分类器设计步骤
设 计
引言
线性分类器设计任务：给定样本集K，确定 线性判别函数g(x)=wTx的各项系数w。步骤：
1. 收集一组样本K={x1,x2,…,xN} 2. 按需要确定一准则函数J(K,w)，其值反映分类 器的性能，其极值解对应于“最好”决策。 3. 用最优化技术求准则函数J的极值解w*，从而 确定判别函数，完成分类器设计。
w * a r g m a x( JK , w )
w
应用
对于未知样本x，计算g(x)，判断其类别。
第四章 线性判别函数
5
线性判别函数
d维空间中的线性判别函数的一般形式：
引言
g ( x ) w x w 0
T
x是样本向量，即样本在d维特征空间中的描 述， w是权向量，w0是一个常数(阈值权)。
判别函数：
g () x ( xa ) ( xb )
第四章 线性判别函数
9
广义线性判别函数(2)
引言
二次函数的一般形式：
g () x c c x c x 0 1 2
2
映射X→Y
c y a 1 1 1 0 x， a c yy a 2 2 1 2 y x 3 2 3 a c
第四章 线性判别函数
13
广义线性判别函数举例(2)
引言
例2：有一个三次判别函数：z=g(x)=x3+2x2+3x+4。试建 立一映射x→y，使得z转化为y的线性判别函数。
答：映射X→Y如下：
y1 1 a1 4 y x a 3 y 2 2 ，a 2 y3 x a3 2 3 y x 4 a4 1
RBF神经网络的实现过程
电子信息学院
Table of Contents
第四章 线性判别函数
2
4.1 引言
分类器 功能结构
基于样本的Bayes分类 器：通过估计类条件 概率密度函数，设计 相应的判别函数
训练 样本集
样本分布的 统计特征：
概率密度函数 x1
g1 g2
. . .
x2
. . .
ARGMAX
w T a ,. . . ,w w 1 d,w 0 w 0
第四章 线性判别函数
11
广义线性判别函数(4)
引言
线性判别函数的齐次简化：
g () x w x w a y 0
T T
增广样本向量使特征空间增加了一维，但保 持了样本间的欧氏距离不变，对于分类效果 也与原决策面相同，只是在Y空间中决策面 是通过坐标原点的，这在分析某些问题时具 有优点，因此经常用到。
设定判别函数形式，用样本集确定参数。 使用准则函数，表达分类器应满足的要求。 这些准则的“最优”并不一定与错误率最小相 一致：次优分类器。 实例：正态分布最小错误率贝叶斯分类器在特 殊情况下，是线性判别函数g(x)=wTx（决策面是 超平面），能否基于样本直接确定w?
选择最佳准则
训练样本集ຫໍສະໝຸດ 决策规则： 判别函数 决策面方程
x2
w R1: g>0
xp
x
r
x1 R2: g<0
H: g=0
8
第四章 线性判别函数
广义线性判别函数
引言
线性判别函数是形式最为简单的判别函数， 但是它不能用于复杂情况。 例：设计一个一维分类器，使其功能为：
x b 或 x a则 决 策 x 1 如 果 xa 则 决 策 x b 2
g(x)又可表示成：
g (x ) a y ay i i
T i 1
10
3
第四章 线性判别函数
广义线性判别函数(3)
引言
• 按照上述原理，任何非线性函数g(x)用级数 展开成高次多项式后，都可转化成线性来处 理。 • 一种特殊映射方法：增广样本向量y与增广 权向量a
x T y ,...,x x 1 d,1 1
T z g ( x ) h ( y ) a y a iy i i 1 4