人工神经网络第5章RBF

radbas (n) e
n2
3.设计径向基网络newrb( ) net=newrb(X,T,goal,spread)
式中，X为输入向量；T 为目标向量；goal为目标
均方差，默认为0；spread为径向基函数的分布系
数（宽度），默认为1；net为生成的网络。 利用函数 newrb( ) 建立的径向基网络，能够
f ( x) x
工具箱函数purelin（）
RBF网络的结构
隐层神经元（也称RBF节点）
乘积 距离
径向基传 输函数
偏置值
隐层神经元（也称RBF节点） 矢量间的距离 dist(w,p)
w p
(w p )
i i
2
w 为 RBF 神经元的权值向量，也称为 RBF 神经元的中 心向量，其维数与输入向量维数相同； p 为输入向 量。
RBF传输函数的净输入
net w p b
权值向量W与输入向量p之间的向量距离乘以偏值b。
隐层神经元（也称RBF节点） 径向基传输函数
传输函数采用高斯函数，或者其它象高斯核函 数那样的辐射状作用函数。
f ( x) e
Matlab函数

x2 2 2
radbas (neti ) e
RBF网络与BP网络
采用径向基函数网络来完成函数逼近任务，将结 果同 BP 网络以及改进 BP 算法的前向网络的训练结 果做比较后，发现径向基函数网络所用的时间最短。
但并不等于径向基网络就可以取代其它前馈网络。 这是因为径向基网络很可能需要比BP网络多得多的 隐 含 层 神 经 网 络 元 来 完 成 工 作 。 BP 网 络 使 用 sigmoid( )函数，这样的神经元有很大的输入可见区 域。而径向基网络使用的径向基函数，输入空间区 域很小。这就导致了在实际需要的输入空间较大时， 需要很多的径向基神经元。
4.4.3 RBF网络的Matlab仿真
径向基神经网络工具箱函数
在 MATLAB 命令窗口键入“ help radbasis”，便 可得到与径向基神经网络相关的函数。
1. 计算矢量间的距离函数dist( )
dist ( w, p) w p
(w p )
i i
2
2. 径向基传输函数radbas( )

第一部分：RBF单元的参数
方法二：有监督学习法
RBF 网络的所有参数都用监督学习（梯度下降
法）从样本学习。
分别计算误差性能函数对各组参数的偏导数，
得参数的修正公式
J w w
作业：用梯度下降法推导RBF网络调节各参数的公式。

第一部分：RBF单元的参数
方法三：样本聚类法
对所有样本的输入进行聚类（将数据集划分成
第一部分：径向基函数的参数
RBF单元的中心向量和偏值。
第二部分：输出单元的参数
隐含层到输出层的权值及输出层的偏值。

第一部分：RBF单元的参数
方法一：直接法
以训练样本的输入向量作为 RBF 神经元的中心 向量。这样，径向基神经元数等于输入样本数，每 个神经元的中心向量为训练样本的一个输入向量。 各神经元的偏值相同。 该方法创建 RBF 网络的速度很快，但当输入向 量数目很大时，将导致网络的规模也很大。
RBF网络的输出 1.RBF神经元输出 RBF网络隐层第i个节点的输出ui为
ui exp[ ( x w bi ) ]
1 i
1 2
2. 输出层神经元输出 输出层第k个节点的输出yk为
yk w u b
i 1 2 ki i
q
2 k
4.4.2 RBF网络的学习
建立RBF网络,包括：确定隐层神经元的个数、中 心向量（输入到隐层的权值）、偏值，隐层到输出 层的权值，输出神经元的偏值等。
i 1 xi
k
2
含义：求 k 个子集中的各样本与其所属样本 子集中心间的距离平方和，再对所有 k 类求 和。
该准则函数能使聚类域中所有样本到该类 中心距离的平方和（欧式距离）为最小。
K-均值聚类算法
算法步骤
(1) 给定初始聚类中心向量 ci(0)和判定停止计算 的 ； (2) 计算距离（欧氏距离）并求出最小距离的节点
K-均值聚类 聚类示意图（二维）

第一部分：RBF单元的参数
K-均值聚类算法确定RBF神经元的参数 1.RBF神经元中心向量ci 2.RBF神经元宽度（或偏值b） 原则：使得所有RBF单元的接受域之和覆盖整 个训练样本空间。 方法1：宽度为中心向量（聚类中心）与属于该 类的样本之间的平均距离。
K-均值聚类算法步骤
(4) 判定聚类质量 对于全部样本 k(k=1,2,,N) 反复进行以上 (2) 、
(3)步，直至满足Je< ，则聚类结束。
上述k-均值聚类法是在类别k已知的条件下进行 的。若类别未知，则可以假设类别数是逐步增加的， 例如对 k=1 ， 2 ， 3 ，„分别使用该算法。显然准则 函数是随着 k 的增加而单调减少的。当达到合理聚 类数后，J的变化呈平缓趋势。
ci (k ) ci (k 1),1 i q, i r cr (k ) cr (k 1) (k )[ x (k ) cr (k 1)]
其中
(k)=(k-1)/(1+int(k/q))1/2 (k) 是学习速率， 0<(k)<1 。 int() 表示对 () 进行取整运算。 可见，每经过 q 个样本之后，调小一次学习速率， 逐渐减至零。
方法 2 ：宽度为该单元的中心与其它最邻近的 N 个近邻单元中心距离的平均值。
方法3：经验试凑法

第二部分：输出单元参数的学习
方法一：线性最小二乘法
W Tu (u u)
2 T T
1
T
u u1 ( x) u2 ( x)
uq ( x )
方法二：梯度法
2 2 wki (k 1) wki (k ) (tk yk )ui / uT u
目标函数
RBF网络依然是有导师学习网络。
N L 1 N L p 1 p 2 2 J J p (t k y k ) ek 2 p 1 k 1 2 p 1 k 1 p 1 N
N为模式样本对数；L为网络输出节点数。
RBF网络的可调参数 RBF网络的可调参数分为两部分。
RBF 网络的应用主要是函数逼近。从理 论上而言， RBF 网络和 BP 网络一样可近似任 何的连续非线性函数。 例：利用RBF网络实现正弦函数逼近
X=-1:0.1:1;
T=sin(PI*X);
4.4.5 RBF网络的有关问题
构成RBF网络的基本思想
用RBF作为隐单元的“基”构成隐含层空间，这 样就可将输入矢量直接（即不通过权连接）映射到隐 空间。当RBF的中心点确定以后，这种映射关系也就 确定了。而隐含层空间到输出空间的映射是线性的， 即网络的输出是隐单元输出的线性加权和。此处的权 即为网络可调参数。由此可见，从总体上看，网络由 输入到输出的映射是非线性的，而网络输出对可调参 数而言却又是线性的。这样网络的权就可由线性方程 组直接解出或用LMS方法计算 ，从而大大加快学习速 度并避免局部极小问题。
4.4.5 RBF网络的有关问题
RBF网络与BP网络
RBF 网络是一种局部逼近的神经网络。众所周
知，BP网络用于函数逼近时，权值的调节采用的 是负梯度下降法，这种调节权值的方法有它的局 限性，即存在着收敛速度慢和局部极小等缺点。 而 RBF 神经网络无论在逼近能力、分类能力和学 习速度等方面均优于BP网络。径向基函数网络比 BP网络需要更多的神经元。
一定数量的子集），找出有代表性的数据点（聚类
中心点）作为 RBF 单元的中心向量，从而极大地减
少隐RBF单心向量。此算法 中，聚类中心为使得该子类内各样本向量距该中心
的距离最小。
K-均值聚类算法
K-均值法的聚类准则函数
J e x ci
在给定的误差目标范围内找到能解决问题的最小
的网络。不需要再训练，可以直接使用。
径向基神经网络工具箱函数 4.设计精确径向基网络newrbe( )
net=newrbe(X,T, spread) 基于GUI的径向基神经网络设计
基于Simulink的径向基神经网络设计
4.4.4 RBF网络的应用
neti 2
n 0.8326 a 0.5
径向基传输函数 径向基函数的宽度Spread（分布系数）
从函数顶点1到0.5的距离。
b与Spread
b Spread 0.8326
阈值或宽度可调节 RBF 神经元的敏感程度。
例如，如果RBF神经元宽度为 0.1，则域值为 8.326, 那么，向量距离为8.326时，输出为0.5。
第五章 径向基函数网络
Radial Basis Function ，RBFNN

RBF网络的模型 RBF网络的学习
RBF网络的Matlab仿真
RBF网络的应用

RBF网络的有关问题
4.4.1 RBF网络的模型
RBF网络的结构 W1 W2
输出层
输入层
隐含层（RBF层）
RBF网络的结构 RBF网络为具有单隐层的两层前向网络。 输入节点 输入层节点只是传递输入信号到隐层。 输出层神经元 通常是简单的线性神经元，其传输函数为
d i (k ) x (k ) ci (k 1) ,1 i q d min (k ) min d i (k ) d r (k )
式中， k 为样本序号， r 为中心向量 ci(k-1) 与输入 样本x(k)距离最近的隐节点序号；
K-均值聚类算法步骤
(3) 调整中心