径向基函数网络
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
22
wc1=e./t2 figure(1) plot(x1,t1,'k-',x,t,'k+',x2,Y,'r+'); xlabel('自变量x')； ylabel('函数值y(x)')； figure(2) plot(x2,e,‘b+',x2,e,‘b-'); xlabel('自变量x')； ylabel(‘误差值e’)；
径向基函数网络
• RBF神经网络定义 • RBF神经网络工作原理 • RBF神经网络模型 • RBF神经网络学习算法 • 实例
径向基函数网络（RBF网络）
• 径向基函数是多维空间插值的传统技术，根据生物神经元具有局部响应这一 特点，将RBF引入到神经网络设计中，产生了RBF神经网络。
• RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性， 具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数 逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建 模、控制和故障诊断等。
格式：net=newrb(P,T,g,s) Newrb()可自动增加RBF网络的隐层神经
19
元，直到均方差满足为止。其中P,T,g,s 分别是输入向量，输出向量（目标值） 均方差精度和径向基层的散布常数。g和 s的取值直接影响到网络的拟合和泛化能 力。 用sim函数进行仿真。 格式：y=sim(net,P)
• 正规化网络
• 其中基函数一般选用高斯函数：
• 那么：
正规化网络是一个通用逼近器，只要隐单元足够多，它就可以逼近任意M元 连续函数。且对任一未知的非线性函数，总存在一组权值使网络对该函数的 逼近效果最好。
• 广义网络
• 当基函数为高斯函数时：
RBF神经网络两种模型
• 正规化网络RN：通用逼近器 • 基本思想： • 通过加入一个含有解的先验知识的约束来控制映射函数的光滑性，若输入一
21
按照RBF神经网络的编程步骤可得到： x=-4:0.08:4; t=1.1*(1-x+2*x.^2).*exp(-x.^2/2)+0.1*rand(1,101); p_test1=4:0.08:4.32; net=newrb(x,t,0.8,0.7,100); Y=sim(net,p_test1); x1=-4:0.08:4.32; x2=4:0.08:4.32; t1=1.1*(1-x1+2*x1.^2).*exp(-x1.^2/2); t2=1.1*(1-x2+2*x2.^2).*exp(-x2.^2/2); e=Y-t2
自组织选取中心算法步骤
• 1.基Baidu NhomakorabeaK-均值聚类方法求取基函数中心
• 2.求解方差 • 3.计算隐含层和输出层之间的权值
实例
根据RBF神经网络的网络结构和工作 原理，可确定以下编程步骤及相关语言： 初始化，确定RBF网络模型的输入，输出 向量。 用newrb()函数设计一个满足一定精度的 RBF网络。
• 学习方法分类（根据RBF中心选取方法的不同分）： • 随机选取中心法 • 自组织选取中心法 • 有监督选取中心法 • 正交最小二乘法等
自组织选取中心法
• 中心和权值的选取可以分为两个相互独立的步骤进行： • 一是无监督的自组织学习阶段，即学习隐含层基函数的中心与方差的阶段；
其任务是用自组织聚类方法为隐层节点的径向基函数确定合适的数据中心， 并根据各中心之间的距离确定隐节点的扩展常数。一般采用Duda和Hart1973 年提出的k-means聚类算法。 • 二是有监督学习阶段，其任务是用有监督学习算法训练输出层权值，一般采 用梯度法进行训练。
20
下面看一个例子： 用RBF网络逼近Hermit多项式
y(x) 1.1(1 x 2x2 ) exp( x2 ) 2
训练输入样本集x=-4﹕0.08﹕4,有噪声，样本长度 L=101；测试输入集x2 =4﹕0.08﹕4.32,长度L1=5； 学习训练中，将带有噪声的y(x)作为目标函数，均方 误差为0.8，径向基函数的扩展速度为0.7，隐层的神 经元最大数目为100。绘制函数逼近曲线和函数逼近 外推误差曲线。
• 函数逼近： • 以任意精度逼近任一连续函数。一般函数都可表示成一组基函数的线性组合，
RBF网络相当于用隐层单元的输出构成一组基函数，然后用输出层来进行线 性组合，以完成逼近功能。 • 分类： • 解决非线性可分问题。RBF网络用隐层单元先将非线性可分的输入空间设法 变换到线性可分的特征空间（通常是高维空间），然后用输出层来进行线性 划分，完成分类功能。
• RBF网络是一种单隐层的三层前向网络 • RBF神经网络有两种模型：正规化网络和广义网络 • RBF网络的基本思想
➢ 用RBF作为隐单元的“基”构成隐函数空间，将输入矢量直接映射到 隐空间（不需要通过权连接）
➢ 当RBF的中心确定后，映射关系也就确定 ➢ 隐含层空间到输出空间的映射是线性的
RBF网络的工作原理
• 学习算法需要求解的参数： ➢ 径向基函数的中心 ➢ 方差 ➢ 隐含层到输出层的权值
• 当采用正归化RBF网络结构时，隐节点数即样本数，基函数的数据中心即为 样本本身，参数设计只需考虑扩展常数和输出节点的权值。
• 当采用广义RBF网络结构时，RBF网络的学习算法应该解决的问题包括：如 何确定网络隐节点数，如何确定各径向基函数的数据中心及扩展常数，以及 如何修正输出权值。
输出映射函数是光滑的，则重建问题的解是连续的，意味着相似的输入对应 着相似的输出。 • 广义网络GN：模式分类 • 基本思想： • 用径向基函数作为隐单元的“基”，构成隐含层空间。隐含层对输入向量进 行变换，将低维空间的模式变换到高维空间内，使得在低维空间内的线性不 可分问题在高维空间内线性可分。
两种模型的比较
RN
GN
隐节点=输入样本数
所有输入样本设为 径向基函数的中心
隐节点＜输入样本数
径向基函数的中心 由训练算法确定
径向基函数 取统一的扩展常数
径向基函数的扩展常数 不再统一由训练算法确定
没有设置阈值
输出函数的线性中包含阈值参数， 用于补偿基函数在样本集上的 平均值与目标值之平均值之间的差别。
RBF网络的学习算法
wc1=e./t2 figure(1) plot(x1,t1,'k-',x,t,'k+',x2,Y,'r+'); xlabel('自变量x')； ylabel('函数值y(x)')； figure(2) plot(x2,e,‘b+',x2,e,‘b-'); xlabel('自变量x')； ylabel(‘误差值e’)；
径向基函数网络
• RBF神经网络定义 • RBF神经网络工作原理 • RBF神经网络模型 • RBF神经网络学习算法 • 实例
径向基函数网络（RBF网络）
• 径向基函数是多维空间插值的传统技术，根据生物神经元具有局部响应这一 特点，将RBF引入到神经网络设计中，产生了RBF神经网络。
• RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性， 具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数 逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建 模、控制和故障诊断等。
格式：net=newrb(P,T,g,s) Newrb()可自动增加RBF网络的隐层神经
19
元，直到均方差满足为止。其中P,T,g,s 分别是输入向量，输出向量（目标值） 均方差精度和径向基层的散布常数。g和 s的取值直接影响到网络的拟合和泛化能 力。 用sim函数进行仿真。 格式：y=sim(net,P)
• 正规化网络
• 其中基函数一般选用高斯函数：
• 那么：
正规化网络是一个通用逼近器，只要隐单元足够多，它就可以逼近任意M元 连续函数。且对任一未知的非线性函数，总存在一组权值使网络对该函数的 逼近效果最好。
• 广义网络
• 当基函数为高斯函数时：
RBF神经网络两种模型
• 正规化网络RN：通用逼近器 • 基本思想： • 通过加入一个含有解的先验知识的约束来控制映射函数的光滑性，若输入一
21
按照RBF神经网络的编程步骤可得到： x=-4:0.08:4; t=1.1*(1-x+2*x.^2).*exp(-x.^2/2)+0.1*rand(1,101); p_test1=4:0.08:4.32; net=newrb(x,t,0.8,0.7,100); Y=sim(net,p_test1); x1=-4:0.08:4.32; x2=4:0.08:4.32; t1=1.1*(1-x1+2*x1.^2).*exp(-x1.^2/2); t2=1.1*(1-x2+2*x2.^2).*exp(-x2.^2/2); e=Y-t2
自组织选取中心算法步骤
• 1.基Baidu NhomakorabeaK-均值聚类方法求取基函数中心
• 2.求解方差 • 3.计算隐含层和输出层之间的权值
实例
根据RBF神经网络的网络结构和工作 原理，可确定以下编程步骤及相关语言： 初始化，确定RBF网络模型的输入，输出 向量。 用newrb()函数设计一个满足一定精度的 RBF网络。
• 学习方法分类（根据RBF中心选取方法的不同分）： • 随机选取中心法 • 自组织选取中心法 • 有监督选取中心法 • 正交最小二乘法等
自组织选取中心法
• 中心和权值的选取可以分为两个相互独立的步骤进行： • 一是无监督的自组织学习阶段，即学习隐含层基函数的中心与方差的阶段；
其任务是用自组织聚类方法为隐层节点的径向基函数确定合适的数据中心， 并根据各中心之间的距离确定隐节点的扩展常数。一般采用Duda和Hart1973 年提出的k-means聚类算法。 • 二是有监督学习阶段，其任务是用有监督学习算法训练输出层权值，一般采 用梯度法进行训练。
20
下面看一个例子： 用RBF网络逼近Hermit多项式
y(x) 1.1(1 x 2x2 ) exp( x2 ) 2
训练输入样本集x=-4﹕0.08﹕4,有噪声，样本长度 L=101；测试输入集x2 =4﹕0.08﹕4.32,长度L1=5； 学习训练中，将带有噪声的y(x)作为目标函数，均方 误差为0.8，径向基函数的扩展速度为0.7，隐层的神 经元最大数目为100。绘制函数逼近曲线和函数逼近 外推误差曲线。
• 函数逼近： • 以任意精度逼近任一连续函数。一般函数都可表示成一组基函数的线性组合，
RBF网络相当于用隐层单元的输出构成一组基函数，然后用输出层来进行线 性组合，以完成逼近功能。 • 分类： • 解决非线性可分问题。RBF网络用隐层单元先将非线性可分的输入空间设法 变换到线性可分的特征空间（通常是高维空间），然后用输出层来进行线性 划分，完成分类功能。
• RBF网络是一种单隐层的三层前向网络 • RBF神经网络有两种模型：正规化网络和广义网络 • RBF网络的基本思想
➢ 用RBF作为隐单元的“基”构成隐函数空间，将输入矢量直接映射到 隐空间（不需要通过权连接）
➢ 当RBF的中心确定后，映射关系也就确定 ➢ 隐含层空间到输出空间的映射是线性的
RBF网络的工作原理
• 学习算法需要求解的参数： ➢ 径向基函数的中心 ➢ 方差 ➢ 隐含层到输出层的权值
• 当采用正归化RBF网络结构时，隐节点数即样本数，基函数的数据中心即为 样本本身，参数设计只需考虑扩展常数和输出节点的权值。
• 当采用广义RBF网络结构时，RBF网络的学习算法应该解决的问题包括：如 何确定网络隐节点数，如何确定各径向基函数的数据中心及扩展常数，以及 如何修正输出权值。
输出映射函数是光滑的，则重建问题的解是连续的，意味着相似的输入对应 着相似的输出。 • 广义网络GN：模式分类 • 基本思想： • 用径向基函数作为隐单元的“基”，构成隐含层空间。隐含层对输入向量进 行变换，将低维空间的模式变换到高维空间内，使得在低维空间内的线性不 可分问题在高维空间内线性可分。
两种模型的比较
RN
GN
隐节点=输入样本数
所有输入样本设为 径向基函数的中心
隐节点＜输入样本数
径向基函数的中心 由训练算法确定
径向基函数 取统一的扩展常数
径向基函数的扩展常数 不再统一由训练算法确定
没有设置阈值
输出函数的线性中包含阈值参数， 用于补偿基函数在样本集上的 平均值与目标值之平均值之间的差别。
RBF网络的学习算法