第9讲 自适应线性元件

这个简单的例题存在一个精确解， 且可以用解二元一次方程的方式将P 和T 值分别对应地代人方程T= W*P+B 得
可解出e=T-A=0 的解为 W = -0.2273; B = 0.7273 由此看出，对于特别简单的问题，采用自适应线性网络的训练不一定能够 得到足够精确的解. 因为当训练误差达到期望误差值后，训练即被终止.
• • • • • • • • • • • • • •
%训练权值 disp_freq=1; max_epoch=30; err_goal=0.001; if LR==1 lp.lr=1.7*maxlinlr(P,'bias'); else lp.lr=2.5*maxlinlr(P,'bias'); end a=W*P+B; A=purelin(a); E=T-A; SSE=sumsqr(E); errors=[SSE];
• 例4.以不同的学习速率训练网络 • 结论：应选择较小的学习速率以保证网络 收敛。
• • • • • • • • • • • • •
%wf4.m clear; P=[1 -1.2]; T=[0.5 1]; [R,Q]=size(P); [S,Q]=size(T); [W,B]=rands(S,R); %画误差曲面图 Wrange=-2:0.2:2; Brange=-2:0.2:2; ES=errsurf(P,T,Wrange,Brange,'purelin'); mesh(ES,[60,30]); pause;
• R=3,s=4,q=4
• • • • • • • • •
• • • • • • • • • • • • •
% wf2.m clear; P = [1 1.5 1.2 -0.3; -1 2 3 -0.5;2 1 -1.6 0.9]; T = [0.5 3 -2.2 1.4 ; 1.1 -1.2 1.7 -0.4 ;3 0.2 -1.8 -0.4; -1 0.1 -1.0 0.6]; [S,Q]=size(T); max_epoch=100; err_goal =0.001; lr = 0.9 *maxlinlr(P); W0 = [ 1.9978 -0.5959 -0.3517; 1.5543 0.05331 1.3660;1.0672 0.3645 -0.9227; 0.7747 1.3839 -0.3384]; B0 = [0.0746; -0.0642;-0.4256;-0.6433]; net=newlin(minmax(P),S,[0],lr); net.iw{1,1}=W0; net.b{1}=B0; A=sim(net,P); e=T-A; SSE= (sumsqr(e))/(S*Q); fprintf('Before training, sum squrared error=%g.\n',SSE); net.trainParam.epochs=400; net.trainParam.goal=0.001; [net tr]=train(net,P,T); W=net.iw{1,1} B=net.b{1}
• • • • • • • • • • • • • • • • •
%wf1.m P=[1 -1.2]; T=[0.5 1]; [R,Q]=size(P); [S, Q] = size (T); lr=0.4*maxlinlr(P); net=newlin(minmax(P),S,[0],lr); net.inputWeights{1,1}.initFcn='rands'; net.biases{1}.initFcn='rands'; net=init(net); W0=net.iw{1,1} B0=net.b{1} net.trainParam.epochs=20; net.trainParam.goal=0.001; [net tr]=train(net,P,T); W=net.iw{1,1} B=net.b{1}
• 例3. P = [1.0 1.5 3.0 -1.2]; T = [0.5 1.1 3.0 -1.0] 此时，所要解决的问题相当于用四个方程解w 和b 两个未知数. 因为 方程数大于未知数，所以用代数方程是无解的. 但仍可以用自适应 线性网络来对此问题求解. – 由上面的例于可以看出，自适应线性网络仅可以学习输入/输出矢 量之间的线性关系，所以对某些问题， 自适应线性网络是不能得 到满意的结果的. 然而， 当一个完美的结果不存在，但只要选择 足够小的学习速率，自适应线性网络将总是可以使其误差平方和 为最小。网络对其给定的结构， 总可得到一个尽可能接近目标的 结果. 这是因为一个线性网络的误差表面是抛物线型的，既然抛物 线只有一个最小值，基于梯度下降法的W-H 规则肯定在其最小值 处产生结果.
• 线性网络具有抛物线型误差函数所形成的 误差表面，所以只有一个误差最小值。通 过W-H 学习规则来计算权值和偏差的变化 并使网络误差的平方和最小化，且能够训 练一个网络的误差趋于这个最小值.

根据梯度下降法，权矢量的修正值正比于当前位置上E(W,B)的 梯度， 对于第i个输出节点有
η为学习速率. η 通常取一接近1 的数，或取值为
9.5对比与分析
• 感知器和自适应线性网络这两类网络在其结构和学习算法 上都没有什么太大的差别，不过就是从它们细小的区别上， 能够看到它们之间功能的不同点，而这些不同点在其它各 种神经网络中表现得更加突出。 • ( 1 )网络模型结构 • 一种网络有一种结构. 感知器和自适应线性网络 几乎具有 相同的结构，但其他网络如Hopfield网络就完全是另外种 结构. • 就感知器和自适应线性网络而言，结构上的主要区别在于 激活函数一个是二值型的，一个线性的。 仅此点，就使 得感知器仅能做简单的分类工作，而自适应线性网络除了 有分类功能外，还可以进行线性逼近。当输入与输出之间 是非线性关系时，通过对网络的训练， 可以得出线性逼 近关系。




W.H 学习规则的函数为learnwh.m 来实现， 另外，加 上线性自适应网络输出函数purelin.m ，可以写出W-H 学习规则的计算程序 A =purelin(W*P+B); E=T- A; dW = learnwh ([],P,[] ,[] ,[] ,[],E, [] ,[] ,[],lr,[]); dB = learnwh (B,ones(1,Q) ,[] ,[] ,[] ,[], E, [] ,[] ,[],lr,[]); W=W +dW: B=B+ dB;
• 同样，利用创建线性网络函数newlin.m，再 利用工具箱中的train.m可以替代上述整个 训练过程。调用 net=newlin(minmax(P),S,[0],lr)时已默认其 权值的学习法则为W-H.
• 例1.设计自适应线性网络实现从输入矢量到 输出矢量的变换关系.其输入矢量和输出矢 量分别为:P = [1.0 -1.2]; T= [0.5 1.0] • 解:用自适应线性网络求解问题时，设计者 要确定期望误差值以及最大循环次数.对此 题可分别选0.001和20.
9.1自适应线性神经元模型和结构
这个神位元有一个线性激活函数， 被称为Adaline.
9.2W-H 学习规则


W-H 学习规则是由威德罗和霍壳提出的用来 修正权矢量的学习规则. 采用W-H 学习规则可 以用来训练一层网络的权值和偏差使之线性地 逼近一个函数式而进行模式联想( Pattern Association ) . 定义一个线性网络的输出误差函数为
• 对于具有零误差的自适应线性网络，即输 入输出矢量对存在着严格的线性关系，此 时的自适应线性网络的设计可以采用工具 箱中newlind.m 的函数. • net=newlind(P,T); • W=net.iw{1,1} • B=net.b{1} • 可立即得到精确解 • 然后可用sim.m来检测所设计的网络： • A=sim(net,P) • SSE=sumsqr(T-A);
• • • • • • • • • • • • • • • • • • • • • • •
for epoch=1:max_epoch if SSE<err_goal epoch=epoch-1; break end LW=W;LB=B; dw=learnwh([],P,[],[],[],[],E,[],[],[],lp,[]); db=learnwh(B,ones(1,Q),[],[],[],[],E,[],[],[],lp,[]); W=W+dw;B=B+db; a=W*P+B; A=purelin(a); E=T-A;SSE=sumsqr(E); errors=[errors SSE]; if rem(epoch,disp_freq)==0 plot([LW W],[LB B],'r--'); drawnow end end hold off figure(3); m=W*P+B; a=purelin(m); plot(errors);
第二篇 神经网络
7.神经网络简介 8.感知器 9.自适应线性元件 10.反向传播网络
9 自适应线性元件



自适应线性元件(Adaptive Linear Element， 简称 Adaline )也是早期神经网络模型之一，它与感知器的 主要不同之处在于其神经元有一个线性激活函数， 这 允许输出可以是任意值， 而不仅仅只是像感知器中那 样只能取0或1. 另外它来用的是W-H 学习法则， 也称最小均方差 (LMS)规则对权值进行训练， 从而能够得到比感知器 更快的收敛速度和更高的精度. 自适应线性元件的主要用途是线性逼近一个函数式而 进行模式联想。另外，它还适用于信号处理滤波、预 测、模型识别和控制.
• • • • • • • •
end dW = learnwh ([],P,[] ,[] ,[] ,[],E, [] ,[] ,[],lr,[]); dB = learnwh (B,ones(1,Q) ,[] ,[] ,[] ,[], E, [] ,[] ,[],lr,[]); W=W +dW: B=B+ dB; A=purelin(W*P+B); %网络输出 E=T-A; SSE=sumsqr( E );