第05讲 自适应线性元件_1

由此可得零误差的唯一精确解为：
[例5．3]设计训练一个线性网络实现下列从 输人矢量到目标矢量的变换：
所给出的输入矢量元素之间是线性相关的：第三组元 素等于第二组元素的两倍减去第一组：P3＝2P2－P1。 由于输入矢量的奇异性，用函数solvelin.m来设计时 网络会产生问题。只有在能够线性地解出问题的情 况下，用函数solvelin.m才比较准确。
η为学习速率。在一般的实际运用中，实践表明， η通常取一接近1的数，或取值为：
（5.5） 学习速率的这一取法在神经网络工具箱中用函数 maxlinlr.m来实现。(5．5)式可实现为：
W—H学习规则的函数为：learnwh.m来实现，加上线性 自适应网络输出函数purelin.m，可以写出W—H学习规 则的计算公式为： A＝purelin(W*P)； E＝T—A； [dW，dB]＝learnwh(P，E，h)； W＝W十dW； B＝B十dB；
5．4例题与分析
[例5．1]设计自适应线性网络实现从输入矢 量到输出矢量的变换关系。其输入矢量 和输出矢量分别为： P＝[1.0 -1.2] T＝[0.5 1.0]
％wf1.m ％ P＝[1 -1.2]； T＝[0.5 1]； [R，Q]＝size(P)； [S，Q]＝size(T)； [W，B]＝rands(S，R)； max_epoch＝20； ％最大循环次数 err_goal＝0.001； ％期望误差 1r＝0.4*maxlinlr(P)； ％最佳学习速率 disp_freq＝1； ％设置显示频率 TP＝[disp_freq max_epoch err_goal lr]; ％设置参数变量TP [W，B，epochs，error]＝trainwh(W，B，P，T，TP) ％进行线性网 络权值训练
以例5.1 为样本，
1)对于第一个尝试，学习速率lr取： 1r＝1.7*maxlinlr(P)； 2)第二个尝试是选用更大学习速率： 1r＝2.5*maxlinlr(P);
5．5对比与分析
感知器和自适应线性网络 (1)网络模型结构上
感知器和自适应线性网络而言，结构上的主要区 别在于激活函数：一个是二值型的，一个线性 的。 当把偏差与权值考虑成一体时，自适应线性网络 的输入与输出之间的关系可以写成A＝W*P。如 果P是满秩的话，则可以写成AP-1＝W，或 W=A/P。
只要将前面已编写的wf2.m程序中的输入与目标矢量改 变一下，并给出(—l，1)之间的随机初始值，即可运行 看到本例的结果。 其最终误差在1.04左右，这就是本例题下的最小误差 平方和，
而当采用完全线性函数的设计solvelin.m去求解网络权 值时，所得到的误差是4.25。
采用W—H算法训练出的误差是它的1／4，由此可见其 算法的优越性。
％训练网络 flops(0) tp＝[disp_freq max_epoch err_goal lr]; %设置参数变量tp [W, B, epochs，errors]＝trainwh(W, B, P, T, tp); %进行线性网络权值训 练 W ％显示最终训练权矢量 B ％显示最终训练偏差矢量 SSE＝sumsqr(T-purelin(W*P, B))； ％最终误差 ％显示结果并给出结论 ploterr(errors), fprintf (‘\n After％.0f epochs，sum squared e error＝％g. \n\n’, SSE), fprintf (‘Training took ％.0f flops. \n’, flops), fprintf (‘ Trained network operates：’); if SSE＜err_goal disp(‘Adequately.’) else disp(‘Inadequately.’) end end
作业
设计一个有三个输入的单层线性网络： P={2 3 2.4 -0.6; -2 4 6 -1; 4 2 -3.2 1.8} T={1 6 -4.4 2.8; 2.2 -2.4 3.4 -0.8; 6 0.4 -3.6 -0.8; -2 0.2 -2 1.2}
5．6 本章小结
1)自适应线性网络仅可以学习输入输出矢量之间的线性关 系，可用于模式联想及函数的线性逼近。网络结构的 设计完全由所要解决的问题所限制，网络的输入数目 和输出层中神经元数目，由问题所限制； 2)多层线性网络不产生更强大的功能，从这个观点上看， 单层线性网络不比多层线性网络有局限性； 3)输入和输出之间的非线性关系不能用一个线性网络精确 地设计出，但线性网络可以产生一个具有误差平方和 最小的线性逼近。
[例5．4]现在假定在[例5．1]的输入／输出矢量中增加两 组元素，使其变为 P＝[1.0 1.5 3.0 -1.2] T＝[0.5 1.1 3.0 -1.0] 本例题的目的是在于了解自适应线性网络的线性逼近求 解的能力。
图5．4给出了输入输出对的位置以及网络求解的结果。 对于所设置的err_goal＝0.001, 在循环训练了50次后所得 的误差平方和仍然为：SSE＝0.289。这个值即是本题所 能达到的最小误差平方和的值。
采用W—H规则训练自适应线性元件使其能够得以收敛 的必要条件是被训练的输入矢量必须是线性独立的， 且应适当地选择学习速率以防止产生振荡现象。
5．3 网络训练
自适应线性元件的网络训练过程可以归纳为以下 三个步骤：
1)表达：计算训练的输出矢量A＝W*P十B，以及 与期望输出之间的误差E＝T—A； 2)检查：将网络输出误差的平方和与期望误差相 比较，如果其值小于期望误差，或训练已达到 事先设定的最大训练次数，则停止训练；否则 继续； 3)学习：采用W—H学习规则计算新的权值和偏 差，并返回到1)。
训练后的网络权值为：
网络训练过程中的误差记录
对于存在零误差的精确权值网络，若用函数solvelin.m来 求解，则更加简单如下： ％wf3.m ％ P＝[1 1.5 1.2 –0.3; -1 2 3 –0.5; 2 1 –1.6 0.9]; T＝[0.5 3 –2.2 1.4; 1.1 –1.2 1.7 –0.4; 3 0.2 –1.8 -0.4; -1 0.1 – 1.0 0.6]; [W，B]＝solvelin(P,T); A＝simulin (P, W, B); SSE＝sumsqr (T-A) W B end
在随机初始值为：W0＝—0.9309；B0＝—0.8931 的情况下，经过12次循环训练后，网络的输出 误差平方和达到0.000949，网络的最终权值为： W＝-0.2354；B＝0.7066
实际上，对于[例5.1]这个简单的例题，它存在一 个精确解，且可以用解二元一次方程的方式将 P和T值分别对应地代入方程T＝W*P十B得：
我们的目的是通过调节权矢量，使E(W，B)达到最小值。
所以在给定E(W，B)后，利用W—H学习规则修正权矢量 和偏差矢量，使E(W，B)从误差空间的某一点开始，沿 着E(W，B)的斜面向下滑行。
根据梯度下降法，权矢量的修正值正比于当前位 置上E(W，B)的梯度，对于第i个输出节点有：
或表示为：
（5. 3）
[例5．2]现在来考虑一个较大的多神经元网络的 模式联想的设计问题。输入矢量和目标矢量分 别为：
解： 由输入矢量和目标输出矢量可得：r＝3，s＝4，q ＝4。所以网络的结构如图5．2所示。
这个问题的求解同样可以采用线性方程组求出，即对每 一个输出节点写出输入和输出之间的关系等式。
实际上要求出这16个方程的解是需要花费一定的 时间的，甚至是不太容易的。 对于一些实际问题，常常并不需要求出其完美的 零误差时的解。也就是说允许存在一定的误差。 在这种情况下，采用自适应线性网络求解就显示 出它的优越性：因为它可以很快地训练出满足 一定要求的网络权值。
采用Matlab进行自适应线性元件网络的训练过程如下： trainwh.m
％表达式 A=purelin(W*P，B); E=T-A； SSE＝sumsqr(E); ％求误差平方和 for epoch＝1: max_epoch ％循环训练 if SSE＜err_goal ％比较误差 epoch＝epoch—1； break ％若满足期望误差要求，结束训练 end [dW，dB]＝1earnwh(P，E，lr)；％修正权值 W＝W十dW； B＝B十dB; A＝purelin(W*P，B)； ％网络输出 E＝T-A； SSE＝sumsqr(E)； ％计算网络误差平方和 end
当采用线性自适应线性网络求解问题所得到的误差特别 大时，可以认为此问题不适宜用线性网络来解决。
图5. 4网络训练结果图
自适应线性网络还有另一个潜在的困难，当学习速率取 得较大时，可导致训练过程的不稳定。 [例5．5]输入/目标矢量与[例5．1]相同。我们将以不同 的学习速率训练两次网络以展现两种不希望的学习速率 带来的影响。
％wf2.m ％ P=[1 1.5 1.2 –0.3; -1 2 3 –0.5; 2 1 –1.6 0.9]; T=[0.5 3 –2.2 1.4; 1.1 –1.2 1.7 –0.4; 3 0.2 –1.8 –0.4; -1 0.1 –1.0 0.6]; disp_freq=400; ％中间不显示结果 max_epoch=400; err_goal=0.001; lr=0.9*maxlinlr(P); W=[1.9978 –0.5959 –0.3517; 1.5543 0.05331 1.3660; %初始权值 1.0672 0.3645 –0.9227; -0.7747 1.3839 –0.3384]; B=[0.0746; -0.0642; -0.4256; -0.6433]; SSE＝sumsqr(T-purelin(W*P，B)); %未训练前误差 fprintf(‘Before trainihg, sum squared error=％g. \n’, SSE)
5．1自适应线性神经元模型和 结构
图5. 1 自适应线性神经网络的结构