BP网络以及深度学习讲解

神经网络1 BP 网图：三层BP 网信号正向传播和误差反向传播)(k k net f o = ∑==mj j jk k y net 0ω k=1,2……l 有l 个输出（l 常常为1）。

中间隐层有m 层：)(j j net f y = ∑==ni i ij j x net 0υ i=1,2,……m n 个输入。

j=1,2……m其中Sigmoid 函数：xex f -+=11)( （单极性） ko k net E∂∂-=δ 1.1 计算流程不同样本误差：21)(∑=-=lk M kM kMo dEE=((T-Ok)'*(T-Ok))/2;一般使用211)(21∑∑==-=lk p kp kMp o dE 总1.2 影响参数:1.2.1 隐层节点数nn=n m + +a ，其中 m 为输出神经元数， n 为输入神经元数， a 为[1，10]之间的常数。

nn=n 2log nn=2n+1; nn=mn1.2.2 学习率学习率η，太大会影响训练稳定性，太小使训练收敛速度慢。

一般在0.01--0.8之间。

我取0.2E min 一般在0.1--之间。

1.3 样本/输入1.3.1 训练样本训练样本数：M εwn ≈，w n 为权值阈值总数，一般为连接权总数的5~10倍。

训练数据必须作平衡处理，不同类别的样本需要交叉输入，轮流输入--时间延长。

1.3.2 输入形式字符：形状格填充、边缘距离 曲线：采样 变化大可以密集采样 输出：不同的输出用不同的码表示1.3.3 归一化：样本分布比较均匀 [0,1]区间：minmax minx x x x x i i--=[-1,1]区间：mid mid i i x x x x x --=max )(2 其中2minmax x x x mid+= 不均匀：对数 平方根[coef,score,latent,t2] = princomp(x);（个人观点）：x ：为要输入的n 维原始数据。

带入这个matlab 自带函数，将会生成新的n 维加工后的数据（即score ）。

此数据与之前的n 维原始数据一一对应。

score ：生成的n 维加工后的数据存在score 里。

它是对原始数据进行的分析，进而在新的坐标系下获得的数据。

他将这n 维数据按贡献率由大到小排列。

（即在改变坐标系的情况下，又对n 维数据排序）latent ：是一维列向量，每一个数据是对应score 里相应维的贡献率，因为数据有n 维所以列向量有n 个数据。

由大到小排列（因为score 也是按贡献率由大到小排列）。

coef ：是系数矩阵。

通过cofe 可以知道x 是怎样转换成score 的。

1.4 权值/阈值1.4.1 初始权值初始权值足够小，初始值为1和-1的权值数相等。

1.4.2 权值学习算法P99traingd:标准梯度下降算法 traingdm:附加动量项traingda:自适应学习速率，效果比上者好。

traingdx: 附加动量项、自适应学习速率 更好的算法如下： trainlm:1.5 优化1 提高训练速度：附加动量法：)(t w w w jk jk ∆+=其中)1()(-∆+=∆t w y t w j o k αηδ)1(*)1()(-∆+-=∆t w mc y mc t w j o k ηδ)1(*)1()(-∆+-=∆t b mc mc t b o k ηδ 见P852 k net k k e net f o -+==11)(改为λ/11)(k net k k enet f o -+==，一般λ=1 k k o d E -≈∆,0较大时，进入平坦区，令λ>1常用的改进方法有附加冲量项、自适应学习参数、模拟退火法等,1.6 技巧若show 设为NaN ,则不显示训练过程一篇论文中案例：初始权值不可过大过小。

网络1的初始权值和偏差定为-0.25--0.25的随机数，网络2的定为-0.5--0.5的随机数。

目标误差：0.05 两个连续迭代过程平均相差小于910-， 样本数：2001.7 常用函数归纳1.7.1 train 之前net.trainParam.show=10; %show interval 25 %net.trainParam.showWindow=flase;net.trainParam.epochs=5000;%train times.default:10 net.trainParam.goal=0.0001;%0net.trainParam.lr=0.2;%0.15net.trainParam.max_fail=5;% max times of affirm failurenet.trainParam.min_grad=1e-10;%min gradientnet.trainParam.time=inf;%max train timenet.trainParam.mc=0.95; %momentum factor when use traingdm,default:0.9 1.7.2%net.iw{1,1}=iw;net.lw{2,1}=lw;net.b{1}=theta1;net.b{2}=theta2;%yers{1}.initFcn ='initlay';Plotpv(p,t,v)Plotpc(net.iw{1,1},net.b{1})初始化网络:Net.inputWeights{1,1}.initFcn=’rands’; %initialize weightNet.biases{1}.initFcn=’rands’; %initialize deviationnet=init(net)误差平方和：sumsqrNewff newcf1.8 评价标准实际为正类实际为负类预测为正类TP FP预测为负类FN TN查准率/精度:precision=TP/(TP+FP)真正类率(TPR)/查全率/真阳性率/灵敏度/召回率/敏感性（sensitivity）:recall=TP/(TP+FN)正确率：accuracy=(TP+TN)/ALL特异性（specificity）/真阴性率/1-假阳性率：TN/(FP+TN)2 前馈神经网络无隐层：线性单隐层：凸域双隐层：任意复杂形状区域，所以一般使用单隐层，较少情况下可以使用双隐层。

解决已知的线性问题，使用感知器或者自适应网络更好，非线性使用BP。

2.1 单层感知器方程组求解的形式，只能做 线性划分 Newp检验：hardlim(W+P,B)2.2 Adaline 自适应线性元件神经元有一个激活函数, 因此输出可以是任意值。

可以做线性逼近。

采用LMS （最小均方差规则，又称W-H 学习规则）：j ok ij y ηδω=∆不用求导 newlin newlind带有延时的自适应线性网络3 深度神经网络在语音识别和图像识别等领域获得了巨大的成功4 递归神经网络反馈神经网络4.1 全局反馈递归神经网络4.1.1 ARX 和NARX 网络4.1.2 Hopfield 网络4.1.3 约旦网络4.2 前向递归神经网络4.2.1 局部连接 4.2.2 全连接型 Elman记忆递归神经网络 4.3 混合型网络5 RBF网络/zhangchaoyang/articles/2591663.html/zouxy09/article/details/13297881径向基函数解决插值问题完全内插法要求插值函数经过每个样本点，即。

样本点总共有P个。

RBF的方法是要选择P个基函数，每个基函数对应一个训练数据，各基函数形式为，由于距离是径向同性的，因此称为径向基函数。

||X-X p||表示差向量的模，或者叫2范数。

基于为径向基函数的插值函数为：输入X是个m维的向量，样本容量为P，P>m。

可以看到输入数据点X p是径向基函数φp的中心。

隐藏层的作用是把向量从低维m映射到高维P，低维线性不可分的情况到高维就线性可分了。

将插值条件代入：写成向量的形式为，显然Φ是个规模这P对称矩阵，且与X的维度无关，当Φ可逆时，有。

对于一大类函数，当输入的X各不相同时，Φ就是可逆的。

下面的几个函数就属于这“一大类”函数：1）Gauss（高斯）函数2）Reflected Sigmoidal（反常S型）函数3）Inverse multiquadrics（拟多二次）函数σ称为径向基函数的扩展常数，它反应了函数图像的宽度，σ越小，宽度越窄，函数越具有选择性。

完全内插存在一些问题：1）插值曲面必须经过所有样本点，当样本中包含噪声时，神经网络将拟合出一个错误的曲面，从而使泛化能力下降。

由于输入样本中包含噪声，所以我们可以设计隐藏层大小为K，K<P，从样本中选取K个（假设不包含噪声）作为Φ函数的中心。

2）基函数个数等于训练样本数目，当训练样本数远远大于物理过程中固有的自由度时，问题就称为超定的，插值矩阵求逆时可能导致不稳定。

拟合函数F的重建问题满足以下3个条件时，称问题为适定的：1.解的存在性2.解的唯一性3.解的连续性不适定问题大量存在，为解决这个问题，就引入了正则化理论。

正则化理论正则化的基本思想是通过加入一个含有解的先验知识的约束来控制映射函数的光滑性，这样相似的输入就对应着相似的输出。

寻找逼近函数F(x)通过最小化下面的目标函数来实现：加式的第一项好理解，这是均方误差，寻找最优的逼近函数，自然要使均方误差最小。

第二项是用来控制逼近函数光滑程度的，称为正则化项，λ是正则化参数，D是一个线性微分算子，代表了对F(x)的先验知识。

曲率过大（光滑度过低）的F(x)通常具有较大的||DF||值，因此将受到较大的惩罚。

直接给出(1)式的解：权向量********************************(2)G(X,X p)称为Green函数，G称为Green矩阵。

Green函数与算子D的形式有关，当D具有旋转不变性和平移不变性时，。

这类Green函数的一个重要例子是多元Gauss函数：。

代码%// This is a RBF network trained by BP algorithm%// Author : zouxy%// Date : 2013-10-28%// HomePage : /zouxy09%// Email : zouxy09@close all; clear; clc;%%% ************************************************%%% ************ step 0: load data ****************display('step 0: load data...');% train_x = [1 2 3 4 5 6 7 8]; % each sample arranged as a column of train_x % train_y = 2 * train_x;train_x = rand(5, 10);train_y = 2 * train_x;test_x = train_x;test_y = train_y;%% from matlab% rbf = newrb(train_x, train_y);% output = rbf(test_x);%%% ************************************************%%% ******** step 1: initialize parameters ********display('step 1: initialize parameters...');numSamples = size(train_x, 2);rbf.inputSize = size(train_x, 1);rbf.hiddenSize = numSamples; % num of Radial Basis function rbf.outputSize = size(train_y, 1);rbf.alpha = 0.1; % learning rate (should not be large!)%% centre of RBFfor i = 1 : rbf.hiddenSize% randomly pick up some samples to initialize centres of RBFindex = randi([1, numSamples]);rbf.center(:, i) = train_x(:, index);end%% delta of RBFrbf.delta = rand(1, rbf.hiddenSize);%% weight of RBFr = 1.0; % random number between [-r, r]rbf.weight = rand(rbf.outputSize, rbf.hiddenSize) * 2 * r - r;%%% ************************************************%%% ************ step 2: start training ************display('step 2: start training...');maxIter = 400;preCost = 0;for i = 1 : maxIterfprintf(1, 'Iteration %d ,', i);rbf = trainRBF(rbf, train_x, train_y);fprintf(1, 'the cost is %d \n', rbf.cost);curCost = rbf.cost;if abs(curCost - preCost) < 1e-8disp('Reached iteration termination condition and Termination now!');break;endpreCost = curCost;end%%% ************************************************%%% ************ step 3: start testing ************display('step 3: start testing...');Green = zeros(rbf.hiddenSize, 1);for i = 1 : size(test_x, 2)for j = 1 : rbf.hiddenSizeGreen(j, 1) = green(test_x(:, i), rbf.center(:, j), rbf.delta(j));endoutput(:, i) = rbf.weight * Green;enddisp(test_y);disp(output);function [rbf] = trainRBF(rbf, train_x, train_y)%%% step 1: calculate gradientnumSamples = size(train_x, 2);Green = zeros(rbf.hiddenSize, 1);output = zeros(rbf.outputSize, 1);delta_weight = zeros(rbf.outputSize, rbf.hiddenSize);delta_center = zeros(rbf.inputSize, rbf.hiddenSize);delta_delta = zeros(1, rbf.hiddenSize);rbf.cost = 0;for i = 1 : numSamples%% Feed forwardfor j = 1 : rbf.hiddenSizeGreen(j, 1) = green(train_x(:, i), rbf.center(:, j),rbf.delta(j));endoutput = rbf.weight * Green;%% Back propagationdelta3 = -(train_y(:, i) - output);rbf.cost = rbf.cost + sum(delta3.^2);delta_weight = delta_weight + delta3 * Green';delta2 = rbf.weight' * delta3 .* Green;for j = 1 : rbf.hiddenSizedelta_center(:, j) = delta_center(:, j) + delta2(j) .* (train_x(:, i) - rbf.center(:, j)) ./ rbf.delta(j)^2;delta_delta(j) = delta_delta(j)+ delta2(j) * sum((train_x(:, i) - rbf.center(:, j)).^2) ./ rbf.delta(j)^3;endend%%% step 2: update parametersrbf.cost = 0.5 * rbf.cost ./ numSamples;rbf.weight = rbf.weight - rbf.alpha .* delta_weight ./ numSamples; rbf.center = rbf.center - rbf.alpha .* delta_center ./ numSamples; rbf.delta = rbf.delta - rbf.alpha .* delta_delta ./ numSamples;endfunction greenValue = green(x, c, delta)greenValue = exp(-1.0 * sum((x - c).^2) / (2 * delta^2));end五、代码测试首先，我测试了一维的输入，需要拟合的函数很简单，就是y=2x。