【CN110119805A】基于回声状态网络分类的卷积神经网络算法【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910387770.9
(22)申请日 2019.05.10
(71)申请人 东南大学
地址 210096 江苏省南京市玄武区四牌楼2
号
(72)发明人 夏亦犁　王新　裴文江　
(74)专利代理机构 南京众联专利代理有限公司
32206
代理人 蒋昱
(51)Int.Cl.
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称基于回声状态网络分类的卷积神经网络算法(57)摘要本发明提供基于回声状态网络分类的卷积神经网络算法，主要包括:用ESN代替CNN模型中的全连接层，并推导出了新的残差迭代公式，在此基础上该模型继续沿用CNN的反向传播算法训练CNN的隐藏层参数，以及使用线性回归法则训练ESN的输出权重。

通过在MNIST手写数字识别数据集、Fashion MNIST物体识别数据集和ORL人脸识别数据集上的仿真实验证明了本发明的可行性，同时实验结果反映出该模型既保留了CNN多层次特征提取的能力，又通过引入ESN模块减少了算法的训练时间以及提升了其在小样本数据
集上的性能。

权利要求书3页 说明书6页 附图2页CN 110119805 A 2019.08.13
C N 110119805
A
1.基于回声状态网络分类的卷积神经网络算法，其特征在于：所述基于回声状态网络分类的卷积神经网络算法包含卷积层、池化层和ESN层三种结构，所述模型的前向传播算法和反向传播算法的给出如下；
E -CNN的前向传播算法：
E -CNN的前向传播算法按照该隐藏层的类型可分为以下三种情况：
(1)该隐藏层是卷积层的情况；
设第l层是卷积层，则l的取值范围是l＝2,3,...,L -1，
其中第L层表示网络的输出层，表示第l层的第i个输入图片或特征图，共有I个图片或特征图，a j n ,l 表示第l层的第j个输出特征图，共有K个输出特征图；W ij 表示
向a j n ,l 映射的卷积矩阵，b j l 表示为该过程的
偏置，
则该卷积层的运算过程可表示为:其中，“*”表示第l层的卷积核与第l -1层各个输出特征图进行不补零卷积操作；σ(·)表示该隐藏层的激活函数；
(2)该隐藏层是池化层的情况：
设第l层是池化，该层池化矩阵的大小为k ×k；该层的一个输入及其对应输出分别表示为a n ,l -1、a n ,l ，
则池化操作的表达式如(2)所示；
其中，down(·)表示下采样函数；
(3)该隐藏层是ESN层的情况：
首先将ESN层可以转化为一个包含两个隐藏层的网络结构，其a n ,L -1(t+1)表示t+1时刻ESN的第n个输入；h n (t)表示与a n ,L -1(t)对应的储备池状态向量；a n ,L -1(t+1)与h n (t)分别经过W in 、W R 两个权重的处理输出为h n (t+1)；h n (t+1)表示与aa n ,L -1(t+1)对应的储备池状态向量，设aa n ,L -1(t+1)＝h n (t+1)＝f(zz n ,L -1(t+1))为一个中间输出变量，t+1时刻第n个储备池
状态向量表示为：
其中，W in 、W R 分别表示储备池输入矩阵、储备池矩阵；f(·)表示储备池激活函数，这里取tanh，t+1时刻第L层第n个输出可表示为：aa n ,L -1(t+1)经输出权值W out 加权后，再经过一个激活函数σ(·)处理后的输出向量，即
权　利　要　求　书1/3页2CN 110119805 A。