过程神经元与过程神经网络模型

1 过程神经元与过程神经网络模型 1 过程神经元的定义 过程神经元是由过程输入信号加权，时间、空间二维聚合和阈值激励输出等四部分运算组成。与传统神经元M-P模型不同之处在于过程神经元的输入和连接权都可以是时变函数，过程神经元增加了一个对于时间的聚合算子，从而其聚合运算既包含对输入信号的空间加权聚集，亦有对时间过程效应的累积。过程神经元模型的结构如图3.1所示。

图3.1 过程神经元一般模型 图3.1中，)(),...,(),(21txtxtxn为过程神经元的时变输入函数；)(),...,(),(21twtwtwn为相应的连接权函数；)(K为过程神经元的聚合核函数；f (·)为激励函数，可取线性函数、Sigmoid函数、Gauss型函数等等。 按照空间聚合与时间聚合顺序的不同，过程神经元可分为两类基本数学描述模型，其输

入与输出之间的关系分别为： 模型Ⅰ： )))))(,)(((((tXtWKfy （3.1）

其中，)(tX为输入函数向量，)(tW为相应的连接权函数向量，y为输出，为激活阈限，“∑”表示某种空间聚合运算（例如，加权和），“∫”表示某种时间聚合运算（例如，对t积分）。 式（3.1）表示的过程神经元对外部时变输入信号先进行时间加权聚合，即先分别考虑各个时变输入信号对系统输出的加权时间累积效应，然后再考虑这些时间累积效应的空间聚合作用，最后通过激励函数的计算输出结果。其结构如图3.2所示。

图3.2 过程神经元模型Ⅰ 模型Ⅱ：

 y

)(1tx)(2tx

)(txn

f (·) K (·)

)(1tw )(2tw

)(twn

 y

)(1tx)(2tx

)(txn

f (·) ∫,∑,K

)(1tw )(2tw

)(twn 2

)))))(,)(((((tXtWKfy （3.2） 式（3.2）表示的过程神经元先进行空间加权聚集，即先考虑在同一时间点上多输入时变因素的空间聚合作用，然后再考虑空间聚合结果的时间累积效应。其结构如图3.3所示。这类过程神经元在实际中更为常用。

图3.3 过程神经元模型Ⅱ 值得注意：f、K、∑和∫可选各种算子，而且不一定可交换。因此，模型Ⅰ和模型Ⅱ并不等价。

例如：设 ∑= 加权和，∫＝积分，f=sign，vuvuK),(，则式（3.1）为

)))))()((((dttXtWsigny （3.3） 式（3.2）为 )))()((((dttXtWsigny （3.4）

进一步，可将过程神经元推广为输入输出都是时变过程函数的情况，例如： ))))(),((((()(tXtWKfy （3.5）

或 ))))(),(((()(tXtWKfy （3.6）

其中是一个依赖于的时间聚合算子，例如，在时间区间],0[或],[k之间的积分。这种过程神经元可用来建立具有多隐层的复杂过程神经元网络。 为表示问题方便，下面将式（3.1）和（3.2）中的空间聚合算子用“”表示，时间(过程)聚合算子用“”表示，则图3.2表示的过程神经元输入输出之间的关系可描述为

))())()(((KtXtWfy (3.7) 图3.3表示的过程神经元输入输出之间的关系为 ))())()(((KtXtWfy (3.8)

例如， niiitxtwtXtW1)()()()( (3.9)

TttKtAKtA0d)()()()( (3.10)

 y

)(1tx)(2tx

)(txn

f (·) ∑,∫, K

)(1tw )(2tw

)(twn 3

其中，],0[T为时变信号输入过程区间，)(K为],0[T上的一个可积函数，或更一般地设)(K

为一个一元泛函，定义 ))(()()(tAKKtA (3.11)

一般假设权函数)(tW))(),...,(),((21twtwtwn和时间聚合核函数（泛函）)(K均为连续的，实际系统大多如此。由式（3.7~3.11）描述的过程神经元，其内部运算由加权乘、积分、累加和以及激励函数组成，称之为狭义过程神经元。 其实，加权聚合算子“”和“”还可以取其它一些形式的运算，例如用max和min，或T–算子和S–算子来构成“”；“”可取褶积、含变参积分等，激励函数f也可以是任何形式的有界函数。由式（3.7, 3.8, 3.11）描述的过程神经元称为广义过程神经元。 过程神经元对不同实际问题的适应性和信息处理能力主要取决于时、空聚合算子的形式。过程神经元通过对训练集中样本的学习，可以对输入的时变信号特征产生过程性记忆，过程模式特征的提取和记忆以及对时变系统输入输出之间的映射关系反映在过程神经元的连接权函数上，因此它具有对时变模式的直接分类能力和类似于复合函数的函数映射能力。

多聚合过程神经元

其实，过程神经元的输入和输出函数并不一定仅仅依赖于时间，还可以依赖于其它多种因素，例如，某一实际系统的输入与空间位置),,(zyx和时间t有关，其输出是这些因素累积共同作用的结果，如泥石流的形成，土地砂化程度等，这时系统的输入函数形式应为),,,(tzyxui（ni,...,2,1），即多因素过程函数。如果用神经元网络对该系统进行仿真建

模，则神经元在对输入信息进行加工时，要对各变量和变量中的各种因素进行空间聚合和过程聚合，因此可将过程神经元扩展为多聚合过程神经元。 多聚合过程神经元的输入其一般形式为),...,,(21Pitttx，ni,...,2,1，],0[ppTt

),...,2,1(Pp，其中pT可以为0；输入通道的权函数为多元函数),...,,(21Pitttw。聚合算子可为一般的线性或非线性泛函算子，例如空间聚合算子可以取多因素空间加权和运算，多元过程聚合算子可以取例如多元多重积分、或其它多元代数运算等形式。作为特殊情况，多聚合过程神经元可以仅有过程聚合或仅有空间聚合。多聚合过程神经元的一般模型如图3.4所示。

 y

x1(t1,..,tp) x2(t1,..,tp)

xn(t1,..,tp)

w1(t1,..,tp)

wn(t1,…,tp) ⊕,,K f (·) 4

图3.4 多聚合过程神经元一般模型 其中，“”为n个多元过程输入函数的空间聚合算子，“”为多元过程聚合算子，)(K为聚合核函数。 图3.4表示的多聚合过程神经元输入输出之间的映射关系为： ))()),...,,(),...,,(((2121KtttXtttWfyPP （3.15）

如果“”取为空间加权和，“”为多元多重积分，核函数1)(K，则多聚合过程神经元输入输出之间的映射关系为

)...),...,,(),...,,(...(212121000112ppipTTTniidtdtdttttwtttxfyp （3.16）

3.5 模糊过程神经元 在实际中，经常遇到带有过程性模糊信息的处理问题。若将过程神经元的信息处理方式与模糊推理规则相结合，定义一种模糊过程神经元，将提高人工神经元的信息处理能力。可采用两种方法构建模糊过程神经元。一种是对过程神经元直接模糊化，将过程神经元对时变信号的信息处理机制与学习能力与模糊逻辑系统的推理机制相结合，构成一种新的模糊计算模型；另一种是由带过程性信息的模糊推理规则描述的模糊过程神经元，即每一个模糊过程神经元表示了一条模糊推理规则，多个模糊过程神经元按照一定结构组成的模糊过程神经元网络可构成一个模糊逻辑推理系统。本节的讨论均针对于带有过程性模糊信息的论域（模糊时变问题）进行。

3.5.1 过程神经元的模糊化

设KAAA~,,~,~21为论域U上的模糊集，接受域上的隶属度函数分别为),(),(2~1~AA ,)(~

KA。模糊过程神经元是由模糊过程信号加权输入、模糊聚合运算及模糊激励输出组

成，其结构如图3.5所示。

图3.5 模糊过程神经元 图3.5中，))(),...,(),(()(21txtxtxtxn，],0[Tt为神经元输入，可以是时变函数或过程性模糊信息；模糊过程神经元的连接权))(~),...,(~),(~()(~21twtwtwtwn可以是隶属度函数或

 y

)(~1tw

)(~twn

)(~2tw ＆,⊕,f

)(x1t

)(x2t

)(xnt