ESN网络在机器人轨迹跟踪控制中的应用_杜佩君

修改稿收到日期:2012－09－17。

作者杜佩君(1988－)，女，现为兰州交通大学控制理论与控制工程专业在读硕士研究生;主要从事神经网络建模与控制的研究。

ESN 网络在机器人轨迹跟踪控制中的应用Application of the Echo State Network （ESN ）in Trajectory Tracking Control for Robots杜佩君(兰州交通大学自动化与电气工程学院，甘肃兰州730070)摘要：为了研究具有模型不确定性的机器人操作手的轨迹跟踪控制，采用一种新的递归神经网络———回声状态网络（ESN ）设计了动态控制器。

采用PID 控制器补偿ESN 网络的逆建模误差，并在网络训练过程中加入白噪声项，以保证动态系统的稳定性。

最后针对两关节机械手的轨迹跟踪控制问题进行了数值仿真，仿真结果表明了该方法的有效性。

关键词：神经网络回声状态网络（ESN ）机器人轨迹跟踪自适应控制中图分类号：TP183文献标志码：AAbstract ：To research the trajectory tracking control of robotic manipulator which features model uncertainty ，by adopting the new type of recurrent neural network ，i．e．，echo state network （ESN ），the dynamic controller is designed．The inverse modeling error of the ESN is compensated by PID controller ，and during network training ，white noise term is added for ensuring the stability of the system．Aiming at the trajectory tracking control of two-joint manipulator ，numerical simulation is carried out．The simulation results show the effectiveness of this method．Keywords ：Neural networkEcho state network （ESN ）RobotTrajectory trackingAdaptive control0引言机器人操作臂是一个高度非线性、强耦合、位姿时变的多输入多输出系统。

目前应用于机器人系统的非线性控制方法，如计算力矩法、最优控制、非线性滑模控制等，都在一定程度上依赖于对象模型，但在实际情况下很难获得机器人的精确数学模型［1－3］。

近年来，神经网络在机器人控制中得到了广泛应用，但前向神经网络从本质来说是静态网络，不适合动态系统的实时辨识。

递归神经网络（recurrent neural networks ，RNN ）由于存在输出变量到输入端的反馈，是真正的动态网络，然而RNN 缺乏一种简单有效的训练算法，很少应用于实际系统中。

回声状态网络（echo state networks ，ESN ）是近期由Jaeger 提出的一种新的RNN ［4］，其最大的特点是隐含层由几百到几千个稀疏连接的神经元组成，是处理复杂非线性系统的一种有效的工具，它在时间序列预测、混沌系统、系统辨识等领域都有成功的应用［5－9］。

回声状态网络ESN 在非线性控制领域也有成功的应用［10－11］。

ESN 在混沌时间序列预测上的预测精度达到了10－4．2。

本文针对以往递归神经网络难以训练及网络参数难以确定的问题，将ESN 网络应用于两关节机械手的轨迹跟踪控制中。

首先用ESN 辨识机械手逆模型；然后将ESN 网络辨识所得的模型作为机械手控制系统的前馈控制器，为消除ESN 网络的辨识误差，在控制系统中加入了一个PID 反馈控制器；最后针对两关节机械手的轨迹跟踪控制问题进行了数值仿真。

1机器人动力学模型一个两关节刚性机械手示意图如图1所示。

图1二自由度刚性机械手示意图Fig．1Schematic diagram of the rigid manipulator with two degrees of freedom在关节空间坐标中，两关节刚性机械手的动力学方程可以由二阶非线性微分方程来描述：D （q ）q ㊆+C （q ，q ·）q ·+G （q ）=τ+d（1）式中：q =［q 1q 2］T为关节角位移量；D （q ）为对称正定惯性矩阵；C （q ，q ·）为哥氏力和离心力项；G （q ）为重力矩向量；τ=［τ1τ2］T为控制力矩；d 为各种误差和扰动。

机械手动力学模型的具体参数如下：D （q ）=v +q 01+2γcos （q 2）q 01+q 02cos （q 2）q 01+q 02cos （q 2）q []01（2）C （q ，q ·）=－q 02q ·2sin （q 2）－q 02（q ·1+q ·2）sin （q 2）q 02q ·1sin （q 2）[]（3）G （q ）=15g cos （q 1）+8．75g cos （q 1+q 2）8．75g cos （q 1+q 2[]）（4）机械手神经网络控制的目的是：给系统施加一个控制力矩τ，使得关节位置角q （t ）跟踪参考位置指令q d （t ），并使式（5）所示的跟踪误差达到最小。

e （t ）=q （t ）－q d （t ）（5）2回声状态网络2．1回声状态网络基本原理及其结构递归神经网络是一种动态网络，能很好地反映系统动态特性，但由于其训练方法复杂，很少应用于实际中。

回声状态网络（ESN ）是2001年由Jaeger 首先提出的一种全新的动态递归神经网络。

由于ESN 训练的简便性和快速性，使其成为解决很多问题的重要途径。

网络采用监督学习（有导师学习），即给网络导师输入输出I /O 序列，以此产生的输出信号去逼近期望输出。

回声状态网络的基本网络结构如图2所示。

图2回声状态网络的基本结构Fig．2Basic structure of the echo state networkESN 网络分为3层：输入层、状态储备池、输出层。

其中，状态储备池由大量随机生成且稀疏连接的神经元组成，蕴含了系统的运行状态，并具有记忆功能，是一个巨大的动态记忆库（dynamic reservoir ，DR ），DR 中神经元之间的连接权在初始化时随机产生，并保持1% 5%的连接密度。

输入神经元在动态记忆库构建完成后再与隐含层中的所有神经元相连，输入层以及隐含层与输出神经元之间的虚线连接为输出矩阵。

回声状态网络的学习就是根据隐层状态矩阵和目标之间的线性关系确定输出连接权的值。

图2中，实线连接部分在网络训练前一经产生就不再改变，只有虚线连接部分是在网络训练中需要学习的部分。

即ESN 只需计算网络连接至输出层的权值便可完成网络学习，大大降低了以往基于梯度下降法学习的难度。

设网络有K 个输入变量、N 个内部状态变量、Y 个输出变量，则网络在n 时刻输入层、隐层、输出层神经元的状态分别为：u （n ）=［u 1（n ），．．．，u K （n ）］、x （n ）=［x 1（n ），．．．，x N （n ）］、y （n ）=［y 1（n ），．．．，y L （n ）］；网络输入层、隐层、输出层的连接权值以及由输出层反馈至DR 的反馈连接权值分别表示为：W in =w in ij ，N ˑK 阶；W =w ij ，N ˑN 阶；W out =w out ij ，L ˑ（K +N +L ）阶；W back =w back ij，N ˑL 阶。

ESN 网络动态记忆库（DR ）中神经元和输出神经元分别计算如下：x （n +1）=f ［W in u （n +1）+Wx （n ）+W back y （n ）］（6）y （n +1）=f out ｛W out ［u （n +1），x （n +1），y （n ）］｝（7）式中：f 为隐层神经元激活函数（通常为对称型sigmoid函数）；f out为输出层神经元激活函数（通常为对称型sigmoid 函数或线性函数）；［u （n +1），x （n +1），y （n ）］表示网络输入输出以及内部状态连接向量的合并。

2．2回声状态网络初始化ESN 网络动态记忆库（DR ）中神经元的初始状态都是随机产生的，即使没有外部激励，系统也有可能产生振荡或混沌现象。

因此，ESN 网络的动态记忆库DR 必须呈现出“阻尼”的动态特性，即网络从任意初始状态x （0）开始必须最终收敛于零，这种“阻尼”特性称为DR 的回声状态特性（echo state property ，ESP ）。

ESN 网络必须具备这种特性才能保证系统的稳定性。

这主要是通过选择合适的权值向量W 来实现。

由已知证明，当DR 内部状态连接权W 的谱半径小于1时，不论网络的输入权值W in 与输出反馈权值W back取何值，网络都具有回声状态特性。

权值向量W 产生步骤如下。

①随机产生内部权值矩阵W 0，且W 0为稀疏矩阵。

②正则化W 0，得到矩阵W 1=1/λmax W 0，其中λmax 为矩阵W 0的谱半径。

③给定一常数α＜1，使得W =αW 1，则W 的谱半径为α，其值小于1。

输入权值W in 、输出反馈权值W back以及隐层神经元初始状态x （0）随机取值，此时ESN 网络（W in，W ，W back ）初始化完毕。

2．3回声状态网络训练算法网络隐层神经元激活函数f 以及输出层神经元激活函数f out均取对称型sigmoid 函数。

给定一个长度为T 的导师I /O 输入输出序列［u （1），d （1）］，…，［u （T ），d （T ）］，并将其输入至网络，训练ESN 网络，使其输出y （n ）逼近导师输出d （n ）。

ESN 网络训练算法如下。

①初始化网络，x （0）、W in、W back随机取值。

W 由前述方法计算获得。

②网络输入端加入向量u （n ），输出端加入向量d （n －1），得到（n +1）时刻隐层神经元输出为：x （n +1）=f ［W in u （n +1）+Wx （n ）+W back d （n ）］（8）式中：当n =0时，取d （0）=0。

③从时刻T 0以后，将网络内部状态向量x （n ）收集至矩阵M 中，矩阵M 的阶数为（T －T 0+1）ˑN 。