外文翻译

附件1：外文资料翻译译文

脑情感学习型智能控制器的全方向三轮式机器人的运动控制摘要：一个用于控制一个全方位的机器人的运动的智能控制器，该控制器是

基于大脑情感学习的算法，这是从哺乳动物大脑的边缘系统的计算模型获得的的

启发。大脑情感学习型智能控制器，线性二次调节器（LQR）控制相媲美，二次

奖励（BELBIC）用于在一个全方位的机器人。通过仿真和实验实施BELBIC改

善控制系统性能的结果。结果表明，该方法可以用于更有效的实际问题。优化控

制工作或其他目标，如能量最小化，更多的关注构成了该方法的其他优点。

关键词-大脑情感学习型智能控制器（BELBIC）；情感学习；线性二次调节

器（LQR）；MIMO系统;全方位的机器人。

介绍

随着人工智能和学习方法的发展，这些方法的应用被用于各个领域，像控制，机器人学，政策制定等其他领域。数据驱动和基于规则的方法在近几年比以决策

为基础的方法应用更广泛，这也是真正的全向移动机器人。机器人的主要基本运

动控制方法已经被应用于经典控制器，像PID控制使用了该系统的数学方向和逆

向运动学。但是最近模糊控制器，甚至神经网络已经非常频繁的使用用来代替以

前的方法[1-4]。由于机器人在现实世界中面临的不确定性，预先设计的控制器可

能会有一些缺点，这些不明朗的因素，包括环境中的波动，机器人的目标和能力。因此，我们鼓励对使用控制器的学习，使它们更好的适应现实世界，在本文中，

我们研究使用脑情感学习型智能控制器 (BEL-BIC)的机器人的运动控制。对于

第一部分，我们通过LoLiMoT算法[5]评估我们的环境仿真模型，然后，我们会

拥有对一个真正的机器人控制器应用的评价。

线性二次调节器（LQR)是一个强大的最优控制器，但是新的问题是，它面

临着不确定性。LQR的主要缺点出现在它结合观测器和LQR控制时[6]，像LTR

及其扩展，永远不会完全的返回自身的坚固性，转换到自适应学习的方法是不可

避免的，结合周围的一些基于最优控制方法的研究通过最近的学习方法[7][8]。

另一个最佳方法是B ang-Bang及其它的扩展，这是一种在全向移动控制机器人中的流行方法[9][10]，这种方法的目的是从一个给定的初始状态到一个理想的最终状态寻找最短时间路径[11]。

我们的机械式团队制造的机器人之间的分歧是不可避免的。机器人会在组装方式上有所不同，这导致很难使用需要精确模型的方法。另一方面，模型在环境变量中的不确定性是不可预测和不可嵌入的，通过添加复杂的确切动态模型来找出确切的模型在这种系统的情况下是不可能的。这也是直接使用BELBIC控制器的原因，这些机器人的运动（它也被用在一些其他应用程序之前[12]-[16]）。这样做的主要目的是机器人一直跟踪设定点，而且我们增加了减少控制工作的条件约束，因此，控制并不会廉价，这意味着控制工作的重要。因此，系统将尝试消耗更少的能源来衡量控制的成果，这也是最优控制方法的目标之一[6]。换句话说，把能源消耗控制在最小除了复杂的军事演习。这是文献中最常见的移动机器人的宗旨[9][10][18]，也是我们的宗旨.然后，他不仅要达到目标，而且认为能源和效率不能选择较长的道理（或者说路径消耗更多的能源），这意味着机器人将更快的移动并且电池将更早的消耗一空，此外，尖锐的军事演习将导致更高的电池消耗和本地化的不确定性的增加，这意味着优先考虑平滑悠长的路线，而不选择短而有急转弯的路线。

对于这种情况，我们从最优控制功能的成本获得了一种情感功能的灵感，情感信号被定义为随着时间推移的现场的误差和控制误差的积分，因此，产生了一个信号展示压力值，我们的目标是尽量减少这种压力，使用此功能时，我们获得了使用性能BELBIC提到的测试床。

本文的其他部分组织如下，第二节解释三轮机器人和他们的制作。第三节，我们有一个BELBIC和其底层结构的解释。第四节通过BELBIC做出控制机器人的模拟结果。第五节演示使用BLEBIC的真正的机器人。最后，第六节为本文的结论。

Fig. 1. One of the robots that are used for the experiments. Each robot hasthree wheels and each of the

wheels has a separate brushless motor.

Fig. 2. Main electronic boards that are mounted on the robots.

Fig. 3. Boards mounted on the robots for providing wireless communication.

二三轮机器人

三轮机器人是机器人的一种，使用在很多领域。他们有三个全向移动车轮能随时向任何方向移动（换句话说，它们是全向移动机器人）。三轮机器人要比四轮机器人要有优势，因为它具有较小的规模和更少的设备要求，使用这类机器人面临的主要问题是机器人的运动控制，如何使机器人运动到理想的位置，图4显示了一个三轮机器人，三个轮子角度和方向的示意图(机器人如图1，机器人主板如图2，机器人无线控制模块如图3）。

车轮的速度和位置的变化值和机器人的角度之间的关系根据固定的坐标标注在（1）和（2）

在（1）中，变量X和Y,并指定位置ψ和机器人固定的协调方向，R为车轮半径，Li

代表轮子i到机器人中心的距离，δ是机器人的运动方向和第一方向轮之间的角度（详细注释如图4)。最后，θi指定为轮子i的速度。

Fig. 4. Schematic model of three-wheel robot. L i is the distance from the Wheel i to the center of the robot and δ is the angle between the direction of the robot and direction of the first wheel.

正弦函数M矩阵的存在时模型变得非线性，此速度之间的关系的前提是没有真正的机器人电动机，而且不同的电动机也有不同的确切行为，另一方面，很多因素都没有在模型中考虑，例如，车轮在地板上打滑（虽然我们没有确定地板上运动的方程），视觉系统相对于控制器的反馈频率具有延迟和较低的相机帧数。另一方面，相机的输出应该同步虽然不精确的知道相机的距离和存在不确定性。另外一些增加不确定性的其他因素如，不同规格的电机，车轮和中心机器人的距离，机器人的重量分布不平均，主轮上的外围滚筒和打滑的可能性都不是容易设计的。在一般情况下，我们已经跳过了环境中的许多影响因素，它们不会在建模中被考虑，因为所有这些，只会使建模过程更加复杂。电机输入三个脉宽调制（PWM）的目的是控制机机器人的位置和方向,由于每个车轮的运动影响到其他车轮和整个机器人的运动，因此，产生的运动力和电压之间的关系变的十分重要。

三 BELBIC

Moren和Balkenius提出了学习自哺乳动物脑的情绪学习的计算机模型，这也是BELBIC的基础[12][13],在2004年Lucas引入了BELBIC作为控制器，并运用情绪控制的

方法设计了一个控制器，在控制工程中这是一个新概念[17]。永磁电机控制，智能洗衣机，航天发射车辆，是它的一些应用[14]-[16]，它可以证明它在其他领域的表现，如电力系统控制在多智能环境中的决策，甚至桥式起重机模型的控制[15],[16],[19],[20]。

基于情绪功能的建模在控制机工程中取得的成功[12]-[16],[21],[22]，本研究的主要目的是利用基于哺乳动物大脑边缘系统的结构模型，决定和决策控制工程的应用。BELBIC被用于几个应用程序[14]，[23]。它的表现甚至比基于强化学习的情感功能模块更好[24]，[25]。网络模型已经被采纳和发展，作为一个计算机模型，大致模拟扁桃体，前额皮层，丘脑，感觉输入皮质，这些部分的大脑思维负责处理情绪，我们对BELBIC的利用，直接的方法是通过智能系统控制器的自身功能。使用BELBIC最困难的问题是，我们的系统是多输入多输出（MIMO），因此,情感线索和感觉输入的规范会更加复杂。控制器的输入是理想的位置和方向（X，Y)，即每个车轮的速度（三速)，和当前角度（等同于7个输入）。输入电压被应用到电机，使机器人向所需方向移。应当指出，在此之前BELBIC尚未应用在MIMO。在本节中，我们首先描述BELBIC的一般方面，然后对我们提到的问题展现BELBIC的应用。

BELBIC的主要行动产生机制是基于感觉输入和情绪线索（图5位模型展示，图6位控制系统使用的BELBIC演示图），情感学习主要发生在扁桃体和扁桃体的学习规则中，被制定在（3）中

ΔGα=K1max(0，EC—A)SI (3) Gα是扁桃体连接的增益，K1是扁桃体学习的步骤，EC,SI和A分别为情感线索，感觉输入的值，每个扁桃体的输出时间。同样的，前额皮质的学习规则如（4）所示，受到原始生物的启发，任何不恰当的反应都被抑制在这个区域。

在（4）中，G O是前额的连接增益，K2是前额皮层的学习步骤，MO是整个模型的输出，它可以被计算为(5)，其中，O代表前额皮层的输出。

ΔG o=K2(MO—EC)SI (4)

Fig. 5. Abstract structure of the computational model mimicking some parts

of mammalian brain.

Fig. 6. Control system configuration that uses BELBIC.

当感官信号SI被输入时，该模型会计算扁桃体和前额皮层的内部信号，关系为（5）和（6），最后提取输出的MO（7），在图5中，为情绪系统结构

A=Gα*SI (5)

O=G o*SI (6)

MO=A—O (7) 基于情感学习的控制器有合理的稳健性和对不确定性的处理能力[1]，[14]，并且简单易用，可以轻松实现。通过利用我们的Moren-Balknius模型作为控制器，应该指出的是，它基本上是转换俩套输入信号（感觉输入和情感线索)到最终输出。图6显示了这项研究的控制电路的结构实施，情感线索和感官输入的实施在（8）和（9）中给出，分别为，

EC=sign（SI)∫t（e T Qe+u T R c u)λ(t-τ）dτ（8）

S=M*e （9）EC，u，M，T，λ和e分别是情感线索，控制效果，第二节所述的转移矩阵，达到目标所需时间，遗忘因子，系统误差。顺便说一下，Q和R分别是确定比对错误控制结果和确保EC拥有类似LQR功能的系数。这些参数必须通过一个合理的选择调整设计成一个满意的控制器，这俩个信号的选择，考虑到以下几个参数。

1）感官输入的控制信号时一种对环境感知的解释。因此，他应该有识别错误的功能，但是，机器人的错误不能单独的确定每个轮子的信息，如果我们考虑三个轮子如入电压的错误值，我们定义一个SI，如果我们使用转换矩阵M把机器人的位置误差定义到每个车轮，那么它就是合理的。

2）首先，我们要确定为机器人考虑的情感类型，我们考虑应力性质的错误，意味着错误绝对值的增加表明工作系统是不可取的，对于EC的定义（8），显示了这个特点，在（8）中定义EC，表明了控制效果的增加和在T中误差使压力增加的特性。考虑λ<1时，重视比较最近收集的数据和较早收集的数据的比较。另一个要考虑的方面是定义EC为情感线索和控制信号（MO）的比较，所以它的价值应该围绕MO，这也是使用符号函数（8）用来调整方向的原因。

该控制器的主要优点是有适应新条件的能力，高速的学习，避免设计师手动的为每个机器人协调控制器，其性能可以通过它的准确性和理想的运动速度来评估。一个学习型的控制器的主要特点是它们在新的条件下的适应性，这是我们在RoboCup2009小规模比赛的经验。在今年，比赛的地面和我们的大有不同，换句话说，比赛用的地毯没有任何绒毛，而我们训练时用的地毯有很深的绒毛，不同的摩擦制造了很大的难题在我们用以前的控制器时，但是被我们的BELBIC控制器轻松解决。

另一个例子可以更好的说明这个控制器的优势，当机器人竞争追球时，它们之间可能相互推搡，在这种情况下能源消耗和电流会增大，可能会烧坏一些超过电流限制的主板。但是学习型控制器可以调节能量使其不被浪费，这个结论来源于我们认为情感线索的控制力和注入更多的压力会被尽可能快的阻止。

四仿真结果

在本节中描绘了设计的BELBIC的性能，在机器人的运动执行系统识别和实现电机电流，速度，命令和机器人的下一个状态之后，我们设计了一个像前一节描述的结构的BELBIC。我们的方法最引人注目的一点事引用了一个强大的算法，即LoLiMoT如图8。虚线和识别的结果基本等同于实际机器人的输出，有关此过程的更多信息的解释详见[26]。

Fig. 7. (a) Motion of the robot to reach the random goals. (b) Motion of the robot in a closed curve (the triangles are the targets of each step and the line showsthe position of the robot). The robot has started from

coordinate (0,0) and the units are meters.

Fig. 8. Results of the identification of the angle of the robot. The horizontal

axis is time in seconds and the vertical axis is angle in radians.

在本节中，我们设计的BELBIC控制器的性能正在调查之中，经过鉴定机器人的运动行为，我们设计了一个上节描述的BELBIC控制器，输出直接由BELBIC控制器产生，每隔30ms一次（时间取决于实际系统的限制）。为了评估BELBIC控制器的表现，我们制定了一个随机的机器人路径，此路径每俩秒在道路上产生目标点，图7显示了机器人7秒的运动路径。

机器人大部分时间精确的走完了如下路径，通过这些结果，我们看到了该算法的准确性是令人满意的，在学习的过程中提高性能，他甚至变得越来越好。上述数字展示了机器人的学习表现，要了解该控制器的质量，在模拟环境中队BELBIC的评估正在进行中。控制器和其他方法之间的比较，将在下一节进行。换句话说，模拟试验台是第一步，如果不能满足模拟，那么它用永远不会在现实中实现。

五实验结果

设计的控制器也用一个真正的机器人进行实验结果的评估。我们的测试床是我们制造的曾经参加过RoboCup2008的小规模足球机器人。BELBIC控制器的参数在以前的讨论小组讨论过，这个控制器，和模拟的一样，输出每隔30ms产生。

Fig. 9. Motion of the robot in a closed curve. The targets are given by mouse and they nearly form a square. The goal is reaching the targets with minimum errorand it is achieved with good precision (the units are

meters). (a) Without BELBIC. (b) With BELBIC.

Fig. 10. Motion of the robot in a star-like path. The goal is reaching the targets with minimum error and it is achieved with good precision (the units are meters).

(a) Without BELBIC. (b) With BELBIC.

Fig. 10. Motion of the robot in a star-like path. The goal is reaching the targets with minimum error

and it is achieved with good precision (the units are meters).

(a) Without BELBIC. (b) With BELBIC.

Fig. 10. Motion of the robot in a star-like path. The goal is reaching the targets with minimum error and it is achieved with good precision (the units are meters).(a) Without BELBIC. (b) With BELBIC.

为了评估BELBIC控制器的性能，我们指定4个点形成一个正方形，机器人从其中一点开始运动，通过其他的点，并最终回到起点。我们给这个测试设置俩个不同的条件：第一，采用经典控制器，机器人轮子的方向和速度之间的关系。在经典控制器中，我们有3个步骤，第一个是确定V x，V y和ω达到最优的路径，然后像第二节所述一样将他们转换成车轮的速度。最后，PID控制器实现低级别电子结构的速度控制。Bang-Bang 是我们在文献中寻找到的最佳方法[9]，[10]。机器人的移动路径图9显示了这种方法的结果。第二个测试，用BELBIC控制器引导路径上的机器人（图10显示了明星般的路径结果）。正如图9所示，起初机器人运动在一个错误的路径上，但是一会之后，它学习并改善了要到达路径的决策。图9显示了这种方法的表现，机器人可以迅速的修改其参数并遵循合理准确的运动路径（比较路径的其余运动）。请注意，在第一种方法中，机器人虽然可以在一定程度上达到某个点，但是存在很多扰动精度不能满足。而在公平的精度下BELBIC控制的机器人几乎直接到达终点。除此之外请注意我们没有任何传感器，我们只是利用操场上的相机和一些编码器来衡量车轮的速度，正如图6所示，运动控制器把所需速度发送给PID模块，并尝试调节使用轴型编码器的电机速度，轴型编码器的一半分辨率应用于测量电机速度和控制命令产生的错误。要确定机器人的实际位置，要使用相机的图像，相机比安装在4m的高度(如图6）。通过检测机器人上表面的彩色标签定位，此外，操场上有视觉校准系统，这种方法由Zickler等人提[27]。在2010

年的RobotCup中引入是我们的共同愿望，没有其他的传感器被用于这种环境下的定位。

Fig. 11. (Top) Speed of Motor 1 without BELBIC and (bottom) with BELBIC. The velocity unit is round per minute and the time unit is milliseconds.

Fig. 12. (Top) Speed of Motor 2 without BELBIC and (bottom) with BELBIC. The velocity unit is round per minute and the time unit is milliseconds.

per minute and the time unit is milliseconds.

Fig. 14. Schematic of the controller.

经典控制器包括四个部分：PID控制器对每个电动机的转速控制，转矩控制的无刷电机，把机器人的运动转换成车轮速度和位置控制的经典控制器，即逆向运动学。我们在2009年小规模冠军联赛比赛（SKUBA)使用了PI控制，这是通过我们的控制器实行三轮机器人（他们的是四轮）的比较。图14所示的结构式他们的控制器，关于他们的方法的更多解释在Scuba ETDP[18]。结果表明。地毯的质量会给控制器带来难度，他们可以通过转矩控制减少这个问题，但是不能完全消除。然而，用我们的方法在快速训练之后，控

制器在新的领域会学习自动管理这个问题[18]。

六结论

本文提出了利用一种基于BELBIC模型的新的情感控制器来进行完整的三轮机器人的运动控制。我们设计的控制器使用的直接的方法，然而基于最优控制器的间接方法也可以实现，但是似乎在这种情况下直接的方法更有效。我们的系统是MIMO，这是最有挑战性的问题，这也可能是采用一个简单关系的BELBIC时EC和SI显示的一个可接受的性能。本研究的重要组成部分之一是在实际应用中感情机器人的学习问题，这项研究的另一个特点是设备数量有限，这是被用来唯一感觉输入摄像机图像和编码器速度的车轮。

比较控制结果的程度体现在电机（命令)所需的速度，表明BLEBIC可以减少控制工作进行理想运动，这个目标的确认定义了来自LQR灵感的EC，当然饱和和电气限制（如电流限制），切割电压最大值，以避免高电流流量扰动控制是因为一些车轮的速度将受到限制，然后下降。这意味着，没有得到想要的运动，一种解觉方案是正常化速度以防止这种影响，但这会导致其他问题如电机命令震荡，用这种方法调整控制的结果已经得到了相当的重视（如图11-13）。

致谢

作者感谢Azad大学Qazvin机电研究所小尺寸机器人团队的成员：O.B.Babersad，

M.Hooshyari，S.Esmaeelpuorfard，A.Azidehak对这个项目的支持和帮助。