基于多Agent的电动汽车底盘智能控制系统框架

基于多Agent的电动汽车底盘智能控制系统框架殷国栋;朱侗;任祖平;李广民;金贤建【摘要】为了解决传统集成控制框架灵活性和可扩展性不足以及传统汽车底盘控制系统不适用于新型分布式轮毂电机驱动纯电动汽车的问题,提出了基于多Agent 的四轮独立驱动纯电动汽车的底盘智能动态综合控制系统框架,分析了框架各个层次的功能和相互关系.以底层控制层中直接横摆力矩控制Agent为例,搭建控制器Agent模型.在MATLAB/Simulink和Carsim联合仿真环境中对前轮转向角阶跃输入工况进行仿真试验.仿真结果表明,搭建的控制器Agent较好地实现了预期的动力学控制目标,有效改善了车辆的横向操纵稳定性能,奠定了控制框架的基础.【期刊名称】《中国机械工程》【年(卷),期】2018(029)015【总页数】7页(P1796-1801,1817)【关键词】电动汽车底盘;多Agent;控制框架;直接横摆力矩控制【作者】殷国栋;朱侗;任祖平;李广民;金贤建【作者单位】东南大学机械工程学院,南京,211189;东南大学机械工程学院,南京,211189;东南大学机械工程学院,南京,211189;东南大学机械工程学院,南京,211189;东南大学机械工程学院,南京,211189【正文语种】中文【中图分类】U461;TP2730 引言四轮独立驱动纯电动汽车通过轮毂电机直接驱动车轮，大大增加了底盘的可利用空间，减少了差速器、变速器等机械传动装置，提高了传动效率，并且可以通过对各个电机的单独控制来实现各种主动控制策略，使汽车适应不同工况下的行驶环境［1］，然而耦合强、不确定参数多和随机工作环境下的动态非线性一直以来都是车辆系统动力学的研究难点。

国内外众多机构对汽车子系统之间的控制进行了研究。

目前常见的控制方案以分层集成控制为主，这种方式在子系统数目较少时相对容易实现，但是随着子系统数目的增加，各基本控制单元功能冲突干涉逐渐明显，不仅设计难度急剧增大，而且也使得系统缺乏柔性，不利于系统的扩展，此外，传统汽车底盘控制系统并不完全适用于新型的四轮独立驱动纯电动汽车。

在汽车控制功能不断丰富，控制目标不断增多，对环境动态适应性要求不断严苛的现实情况下，合理统一的电动汽车底盘综合控制系统的缺乏已经限制了汽车智能化水平的提高。

本文提出基于多Agent的智能动态综合控制系统框架，将每个车辆控制子系统从功能上进行划定，优化各个子系统的控制目标，以此建立总体的协调决策机制，满足车辆在不同情况下多目标在线优化调节的需求。

1 基于多Agent的底盘总体控制系统架构Agent个体能够通过环境感知获取外部环境信息，并及时作用于环境，以满足其设计目标的计算实体或程序，并可以通过通信模块与其他Agent进行信息交流，具有良好的反应性、自治性和灵活性［2］。

多Agent系统指由多个Agent组成的系统，是分布式人工智能的重要分支［3-4］，能够解决单个Agent由于能力或其他原因不能解决的问题，具有很高的智能性，在汽车领域得到了广泛应用［5-6］。

牛礼民等［7］利用分层递阶控制结合多Agent理论的方法，解决了半主动悬架和电动助力转向的匹配和协调控制问题。

由此可见，多Agent系统可解决四轮独立驱动纯电动汽车强非线性、系统耦合等问题，加之其良好的框架拓展能力，特别适用于四轮独立驱动纯电动汽车底盘这样具有多层次需求的系统。

本文提出基于多Agent的四轮独立驱动纯电动汽车底盘智能动态综合控制系统，其框架见图1。

系统分为环境层、信息融合层、协调决策层、底层控制层和执行层。

在智能协调决策控制的基础之上，尽可能全面地考虑系统各级控制目标，通过多Agent系统实现四轮独立驱动电动汽车的综合控制。

本文构建的多Agent系统是一种以子Agent单元为基本节点的全局思维框架。

这里需要说明的是，图中环境层和信息融合层以及执行层中四轮独立驱动电动汽车模型因位置限制而在两处分别表示，其实为同一模型。

图1 控制系统框架示意图Fig.1 Diagram of control system framework1.1 环境层和信息融合层Agent之间的交互和协调是多Agent系统解决问题的关键，而被控对象状态参数的精确获取是能够实现底盘快速有效控制的前提，也是制定Agent之间协调控制规则的重要依据［8-9］。

信息融合处理主要是对四轮独立驱动电动汽车的各类传感器测量信号进行处理，实现对车辆状态参数的估计。

汽车自身参数包括整车质量、质心位置与横摆转动惯量等，环境参数主要包括路面坡度和路面附着系数等。

车辆状态估计的对象主要包括车辆的质心侧偏角、侧向速度和纵向速度这类难以直接测量的变量。

通过对状态参数的估计，一方面能够保证多Agent系统对某些状态和参数的需求，另一方面，能准确获取车辆的状态参数信息，为车辆故障诊断和检测系统的实时检测与预警提供准确的信息［10］。

1.2 协调决策层协调决策层是控制框架最重要的部分，包括决策推理Agent和协调控制Agent，旨在满足不同情况下车辆底盘操纵稳定性、行驶安全性和乘坐舒适性等多目标在线优化调节的需求。

为了使车辆适应复杂的工况，Agent的智能性要不断增强，这要求Agent必须具有学习能力。

强化学习可使智能Agent具有在线学习的能力，通过与动态环境不断交互进行学习来达到期望的目标［11］。

基本原理为：如果Agent执行某个行为策略得到环境正的奖赏，则Agent以后产生这个行为策略的趋势就会加强。

本文认为决策推理Agent可以采用强化学习的方法使底盘Agent进行学习，实现Agent的性能指标最优。

强化学习模型见图2。

图2 强化学习模型Fig.2 Model of reinforcement learning强化学习问题可以采用马尔可夫决策过程（Markov decision process，MDP）的形式［12］。

MDP可由五元组定义：〈S,A(s),p(s,a,s′),r(s,a),V|s,s′∈ S,a ∈ A(s)〉式中，S为全局状态变量集，包含系统所有可能的状态；s′为下一时刻系统可能的状态；A(s)为状态s下所有可能执行动作的集合；p(s,a,s′)为在时刻t处于状态s、采用动作a后在下一个时刻点t+1转移到状态s′的概率；r(s,a)为在时刻t处于状态s、采用动作a后所获得的回报；V为目标函数。

定义状态-动作对的估计为Q，可得方程［13］：式中，(s,a)为t时刻的状态-行为对；η为折扣因子。

在p和r已知的情况下，可以得到最终的Q值。

而Q学习算法作为强化学习的一种，无需知道环境模型，可直接根据Agent实际经历的状态进行学习，只需要考虑当前的状态和可选择的动作，无需知道状态转移函数，所以本文认为决策推理Agent可以采用Q学习算法。

Q学习算法行为值函数迭代公式如下［14］：式中，α为学习因子。

博弈论为多Agent系统的协调控制提供了良好的解决方法［15-16］。

与静态博弈不同，本文底盘多Agent系统是在连续且动态变化的环境中工作，博弈中局中人即各控制子Agent的行为策略本质上是控制行为。

微分博弈（对策）是一种连续时间域的动态博弈［11］，是指在微分方程描述的运动系统中，各个Agent试图最优化各自的控制指标并持续进行博弈，最终到达利益均衡状态。

本文协调控制Agent采用微分博弈的方法，对底盘控制Agent之间存在耦合和相互影响的地方，针对不同工况下车辆底盘对于操纵稳定性、行驶安全性和乘坐舒适性的多目标在线调节要求，进行动态协调控制。

1.3 底层控制层本节对整个底盘的控制子系统进行功能划定。

由于轮胎复杂的非线性特征，底盘在纵向、横向和垂向有着严重的耦合关系，见图3［17］。

按照不同的主要控制目标划分，底盘主动控制子系统可分为纵向控制、横向控制、垂向控制三大类，各自主要对应行驶安全性、操纵稳定性和乘坐舒适性三大主要控制指标。

本文以纵向、横向和垂向三大控制系统建立控制器Agent。

纵向控制方面可拓展为防抱死控制Agent和驱动防滑Agent等；横向控制方面可拓展为主动转向Agent和直接横摆力矩控制Agent等；垂向控制方面主要可扩展为主动悬架Agent和半主动悬架Agent［18］。

以底盘能量管理为Agent，建立纯电动汽车底盘能量最优控制。

1.4 执行层图3 底层控制层示意图Fig.3 Diagram of underlying control layer如图1所示，执行层是系统框架的最底层，将车轮转向角δ、制动力矩Tb、驱动力矩Td、悬架控制力F等信号，具体作用于电动汽车底盘各执行机构，实现对车辆底盘的控制。

2 仿真模型的搭建操纵稳定性是汽车主动安全性能中极其重要的性能指标，对底盘控制的重要性不言而喻，一直是车辆领域重要的研究方向，也是本文框架横向、纵向和垂向控制对应的极其重要的控制指标。

直接横摆力矩控制系统是应用最广泛的汽车主动安全控制系统之一，也是本文框架底层控制层中不可或缺的重要组成部分，它可以在恶劣的行车环境中提高车辆的操纵稳定性。

本文在搭建基于多Agent的底盘智能综合控制系统框架的基础上，设计搭建直接横摆力矩控制（direct yaw-moment control，DYC）Agent的控制器模型，并在MATLAB/Simulink和Carsim联合仿真环境中进行仿真试验。

以框架底层控制层横向控制中能够改善车辆操纵稳定性的DYC Agent为例，进行以子Agent为基本节点的控制单元的搭建以及控制指标的优化研究。

本文采用车辆线性二自由度模型作为参考模型，设计基于模糊控制的上层控制器和下层扭矩分配器。

2.1 线性二自由度参考模型根据上文阐述，DYC Agent主要研究车辆的操纵稳定性，因此采用线性二自由度参考模型。

线性二自由度模型方程为式中，m为汽车质量；vx为汽车纵向速度；vy为汽车侧向速度；Cf、Cr分别为前轴、后轴等效侧偏刚度；lf、lr分别为前轴距、后轴距；Iz为车辆绕z轴转动惯量；δ为前轮转角；β为质心侧偏角；γ为横摆角速度。

根据二自由度模型，车辆的理想横摆角速度式中，L为汽车轴距；Ks为稳定性因数［19-20］。

为使车辆转向瞬态响应较为柔和，对式（3）串联低通滤波环节，车辆的期望横摆角速度式中，τ0为一阶惯性环节时间常数，一般取经验值0.1。

横摆角速度上限式中，μ为路面附着系数；∂为经验常数，一般取0.15；g为重力加速度。

一般情况下，质心侧偏角都很小，为了简化计算，本文取理想质心侧偏角为0。

根据经验公式，质心侧偏角的上限2.2 附加横摆力矩模糊控制器设计上层控制器采用模糊控制的方法对附加横摆力矩进行控制。

输入变量为横摆角速度和质心侧偏角的偏差量eγ、eβ，输出变量为附加横摆力矩Mz。