无线传感器网络中基于MDP的MAS协作策略的优化及分布执行
无线传感器网络中的分布式算法与协同控制方法
无线传感器网络中的分布式算法与协同控制方法无线传感器网络（Wireless Sensor Network，WSN）是由大量分布在特定区域内的无线传感器节点组成的网络系统。
这些传感器节点具有自我组织、自动感知、自适应等特点，能够感知和采集环境中的各种信息，并将其传输到网络中心。
在无线传感器网络中，分布式算法和协同控制方法起着至关重要的作用。
一、分布式算法在无线传感器网络中的应用分布式算法是指在无线传感器网络中，各个节点通过相互通信和协作，共同完成某个任务的算法。
在无线传感器网络中，节点之间的通信是通过无线信号进行的，而且节点之间的通信距离有限，因此需要采用分布式算法来实现节点之间的协同工作。
分布式算法在无线传感器网络中有广泛的应用。
例如，在环境监测领域，无线传感器网络可以用于监测空气质量、水质污染等环境参数。
在这种应用场景下，分布式算法可以用于节点之间的数据融合和信息传输，从而实现对环境参数的准确监测和分析。
另外，在军事领域，无线传感器网络可以用于目标探测和跟踪。
分布式算法可以用于节点之间的目标定位和路径规划，从而实现对目标的准确追踪和监测。
二、协同控制方法在无线传感器网络中的应用协同控制方法是指在无线传感器网络中，通过节点之间的协作和协调，实现对网络行为和节点行为的控制和调节的方法。
在无线传感器网络中，节点之间的通信和协作是实现协同控制的基础。
协同控制方法在无线传感器网络中有重要的应用。
例如，在智能交通系统中，无线传感器网络可以用于实时监测交通流量和道路状况。
协同控制方法可以用于节点之间的数据传输和决策，从而实现对交通流量和道路状况的实时控制和调节。
此外，在工业自动化领域，无线传感器网络可以用于实现对生产过程的监控和控制。
协同控制方法可以用于节点之间的数据采集和控制指令的传输，从而实现对生产过程的自动化控制和调节。
三、分布式算法与协同控制方法的挑战与发展然而，无线传感器网络中的分布式算法和协同控制方法也面临着一些挑战和问题。
无线传感器网络的边缘计算与协同处理方法
无线传感器网络的边缘计算与协同处理方法无线传感器网络（Wireless Sensor Network，WSN）是由大量分布在空间中的无线传感器节点组成的网络。
这些节点能够感知、采集和传输环境中的信息，从而实现对环境的监测和控制。
随着物联网技术的发展，无线传感器网络在各个领域得到了广泛的应用。
然而，传感器节点的资源有限，包括计算能力、存储容量和能源等。
为了提高网络的性能和效率，边缘计算和协同处理成为了无线传感器网络中的重要技术。
边缘计算是指将计算任务从云端移动到网络边缘的过程，通过在传感器节点上进行数据处理和分析，减少数据传输的开销和延迟。
协同处理则是指多个传感器节点之间相互合作，共同完成计算任务，提高网络的整体性能。
在无线传感器网络中，边缘计算可以通过将计算任务下放到传感器节点上来实现。
传感器节点可以对采集到的数据进行初步处理和分析，只将有用的信息传输给云端进行进一步的处理。
这样可以减少数据传输的量，降低网络的能耗，并且可以更快地响应和处理实时的事件。
同时，协同处理也是提高无线传感器网络性能的关键技术之一。
传感器节点之间可以通过协作的方式共同完成复杂的计算任务。
例如，当一个节点的计算资源不足时，可以将任务分解成多个子任务，由多个节点共同完成。
节点之间可以通过无线通信进行数据传输和协调，实现计算任务的分布式处理。
为了实现边缘计算和协同处理，无线传感器网络需要设计合适的算法和协议。
首先，需要设计有效的数据压缩和编码算法，以减少数据传输的开销。
传感器节点可以对采集到的数据进行压缩和编码，只传输压缩后的数据，从而减少网络的能耗。
其次，需要设计合理的任务分配和调度算法，以实现任务的合理分配和节点的协同处理。
任务分配算法可以根据节点的计算能力和剩余能量等指标，将任务分配给合适的节点。
任务调度算法可以根据任务的优先级和节点的状态，动态地调整任务的执行顺序和节点的工作状态。
此外，无线传感器网络还需要解决安全和隐私问题。
无线传感器网络中基于MDP的MAS协作策略的优化及分布执行
无线传感器网络中基于MDP的MAS协作策略的优化及分布
执行
王晓伶;慕德俊;刘哲元
【期刊名称】《传感技术学报》
【年(卷),期】2009(022)004
【摘要】为降低马尔可夫决策模型生成MAS协作策略的复杂度,减少协作通信量,在无线传感器网络中利用agent状态之间存在的条件独立性与上下文独立性关系提出了一种新的优化方法.方法通过分解并优化SPI算法生成的策略树,使得MAS 中处于独立状态的agent可以分布独立运行,只有在需要同其他agent协商时才进行通信.并在协作中采用Q分解机制实现共享资源的分配,减少资源使用冲突,获取更大奖励.使用STATLOGO软件对方法进行验证,实验结果表明该方法在MAS完成协作任务获取目标奖励的同时,具有产生通信量较小的优点.
【总页数】6页(P520-525)
【作者】王晓伶;慕德俊;刘哲元
【作者单位】西北工业大学自动化学院,西安,710072;西北工业大学自动化学院,西安,710072;西北工业大学自动化学院,西安,710072
【正文语种】中文
【中图分类】TP393.15
【相关文献】
1.无线传感器网络中基于NDMA的跨层协作多包接收 [J], 季薇;郑宝玉
2.基于分布估计算法的无线传感器网络覆盖问题优化策略 [J], 李慧凯;王筱萍;高慧敏
3.一种基于RSSI的无线传感器网络r全程优化分布式定位策略 [J], 张新荣;熊伟丽;徐保国
4.基于可分解MDP模型的MAS协作策略优化及分布执行 [J], 王晓伶;慕德俊;刘哲元;袁源
5.无线传感器网络中基于簇协作的分布式组密钥管理方案 [J], 曾玮妮;林亚平;卢秋英
因版权原因，仅展示原文概要，查看原文内容请购买。
无线传感器网络中基于MDP的MAS协作策略的优化及分布执行
⽆线传感器⽹络中基于MDP的MAS协作策略的优化及分布执⾏第22卷 第4期2009年4⽉传感技术学报CHIN ES E JOURNAL OF S ENSORS AND ACTUA TORSVol.22 No.4Ap r.2009Optimization and Distributed Execution of MAS Cooperative Strategy B ased on MDP in Wireless Sensor N et w orks 3W A N G X i ao 2li ng ,M U De 2j un3,L I U Zhe 2y uan(College of A utomation ,N ort hwestern Pol ytechnical Universit y ,X i ’an 710072,China )Abstract :In order to reduce t he complexity created by MDP model and t he cooperation traffic ,t he met hod of creating st rategy t ree by t he model is imp roved.U sing t he context 2specific and conditional independence existing among t he agent states in wireless sensor networks ,t he t ree created by SPI algorit hm is decom 2posed and optimized.This makes t he independent agent s in MAS running independently ,and only commu 2nicating wit h each ot her when cooperation is needed.During operation Q 2decomposition approach is p ro 2posed for resource allocating.Simulation experiment was developed by STA RLO GO.Simulation indicates t hat MAS applying t he strategy not only accomplishes t he task and gains t he reward ,but effectively re 2duces t raffic simultaneously.K ey w ords :MAS ;MDP ;wireless sensor network ;context 2specific independence ;conditional independ 2ence ;Q2decomposition EEACC :6150P⽆线传感器⽹络中基于MDP 的MAS 协作策略的优化及分布执⾏3王晓伶,慕德俊3,刘哲元(西北⼯业⼤学⾃动化学院,西安710072)基⾦项⽬:国防基础科研项⽬资助(C2720061361)收稿⽇期:2008211212 修改⽇期:2009202218摘 要:为降低马尔可夫决策模型⽣成MAS 协作策略的复杂度,减少协作通信量,在⽆线传感器⽹络中利⽤agent 状态之间存在的条件独⽴性与上下⽂独⽴性关系提出了⼀种新的优化⽅法。
无线传感器网络中的任务调度与协同问题
无线传感器网络中的任务调度与协同问题近年来，无线传感器网络成为了一个备受瞩目的研究领域。
它由一个或多个传感器节点组成，这些节点通过无线信号进行通信，形成一个自组织的网络，在不需要人工干预的情况下可以自动化地采集、处理、传输和共享传感器数据。
由于无线传感器网络能够在广泛的环境中收集和处理数据，其应用已经不再局限于传统的工业自动化、环境监测等领域，而是延伸到医疗、智能交通、智慧城市等多种领域。
但是，与此同时，无线传感器网络也面临着一系列的挑战，其中最为突出的问题之一就是任务调度与协同问题。
在传感器网络中，每个传感器节点都可以完成某些特定的任务，例如采集环境数据、控制设备、跟踪目标等等。
为了实现传感器网络的全面协同，需要设计一个合适的任务调度机制，使得每个传感器节点能够在正确的时间、位置和状态下完成任务，并且避免重复执行、资源浪费等问题。
在传感器网络中，任务调度的实现面临着多方面的挑战。
其中，最为困难的问题之一是节点间的通信和协调。
由于传感器节点分布在广泛的区域内，通常是隐藏在建筑物、土地或水中的，因此它们之间的直接通信可能会受到物理环境、干扰或互相遮挡的影响，甚至会出现通信延迟和断链的情况。
考虑到这些问题，传感器节点必须能够自适应地更改其任务计划，并且在协作时注意到其他节点的状况以确保任务完成。
另一个问题是任务优先级的确定。
不同的任务可能拥有不同的优先级，而传感器节点之间的资源也可能会有所不同，因此在任务调度过程中必须考虑到这些因素。
为此，研究者们提出了一些基于优先级的任务调度算法，例如动态调度、贝叶斯调度和智能调度等。
这些算法主要通过对任务的评估、节点状态的监控和资源利用的最优化，实现了任务的合理安排和分配。
传感器网络中还存在一些其他的问题，例如数据安全、网络能源消耗和任务识别等。
一些研究者提出了一些解决方案，例如基于RSA和AES的加密算法、能源管理算法和模型识别算法等。
这些解决方案通常依赖于传感器节点的物理条件和环境因素，但是也可以通过软件更新和远程控制等方式进行改进。
面向无线传感器网络的多目标协同优化算法研究
面向无线传感器网络的多目标协同优化算法研究无线传感器网络（Wireless Sensor Network，WSN）是由大量的分布式传感器节点组成的网络，能够感知和采集环境中的信息并进行数据传输。
多目标协同优化算法是一种针对无线传感器网络中的多种目标进行协同优化的算法。
本文将对面向无线传感器网络的多目标协同优化算法进行研究和探讨。
在无线传感器网络中，节点分布广泛且资源有限。
因此，如何有效地利用这些节点的能量、带宽和计算资源，并实现网络中的多个目标，成为了一个重要的研究方向。
多目标协同优化算法能够根据不同的目标权重，合理地分配资源，使得网络达到全局最优或者接近最优的状态。
首先，多目标协同优化算法需要考虑能量消耗的问题。
在无线传感器网络中，节点的能量是一个重要的资源，直接影响着网络的生命周期。
因此，在优化算法中需要考虑节点能量消耗的平衡，避免出现能量过度消耗或者能量不平衡的情况。
一种常用的方法是通过合理地选择节点的激活和休眠策略，降低节点的能量消耗。
其次，多目标协同优化算法需要关注网络的稳定性和可靠性。
无线传感器网络中，节点的部署环境通常是复杂和恶劣的，可能存在节点失效、干扰和信号衰减等问题。
因此，优化算法需要考虑网络的鲁棒性，即使在节点失效或者干扰的情况下，也要保证网络的正常运行。
一种常用的方法是通过冗余部署和数据融合技术，提高网络的可靠性。
此外，多目标协同优化算法还需要考虑网络的实时性和时延要求。
在一些应用场景中，传感器网络需要对数据进行实时的监测和处理，例如环境监测、交通监控等。
因此，优化算法需要通过高效的数据传输和处理机制，满足网络的实时性和时延要求。
一种常用的方法是通过优化数据传输路径，减少数据的传输时延，并采用有效的数据压缩和编码技术，提高网络的实时性。
最后，多目标协同优化算法需要考虑网络的安全性。
无线传感器网络中，数据的安全性是一个重要的问题。
在传感器网络中，节点之间的通信容易受到攻击和窃听。
无线传感器网络中的时空协作技术研究
无线传感器网络中的时空协作技术研究传感器网络无处不在，它为我们提供了大量的观测数据。
但是，由于节点之间的距离较远，且节点电力有限，所以传感器网络需要一种特殊的时空协作技术。
无线传感器网络中的时空协作技术旨在通过协同处理和通信来提高节点的覆盖范围、扩展传感器网络的寿命、降低能量消耗以及提高传感器网络的能量效率。
这篇文章将介绍一些关于无线传感器网络中的时空协作技术的研究。
一、分布式多天线分布式多天线技术有效地利用了空间的多样性，提高无线传感器网络的容量和可靠性。
通过使用多个天线，在不改变传输距离的情况下，可以在近距离内增加信道容量。
这种技术非常有用，尤其是在节点较多且密度较高的情况下，可充分发挥空间的多样性。
此外，分布式多天线技术还可以提高信道的稳定性，减少信噪比和多径衰减。
然而，这种技术需要大量的硬件投资，因此，如何减少硬件成本也需要研究。
二、时空编码多重访问时空编码多重访问（STCMA）技术通过将多个传输距离和时间之间的信号进行编码，减少网络中的干扰，并提高了网络吞吐量。
在传输距离和时间上，STCMA技术实现了对信号的编码和解码，从而实现了多用户的同时传输，提高了每个用户的传输速度。
这种技术的主要优点是减少了网络的干扰，提高了网络性能，在传感器网络中如何实现更好的信号编码和解码则需要在未来的研究中加以解决。
三、协作通信协作通信是一种利用节点之间的合作进行通信的技术。
在协作通信中，数据从源节点传输到目的节点，但传输过程中需要多个中间节点协同工作，以达到传输目的。
在物理层面上，协作通信的优势在于节点可以利用节点之间的多径信道信息，来实现更复杂的信号处理，从而提高信号传输的效率。
此外，在传输的过程中，中间节点可以使用网络编码来弥补丢失的数据包，从而提高网络的可靠性。
然而，协作通信也有一些问题需要解决，比如如何安排协作路径以及协作节点的能量消耗等。
四、分布式空时编码分布式空时编码技术主要侧重于提高网络的能量效率，实现发射机和接收机节能。
无线传感器网络中一种基于OSTBC的高效协作传输技术
（ ｅ ａｏａ ｒ ｏ Ｉｔｌｇｎ Ｃ ｍ ｕａ ｏ ｎ ｉ ａ Ｐｏｅｓ ｇ（ ｎ ｕ Ｕ ｉ ｒ ｔ） ｉｉｒ ｆ ｄ ｃｔ ｎ Ｈｅ ｉ ３０ ９ ｈｎ ） Ｋ ｙＬｂ ｒ ｏ ｆ ｎｅｉｅｔ ｏ ｐ ｔｉ ａｄＳ ｎｌ ｒｃｓｉ Ａ ｈ ｉ ｎ ｅｓｙ ，Ｍ ｎｓｙｏ ｕ ａｏ ， ｆ ０ ３ ，Ｃ ｉａ ｔｙ ｌ ｔｎ ｇ ｎ ｖ ｉ ｔ Ｅ ｉ ｏ ２
第 ２ ７卷ຫໍສະໝຸດ 第 ３期 信 号 处 理
ＳＩ ＧＮＡＬ ＰＲＯＣＥＳ ＮＧ ＳＩ
Ｖ０ ． ７． Ｎｏ ３ １２ ．
Ｍ ａ ． ０ｌ ｒ２ ｌ
２１ ０ １年 ３月
无 线 传 感 器 网络 中一 种 基 于 ＯＳ Ｂ 的 Ｔ Ｃ 同 效 协 作 传 输 技 术
．＿ ＿
Ｊ＿ Ｌ Ｉ
ｃ ｎ ｂ ｃ ｉｖ ｄ ｆｒａ ｙ ａｂ ｔａ ｕ ｅ ｆｃ ｏ ｅ ａｉｅ ｎ ｄ ｓ ｎ ｏｈ ｔ ｅ ｔｔ ｌ ｎ ｒ ｏ ｓ ｍｐ ｉｎ ａ ｄ ｔ ｅ ｔｔ ｌ ｅａ ｎ ｔｅ ｔａ ｓ ａ ｅ ａ ｈ ｅ ｅ ｏ ｎ ｒ ｉ ｒ ｎ ｍｂ ｒｏ ｏ ｐ ｒｔ ｏ ｅ ，ａ ｄ ｂ ｔ ｈ ｏａ ｅ ｇ ｃ ｎ ｕ ｔ ｎ ｈ ｏａ ｌｙ ｏ ｈ ｒｎ — ｒｙ ｖ ｅ ｙ ｏ ｄ ｍｉｓｏ ｉ ｅｃ ｎ ｂ ｒ ａｌ ｅ ｕ ｅ ． Ｓ Ｕ ｆ ｃｅ ｔ ｉｔ ａ ＭＩ ｓ ｉｎ ｓｄ ａ ｅ ｇ ｅ ｔ ｒ ｄ ｃ ｄ ｏ Ｏ ｒｅｆ ｉｎ ｒ ｌ ＭＯ ｏ ｐ ｒ ｔ ｅ ｔａ ｓｍｉｓ ｎ ｍｏ ｅ ｍｐ ｏ ｅ ｔ ｅｗｉ ｌｓ ｅ ｓ ｒ ｅｗｏｋ ｙ ｉ ｖ ｕ ｃ ｏ ｅ ａｉ ｒｎ ｉ ｓ ｉ ｄ ｌ ｖ ｏ ｉ ｒ ｖ ｈ ｒ ｅ ｓｓ ｎ ｏ ｔ ｒ ｅ ｎ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第22卷 第4期2009年4月传感技术学报CHIN ES E JOURNAL OF S ENSORS AND ACTUA TORSVol.22 No.4Ap r.2009Optimization and Distributed Execution of MAS Cooperative Strategy B ased on MDP in Wireless Sensor N et w orks 3W A N G X i ao 2li ng ,M U De 2j un3,L I U Zhe 2y uan(College of A utomation ,N ort hwestern Pol ytechnical Universit y ,X i ’an 710072,China )Abstract :In order to reduce t he complexity created by MDP model and t he cooperation traffic ,t he met hod of creating st rategy t ree by t he model is imp roved.U sing t he context 2specific and conditional independence existing among t he agent states in wireless sensor networks ,t he t ree created by SPI algorit hm is decom 2posed and optimized.This makes t he independent agent s in MAS running independently ,and only commu 2nicating wit h each ot her when cooperation is needed.During operation Q 2decomposition approach is p ro 2posed for resource allocating.Simulation experiment was developed by STA RLO GO.Simulation indicates t hat MAS applying t he strategy not only accomplishes t he task and gains t he reward ,but effectively re 2duces t raffic simultaneously.K ey w ords :MAS ;MDP ;wireless sensor network ;context 2specific independence ;conditional independ 2ence ;Q 2decomposition EEACC :6150P无线传感器网络中基于MDP 的MAS 协作策略的优化及分布执行3王晓伶,慕德俊3,刘哲元(西北工业大学自动化学院,西安710072)基金项目:国防基础科研项目资助(C2720061361)收稿日期:2008211212 修改日期:2009202218摘 要:为降低马尔可夫决策模型生成MAS 协作策略的复杂度,减少协作通信量,在无线传感器网络中利用agent 状态之间存在的条件独立性与上下文独立性关系提出了一种新的优化方法。
方法通过分解并优化SPI 算法生成的策略树,使得MAS 中处于独立状态的agent 可以分布独立运行,只有在需要同其他agent 协商时才进行通信。
并在协作中采用Q 分解机制实现共享资源的分配,减少资源使用冲突,获取更大奖励。
使用STA TLO GO 软件对方法进行验证,实验结果表明该方法在MAS 完成协作任务获取目标奖励的同时,具有产生通信量较小的优点。
关键词:多智能体系统;马尔可夫决策过程;无线传感器网络;上下文独立;条件独立;Q 分解中图分类号:TP393.15 文献标识码:A 文章编号:100421699(2009)0420520206 近年来利用agent 技术构建无线传感器网络已成为的一个重要的研究方向[122,10211]。
agent 如何在无线传感器网络中进行协作是研究的一个难点,这是因为agent 在协作过程中不仅要观察自身的状态,同时也要推断合作者的状态及动作。
针对协作环境的不确定性,马尔可夫决策过程(MDP ,Mark 2ov Decision Process )广泛应用于MAS (Multi 2A 2gent System )建模研究中。
但是MDP 生成协作策略比较复杂,即使只有两个agent 进行协作,其时间复杂度为N EXP 2complete [3]。
一种降低MDP 计算复杂度的方法是将MDP 观察域分类,其中一类MDP 称为传输独立MDP ,它的系统状态可以被分割为独立agent 的状态,这些agent 状态仅和自身的活动相关,独立于系统联合活动,传输独立MDP 模型生成策略的复杂度为N P 2complete [4]。
虽然这种方法大大降低了复杂度,但并不是所有的MAS系统观察域是传输独立的。
另外一种方法是使用可分解MDP模型,这种方法充分利用系统状态变量中存在的条件独立关系、上下文独立关系简化生成协作策略的复杂度,复杂度可以减少为P2com2 plete[6]。
但是这种方法在执行过程中不考虑通信的代价,即执行过程中协商双方需要随时进行协商通信。
文献[5]提出了一种优化MDP模型生成策略的方法,该方法分解、优化生成的策略树,使得MAS 可以分布执行策略树,在一定程度上减少了通信的花销。
但是在生成agent策略时,这种方法没有优化相应的策略子树,策略树在执行过程中会重复访问部分状态节点,从而产生冗余通信。
为减少冗余的通信量,进一步优化协作策略,本文在无线传感器网络中利用d2分离、上下文分离对分解后的策略子树进行优化,进一步提取子树中存在的条件独立性和上下文独立性关系,去除子树中冗余的节点状态特征,从而减少协作过程的通信量。
在MAS协作过程中状态集是agent各种可能的动作状态和可用资源的合集,每个可能动作包含对该agent资源的分配。
当agent之间竞争共享资源时,一个agent的动作可能会影响到其它agent 完成协作任务时所获取的报酬。
本文采用Q分解机制[728]解决共享资源在协作agent之间的分配,以保证MAS任务收益的最大化。
实验表明经过优化后的策略在获取目标奖励同时可以分布执行并且能有效地减少通信代价。
1 MDP模型描述在MAS中任务协作、资源分配策略是一组随机过程,马尔可夫决策过程用来处理协作agent的联合动作、联合观察结果、协作过程中资源的分配以及最终生成任务协作策略。
本文MDP模型结构表示为<Res,Ta,S,X,A,P,R>其中:3Res={res1,…,res n}表示可用资源的有限集合,每类资源在分配时有一个局部限制L res及全局总体限制G res,即一类资源每次分配不超过L res而总数不超过G res;3Ta表示需要完成的任务集合;3S表示状态的有限集合;3X={X1,…,X n},表示agent状态的向量空间,状态特征X i对应于状态集合S中状态S i,特征可以是布尔型或者其他数据类型;3A表示可能的联合动作集合;3P定义状态变迁概率函数,表示当给定一个动作时由一个状态变迁到另一个状态的可能性。
且对于Πz∈Z,Z<X,变迁概率函数为z中各状态属性变迁概率函数的连乘积P(z|X i,a)=∏|Z|i=1P(Z i|X i,a);3R X×A→R,表示奖励函数;3λ表示折扣因子,其值介于0和1之间。
在无线传感器网络中,MDP模型的状态特征和动作之间的关系可以用Bayesian网进行描述:t+1时刻模型的状态特征依赖于其父状态t时刻的特征值,条件独立于其他变量特征值,Bayesian网中变量之间的这种条件依赖关系用条件概率表表示。
但是在多数情况下,变量只是依赖一些特定的父变量特征值,而不是全部的父特征值,称为上下文独立关系[526],使用条件概率树描述。
如图1树型结构所示,状态Y在X取值为0时,上下文独立于Z。
图1 无线传感器网络中的Bayesian状态条件概率树2 策略树的分解与执行在MDP模型中SPI(St ruct ured Policy Itera2 tion)算法[6]用来生成MAS协作策略树,策略树的叶子节点表示联合动作,非叶子节点表示agent状态。
SPI算法生成的策略树在MAS中是集中联合执行的,即使处于可独立执行状态,agent也需等待其他agent状态。
为使策略树在MAS中分布执行,单个agent需一个可以匹配当前状态特征的执行策略。
在文献[5]的基础上本文提出一种优化方法,首先将SPI生成的策略树转换为使各agent可分布执行策略树[5];然后提取并删除冗余的状态特征,优化生成的策略子树;最后在执行过程中实现资源的优化配置。
2.1 联合执行策略树的分解定义1 动作独立,如果在策略树叶子节点动作集合中存在一个动作,该动作同其他动作联合执行,且是多个联合动作的交集,在遍历该子树节点时会被同一个agent执行。
例如联合动作集{ax,ay, bz}中,动作{a}独立;而在动作集{ax,by,cz}中没有独立的动作。
定义2 交叉简化操作[5],用来合并策略树分支中动作集合交集非空的叶子节点或者子树。
在策略树非叶子节点中递归调用该操作,如果节点中所125第4期王晓伶,慕德俊等:无线传感器网络中基于MDP的MAS协作策略的优化及分布执行有的孩子都是叶子节点,并且节点动作集合的交集非空,则该节点是冗余的,节点被一个包含交集的新叶子节点所代替;如果孩子中仅有一个是非叶子节点,该节点冗余,且如果该节点子树中包含于叶子节点动作集合的交集,则该节点被子树代替。
将SPI生成的策略树转化为agent可分布执行的策略树的方法如表1。
表1 策略子树分解方法DecomposePolicy(joint2policy)Input:joint2policy//联合执行策略树Output:policy//分解后策略树1.对每个agent重组策略树,使agent状态处于策略树根节点;2.对于策略树中叶子节点,找出所有独立动作;3.使用预定义动作序列解除联合动作之间的关系;4.将联合动作分解为个体动作;5.使用交叉简化操作简化策略树2.2 策略子树的优化联合策略树经过转换后,对每个agent生成一个单独的策略树,在策略树中存在着大量的冗余状态节点,在执行前需要对子树进行简化及优化。