结合Q学习和模糊逻辑的单路口交通信号自学习控制方法

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

何兆成，佘锡伟，杨文臣，陈宁宁
（中山大学智能交通研究中心广东省智能交通系统重点实验室，广州５０７）１２５
摘要：对城市交通系统的动态性和不确定性，出了基于强化学习的信号交叉口智能控制系统结构，单针提对
ｗｓａａｌｏｏｌｅｅｒｉｇｈｏｇｏｂｎｔｎｏＢｅｒｌｅｏｎｌａｉｇａｏｔｍｕｔｅｍｒ，ｕｅａｐｂｅｆｎｉａｎｒｕｈａｃｍｉａｏｆＰｎｕａｎｔｒａｄＱ— ｒｎｌｒｈ．Ｆｒｒｏｅｄｅｏｔｃｎｌｎｔｉｗｋｅｎｇｉｈｔｈｍｌ—ｂｅｔｅｒｐｒａｉｓｎｌｏｔｌｈｓｐｐｒｄｖｌｅｅａｄｄｓｎｍｔｏｒＱｌｒｉｇｂｓｄｏｚｙｕｔｏｊｃｖｏｅｙｉｔｆｃｉａｃｎｒ，ｔａｅｅｅｐｄａｒｒｅｉｅｈｄｆ — ａｎｎａｅｎｆｚｉｉｐｔｎｒｆｇｏｉｏｗｇｏｅｕ
Ｑｌａｎｎｎｚｙｌｇｃ — ｒｉｇａｄｆｚｏｉｅｕ
ＨＥＺｈｏ— ｈｎａｃｅｇ，ＳＨＥ — ＸｉｗｅｉＹＡＮＧｅｃｅ，Ｗｎ— ｈｎ，ＣＨＥＮｎｇｎｉｇＮｉ — ｎ
（ｕｎｄｎｒｉｉｌｅａｏａｏｙｏｔｌｅｔＴａｓｏｔｔｎＳｓｍ，Ｔｅａｃｅｔ，ｕａ— ｎＵｉｒｔ，Ｇａｇｈｕ５０７ＧａｇｏｇＰｏｎａＫｙＬｂｒｔｒＩｅｉｎｒｎｐｒｉｙｔＩＳＲｓｒｈＣｎｅＳｎＹｔｅｎｖｓｙｕｎｚｏ２５，Ｃｉａｖｃｆｎｌ１０ —６５２１．１０６ｏ：０３６／．ｓａ０１３９．０１０．５ｓ．
Ｓｌ－ｅｒｉｇｔａｃｓｇａｏｔｏｔｏｆｉｏａｅｎｅｓｃｉｎｃｍｂｎｎｅｆｌａｎｎｒｆｉｎｌｃｎｒｌｍｅｈｄｏｓｌｔｄｉｔｒｅｔｏｏｉｉｇｉ
ｌｇｃＣｏｕｔｄｓｍｕａｅｘｅｉｎｓｉｈｒｅｔａｃｓｅｒｏ．ｕｓｎｈｒｍｉｓｍｉｒｓｏｃｔａｃｓｍｕａｉｏｔｒｏｉ．ｎｄｃｅｉｌｔｄｅｐｒｍｅｔｎｔｅｒｆｃｎａｉｓｉｉｇｔｅＰａａｃｃｏｃｐｉｒｆｉｌｔｉｏｎｓｆｗａｅ．Ｅｘｒｍｅｔｌｒｓｔｈｏｔａｈｏｏｅｅｈｄｈｓｈｉｈｃｎｒｌｅｃｉｎｙｉｉｆｒｎｔｔａｃｓｅａｉ，ａｄｉｉｎｆｃｎｔｙｐｅｉｎａｅｕｌｓｓｗｈｔｔｅｐｒｐｓｄｍｔｏａｇｏｔｏｆｅｃｎｄｆｅｅｒｆｃｎｒｏｓｎｓｓｇｉｉａｌｉｉｂｔｅｈａｘｅｉｎｇｃｎｔｏｔｏｄｅｔｒｔｎｆｄｔｍｉｏｒｌｍｅｈ．ｉＫｅｒｙｗｏｄｓ：ｔａｃｓｇｌｃｎｒｌｅｎｏｃｍｅｅｒｉｒｆｉｎａｏｔｏ；ｒｉｆｒｅｎｔｌａｎｇ；ＢＰｕａｔｒｉｎｎｅｒｌｎｅｗｏｋ；ｆｚｙｅａｕｔｏｕｚｖｌａｉｎ；Ｐａａｃｉｌｔｏｒｍｉｓｓｍｕａｉｎ
Ａｂｓｒｃｔａｔ：Ｔｏａｒｓｈｙａｃｎｎｃｒａｎｔｎｕｎａｒｎｐｏｔｔｏｙｔｍ，ｔｓｐａｒｐｒｐｓｄａｔａｃｓｇｌｃｎｒｌｄｄｅｓｔｅｄｎｍｉｓａｄｕｅｔｉｙｉｂｎｔａｓｒａｉｎｓｓｅｈｉｐｅｏｏｅｒｆｉｎａｏｔｏｉｓｓｅｂａｅｎｒｉｏｃｍｅｔｌａｎｉｙｔｍｓｄｏｅｎｆｒｅｎｅｒｎｇ，ｗｈｉｈｗａｕｔｂｅｆｒｒａ —ｉｏｒｌｉｓｌｔｄｉｔｒｅｔｏｃｓｓｉａｌｏｅｌｔｍｅｃｎｔｏｎｉｏａｅｎｅｓｃｉｎ．Ｔｈｒｐｓｄｍｅｈｄｅｐｏｏｅｔｏ
第２８卷第１期
２１０１年１月
计算机应用研究
ＡｐｌａｉｎＲｅｅｒｈｏｏｕｅｓｐｉｔｏｓａｃｆＣｍｐｔｒｃ
Ｖ０．８Ｎｏ１１２．
Ｊｎ２１ａ．０１
当士日口
Ｑ学习和模糊逻辑的单路口交通信号自学习控制方法术
交叉口动态实时控制进行了研究。将ＢＰ神经网络与Ｑ学习算法相结合实现了路口的在线学习。同时，对交针通信号控制的多目标评价特征，用基于模糊逻辑的Ｑ学习奖惩信号设计方法，采实施对交通信号的优化控制。最后，三种交通场景下，用Ｐｒｍｉｓ在应ａａｃ微观交通仿真软件对典型十字路口进行仿真实验。结果表明，该方法对不同交通场景下的突变仍可保持较高的控制效率，制效果明显优于定时控制。控关键词：交通信号控制；强化学习；ＢＰ神经网络；糊评价；ａａｃ仿真模Ｐｒｍｉｓ中图分类号：Ｔ３１９Ｐ９．文献标志码：Ａ文章编号：１０ — ６５２１）ｌ０９ — ４０１３９（０１ｏ一１９０