基于强化学习的云计算资源调度策略研究
基于自动机器学习的云平台动态资源调度研究
基于自动机器学习的云平台动态资源调度研究1. 引言1.1 背景介绍目前，云平台动态资源调度主要依靠手工设置规则或基于静态模型进行调度。
这种方式存在着资源利用率低、响应速度慢以及对环境变化适应能力较差等问题。
如何实现对云平台资源动态调度的智能化和自动化已成为当前云计算研究的热点之一。
为了解决上述问题，本文基于自动机器学习技术展开了云平台动态资源调度研究，旨在通过构建智能化的资源调度模型来提高云平台资源利用率、降低运维成本，并提升用户体验。
通过对自动机器学习技术的深入研究和实验验证，将为云平台管理提供新的思路和方法。
1.2 研究意义云平台动态资源调度是当前云计算领域的热门研究课题，其在提高云平台资源利用率、降低能源消耗、提升系统性能等方面具有重要意义。
随着云计算技术的快速发展，云平台规模越来越大，资源种类也越来越丰富，传统的资源调度方法已经不能满足日益复杂的需求。
研究基于自动机器学习的资源调度模型，能够更加智能地适应云平台资源动态变化的需求，提高资源利用效率，降低成本，进而提升用户满意度。
目前，自动机器学习技术在各个领域都取得了显著成就，然而在云平台资源调度领域的应用还处于初级阶段。
研究基于自动机器学习的资源调度模型，将会填补当前研究的空白，探索其在云平台资源调度中的实际应用价值，为云计算领域提供新的思路和解决方案。
通过本研究，有望为云平台资源调度领域的发展贡献新的研究成果和实践经验，推动云计算技术的进一步发展。
1.3 研究目的研究目的是为了通过基于自动机器学习的云平台动态资源调度研究，实现对云计算资源的高效利用和优化管理。
目前在云平台资源调度方面存在着许多挑战和问题，比如资源利用率低、任务响应时间长、能源消耗过大等。
本研究旨在探索新的资源调度模型，利用自动机器学习技术实现对云资源的智能调度，从而提高资源利用率，降低能源消耗，缩短任务响应时间，提升用户体验。
通过研究可以不断优化和改进现有的资源调度算法，为云平台的高效运行提供技术支持，促进云计算技术的发展与应用。
云计算中的资源调度与优化技术研究
云计算中的资源调度与优化技术研究资源调度和优化技术是云计算中至关重要的一部分，不仅能够提高资源的利用率，还可以改善用户的体验。
本文将介绍云计算中的资源调度与优化技术的研究现状和发展方向。
一、资源调度技术的研究现状1.1 静态资源调度静态资源调度是指在任务提交前根据先验知识和统计数据对资源进行分配的过程。
目前常用的静态资源调度算法有最小任务完成时间优先（Minimum Completion Time, MCT）、最少处理器分配（Minimum Processor Allocation, MPA）等。
MCT算法倾向于将任务分配给执行速度较快的机器，以最小化任务完成时间。
而MPA算法则是通过选择最少处理器数目的机器来分配任务，以提高资源利用率。
1.2 动态资源调度动态资源调度是指在任务执行过程中根据实时信息对资源进行分配的过程。
典型的动态资源调度算法有最少任务剩余时间优先（Least Remaining Time First, LRTF）、最低负载优先（Least Load First, LLF）等。
LRTF算法优先选择剩余执行时间最短的任务执行，以提高任务的响应速度和整体性能。
而LLF算法则优先选择负载较低的机器执行任务，以平衡负载和提高资源利用率。
二、资源优化技术的研究现状2.1 能源优化云计算环境具有大规模的数据中心和海量的服务器，因此能源消耗是一个重要的问题。
能源优化技术通过在资源调度过程中考虑服务器的功耗特点和负载情况，以降低能源消耗。
典型的能源优化技术包括功耗感知的资源调度策略、动态频率调整等。
2.2 性能优化性能优化是云计算中资源调度与优化的关键目标之一。
通过资源的动态调度和分配，可以提高任务的响应速度、减少任务的等待时间和延迟。
典型的性能优化技术包括任务推迟和迁移、负载均衡等。
三、资源调度与优化技术的发展方向3.1 人工智能与机器学习的应用近年来，人工智能和机器学习技术在云计算中得到了广泛应用。
一种基于深度强化学习的资源调度方法和系统[发明专利]
![一种基于深度强化学习的资源调度方法和系统[发明专利]](https://img.taocdn.com/s3/m/f9b0e2d90912a216157929be.png)
专利名称：一种基于深度强化学习的资源调度方法和系统专利类型：发明专利
发明人：田文洪,王金,何博,叶宇飞,尚明生,史晓雨
申请号：CN201810350436.1
申请日：20180418
公开号：CN108595267A
公开日：
20180928
专利内容由知识产权出版社提供
摘要：本发明涉及一种基于深度强化学习的资源调度方法和系统，属于深度学习技术领域。
该方法是获取用户行为数据；根据用户的任务进行训练，得到一种适合的调度算法作为用户的初始调度算法，用于生成相对应的调度结果；用户对当前返回的调度结果进行评估，并做出是否接受当前调度策略的选择。
该系统包括用户输入模块、数据处理模块、资源调度系统模块和资源调度过程显示模块。
本发明提升了任务的平均用时和响应速度，减少了减少系统耗时和能耗等性能指标。
申请人：中国科学院重庆绿色智能技术研究院
地址：400714 重庆市北碚区方正大道266号
国籍：CN
代理机构：北京同恒源知识产权代理有限公司
代理人：赵荣之
更多信息请下载全文后查看。
基于深度强化学习的自适应网络流量调度与优化研究
基于深度强化学习的自适应网络流量调度与优化研究自适应网络流量调度与优化是一个关键的研究领域，在当今互联网时代尤为重要。
随着云计算、物联网和大数据的迅猛发展，网络流量呈现出爆发式增长的趋势。
如何在复杂的网络环境中高效地进行流量调度和优化成为一个挑战，而深度强化学习作为一种新兴的技术，为解决这一问题带来了新的思路和方法。
深度强化学习是机器学习领域的一个分支，通过将深度学习和强化学习相结合，使得计算机能够通过自我学习和试错来获取最优策略。
在网络流量调度与优化中，深度强化学习的应用可以提高网络的性能、降低能耗和改善用户体验。
首先，深度强化学习可以帮助网络系统实现自适应的流量调度。
网络中的各个节点和流量之间的关系非常复杂，传统的调度方法往往基于静态规则，无法适应网络环境的变化。
而深度强化学习可以通过对大量网络数据的学习和分析，生成适应动态环境的流量调度策略。
通过不断与环境进行交互，深度强化学习可以自动调整策略，提高网络的灵活性和适应性。
其次，深度强化学习可以优化网络资源的利用效率。
在网络流量调度过程中，合理分配网络资源对于提高网络性能非常重要。
传统的优化方法通常是基于静态的网络模型，无法准确地反映实际网络的复杂性。
而深度强化学习可以通过对实时网络数据的分析和学习，实现对网络资源的动态优化。
通过学习使得网络流量能够更加高效地利用网络资源，并且能够根据网络环境的变化及时调整策略。
此外，深度强化学习在网络流量调度与优化中还可以改善用户体验。
用户体验是衡量网络性能的重要指标之一，包括延迟、带宽和吞吐量等方面。
通过深度强化学习的方法，网络系统可以实时地对用户需求进行感知和判断，根据用户需求调整流量分配策略，从而提供更好的用户体验。
例如，在视频流媒体领域，深度强化学习可以根据用户对不同视频内容的偏好，动态调整视频流量的传输方式，从而提供更流畅、更高质量的观看体验。
值得注意的是，在应用深度强化学习进行网络流量调度和优化时，还需要解决一些挑战和问题。
基于强化学习的电网优化调度系统
基于强化学习的电网优化调度系统电网是现代社会不可或缺的基础设施之一，它负责将电力从发电站输送到各个用电终端，为人们的生产和生活提供可靠的能源供应。
电网的优化调度系统起着至关重要的作用，它能合理安排电力资源的分配，提高电网的运行效率和经济性。
本文将介绍基于强化学习的电网优化调度系统，探讨其应用和挑战。
一、电网优化调度系统的背景和意义电网优化调度系统是指利用先进的计算机技术和算法，对电网进行智能化优化调度的系统。
其主要目标是在满足用户需求的前提下，确保电力供应的可靠性和经济性。
传统的电网优化调度系统主要基于规则和经验，但由于电力系统的复杂性和不确定性，无法满足日益增长的电力需求和可再生能源的高比例接入。
基于强化学习的电网优化调度系统能够通过学习和优化算法，实现电力系统的智能化调度。
它能够根据电力系统的实时状态和外部环境变化，动态调整电力资源的分配和运行策略，实现对电网运行的最优化控制。
这不仅可以提高电网的可靠性和经济性，还能够适应电力系统发展的需求和变化。
二、基于强化学习的电网优化调度系统的应用案例1. 能源调度与负荷预测：通过强化学习算法分析历史数据和实时信息，预测负荷变化趋势和能源供需情况，合理调度发电设备和能源储备，以满足不同时间段的需求，并降低能源的浪费。
2. 微网管理与运营优化：强化学习算法可以针对不同的微网网络拓扑结构和电力设备特性，优化微网的能量调度和运行策略，提高微网的自主管理和运营效果。
3. 智能感知与故障检测：利用强化学习算法分析电力系统的实时监测数据，实现对电力设备状态和故障的自动感知和检测，提前发现并解决电网故障，确保电网的可靠运行。
4. 削峰填谷与负荷均衡：强化学习算法可以解决电网负荷波动大、负荷均衡度低的问题。
通过合理安排电力资源的分配和调度策略，实现对负荷波动的削峰填谷，提高电网的供电质量和稳定性。
三、基于强化学习的电网优化调度系统的挑战1. 数据采集和处理：强化学习算法需要大量的数据支持，而电力系统的数据采集和处理存在一定的困难。
强化学习在资源调度问题中的应用
强化学习在资源调度问题中的应用强化学习是一种机器学习的方法，通过试错和奖励机制来训练智能体在特定环境中做出决策。
在资源调度问题中，强化学习可以用于优化资源的分配和利用，以提高效率和性能。
本文将探讨强化学习在资源调度问题中的应用，并分析其优势和挑战。
一、介绍资源调度是指根据特定需求将有限的资源分配给不同任务或实体的过程。
在许多领域，如物流、交通、电力等，都存在着资源调度问题。
传统方法通常基于规则或启发式算法来进行决策，但这些方法往往依赖于领域专家的经验，并且不适应环境变化。
强化学习通过智能体与环境交互，并根据环境反馈来进行决策优化。
它可以通过试错过程逐步提高性能，并且可以适应不同环境和任务需求。
因此，强化学习在资源调度问题中具有潜力。
二、强化学习在资源调度中的应用1.物流领域物流是一个典型的资源调度问题，涉及到货物的运输、仓储和分配等环节。
强化学习可以用于优化货物的运输路线、仓库布局和配送计划等。
通过与环境的交互，智能体可以学习到最佳的调度策略，以最大化运输效率和减少成本。
2.交通领域交通拥堵是一个全球性问题，资源调度是解决拥堵问题的关键。
强化学习可以用于优化交通信号控制、路线选择和车辆调度等。
智能体可以通过与交通环境的互动来学习最佳决策策略，以减少拥堵并提高道路利用率。
3.电力领域电力系统是一个复杂而庞大的资源调度系统，涉及到发电、输电和配电等环节。
强化学习可以用于优化发电计划、输电线路选择和负荷分配等。
智能体可以通过与电力系统模拟环境的互动来学习最佳资源调度策略，以提高供电效率并降低成本。
4.云计算领域云计算是一种基于网络的服务模式，在资源分配方面面临着巨大挑战。
强化学习可以用于优化云计算资源的分配和调度，以提高服务质量和资源利用率。
智能体可以学习到最佳的资源调度策略，以最大化用户满意度和利润。
三、强化学习在资源调度中的优势1.自适应性强化学习可以根据环境变化自适应地调整决策策略。
在资源调度问题中，环境因素如需求变化、任务优先级等都会影响决策结果。
M2M通信中基于深度强化学习的资源调度方法及装置[发明专利]
![M2M通信中基于深度强化学习的资源调度方法及装置[发明专利]](https://img.taocdn.com/s3/m/b183a5e1581b6bd97e19ea57.png)
专利名称：M2M通信中基于深度强化学习的资源调度方法及装置
专利类型：发明专利
发明人：林霏,车逸辰,靳显智,刘洁梅,王叶
申请号：CN202011462754.0
申请日：20201209
公开号：CN112584361A
公开日：
20210330
专利内容由知识产权出版社提供
摘要：本申请公开了M2M通信中基于深度强化学习的资源调度方法及装置，用以解决M2M中系统资源分配不合理，容易产生网络拥塞的问题。
该方法建立TD‑LTE系统模型，并确定所述系统当前的资源映射状态；接收待处理的业务作业；根据所述当前的资源映射状态，以及所述待处理的业务作业，通过预先训练好的深度强化学习神经网络，向所述待处理的业务作业分配资源；根据分配结果，对所述当前的资源映射状态进行调整。
本方法通过深度学习和强化学习的结合，在资源分配时，确定最合理的资源分配方式，提高资源调度效率，能够解决由MTCD通信引起的网络拥塞的问题。
申请人：齐鲁工业大学
地址：250353 山东省济南市长清区大学路3501号
国籍：CN
代理机构：济南格源知识产权代理有限公司
代理人：韩洪淼
更多信息请下载全文后查看。
基于强化学习的智能化调度系统设计与实现
基于强化学习的智能化调度系统设计与实现智能化调度系统是现代工业中非常重要的一个应用领域，它可以将人工智能技术与调度问题相结合，使得整个系统能够更好地完成各种任务，提高系统效率和工作效益。
此外，随着强化学习技术的逐渐成熟，越来越多的智能化调度系统也开始采用强化学习算法，以取得更好的效果。
本文将就基于强化学习的智能化调度系统的设计与实现进行探讨。
一、智能化调度系统设计思路传统的调度系统多采用基于规则的方法，即经过多年的实践和积累之后，建立了一套系统化的规则库来进行调度工作，而这些规则主要是通过专家经验和部分知识推导得出的。
但是，由于这种方法过于依赖专家知识和规则库的建立，导致调度系统的灵活性和可扩展性较弱，无法适应大规模任务的复杂和多变的情况。
因此，基于强化学习的智能化调度系统应运而生。
智能化调度系统主要采用强化学习的方法，该方法能够从与环境的交互中获取知识、学习策略，并且逐步优化策略，在不断试错中来实现效率最大化和任务完美完成。
基于强化学习的智能化调度系统的设计就是将这一思路应用到调度系统中。
首先，应该从运行环境的抽象和建模入手，即从真实环境中提取有用信息，构建适应模型，并根据实际需求对模型进行学习和调整。
其次，需要每个智能调度系统都应该具有某种可执行的策略，并根据以往的经验来发现最优策略，这是通过强化学习算法来实现的。
最后，在实际应用中，还需要建立可靠的评估指标，来评估和改善系统性能。
二、强化学习算法在智能化调度中的应用强化学习的大致流程可以分为状态、行为和奖励三个组成部分。
在强化学习中，我们需要根据当前的状态进行一定的行为，以触发奖励，进而对属性进行更新。
智能化调度需要的是最佳行为策略，可以通过找到最佳Q值，找到最优的策略。
当前流行的强化学习算法有Q-Learning算法、Sarsa算法以及Deep Q Network （DQN）算法等。
其中，Q-Learning算法适用于解决离散和小规模状态空间下的智能化调度问题，而Sarsa算法适用于具有连续变量状态空间和动作空间的智能化调度问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
上海电力学院学报Journal of Shanghai University of Elect/z Power第35卷第4期2019年8月Vol. 35,No. 4Aug. 2019DOI ： 10. 3969/j. issn. 1006 -4729.2019. 04. 018基于强化学习的云计算资源调度策略研究李天宇（国网上海电力公司信息通信公司，上海200030）摘要:提出了一种基于强化学习的云计算虚拟机资源调度问题的解决方案和策略。
构建了虚拟机的动态负载调度模型,将虚拟机资源调度问题描述为马尔可夫决策过程。
根据虚拟机系统调度模型构建状态空间和虚 拟机数量增减空间，并设计了动作的奖励函数。
采用0值强化学习机制，实现了虚拟机资源调度策略。
在云平台的虚拟机模型中，对按需增减虚拟机数量和虚拟机动态迁移两种场景下的学习调度策略进行了仿真，验证了该方法的有效性。
关键词：云计算；虚拟机；强化学习；控制策略中图分类号:TP399 文献标志码:A 文章编号：1006 -4729（2019）04 -0399 -05ReeearchonCloudCompurnng ReeourceSchedulnng SrraregyBased on Reinforcement LearningLDTianyu(Statr Gri Shanghai Municipal Electric Powes Company ，Shanghai 200030, China)Aberracr ： A solution to cloud computing resourcescheduling problem based on reinforcementlearning isproposed8Thedynamicload scheduling model of the virtual machine is constructed ，and thevirtualmachineresourcescheduling problem isdescribed astheMarkov decision proce s 8Ac-cording to thevirtualmachinesystem scheduling model ，thestatespaceand thenumberofvirtualmachinesareincreased ordecreased ， and thereward function oftheaction isdesigned8TheQ-valued reinforcementlearning mechanism isused to implementthevirtualmachineresource scheduling strategy8Fina l y ，in thevirtualmachinemodelofthecloud platform ，theperformanceofthelearning and scheduling strategy isenhanced underthescenariosofincreasing ordecreasing the numberofvirtualmachinesand virtualmachinedynamicmigration8Thee f ectivene s ofthemethod is verified8Key worre : cloud computing ； virtual machine ； reinforcement learning ； control strategy云计算是一种新兴的领先信息技术，云计算 是在“云”上分配计算任务，通过专用软件实现的 自动化管理使用户能够按需访问计算能力、存储空间和信息服务，用户可以专注于自己的业务，无 需考虑复杂的技术细节，有助于提高效率、降低成本和技术创新。
云计算研究的关键技术有:虚拟化技术、数据存储技术、资源管理技术、能源管理技术、云监控技术等。
其中，系统资源调度是云计算中的关键问题 之一。
然而，由于云计算平台上应用程序的多样性收稿日期：2018-12-17通讯作者简介:李天宇（1986—），男，硕士，工程师&主要研究方向为云计算& E-mail ：lihanyu@ sh. sgcc. com. cn 。
400上海电力学院学报2019年和用户负载的动态变化，可能发生节点之间负载不平衡的问题，载、资源不足,而另一载闲置空闲，极大地计算系统的整体性能。
此外,计算资源规模的扩大，资源集群的人工或手动管理变得&,的算法自动协调间的负载,提升云计算平台的资源利用率已成为云计算领域要解决的问题〔T。
统的虚拟机资源调度策略算法不同，强化学习(Reinforcement Leaming,RL)算法是一种无调度方法，不需要系统的先识&法定决，定，化模型中的智能体(Agent)和环境(Environment),通过使智能体与环境交互学习，获得系统的和动态特性&交互过程中，定奖励(Reward)和惩罚(Punishment)来能体的行为，并大化累计奖赏获得控制⑷。
文献[5-6*研究学习态计算资源管理中的应用，以云计拟资源的配置问题为学习对象，从控制的角度进研究。
文献)6*着重每拟机的计算资源分配，并将为学习对象，构分布拟机资源自置系统。
但是,该方法仅从每拟机资源,忽拟集群的整体资源性能&文针对户负载动态的云计算虚拟机资源调度问题，设计基于Q学习的计拟机资源调度方法。
将系统虚拟机的配置管理过程描述为决 程(Markov Decision Process,MDP),并根据系统中的运行状态和输入负载的动态变化引入Q学习机制。
智能体拟机资源环境的持续交互来获得最佳虚拟机调度&最后,本文以按需增减虚拟拟态景为例，进仿真研究，并分同场景化学习的能&1虚拟机资源调度决策模型1・1虚拟机调度结构文研究的计拟资源调度用户、监视器、调度拟机资源池等组成&虚拟机资源调度结构如图1所示&其中,调度程序自动将虚拟机的决块配置为；学习的智能体结构，发挥拟机的资源决策调度&态载平，户载所拟，拟调度将控制器调节相应的虚拟，以达户载平&用户排队模型需求队列资源池图1虚拟机资源调度结构示意1.2虚拟机决策模型强化学习方法侧重于学习解决问题的策略&学习方法相比，学习算法更注重环境的交互&本文构建的学习智能体将虚拟机资源调度问题为间序列的可决 程，智能体观为提取的特征&决程，同时考励的&基 决程，文定拟机调度策略问题，在每间步上，智能体观包学习中的状态i，动a-励函数i&系统状态i取a-并4状态i+1,s—i=4(s,a t，.t%{0,1,2，…,H-1}(1)励函数i与状态转移函数P相关联，可表为r-=5»,卑,》+1),.t%{0,1,2,…,H-11(2)文研究的问题是寻找最优策略h+，使得整个优化范围内获得的奖励G t最大&G的表达式为李天宇:基于强化学习的云计算资源调度策略研究4017-=-"，+(3)=0式中:,---折扣因子，未来奖励在学习中的重要性而设定,,％［0,1］。
当智能体〃时,累计回报服从一个分布,累计回状态S处的期望值定义为状态-动作值函数Q#(s,a)。
罗oubf Q FyQ(S F,a*；(-)(7)网络的(是更新的，每经过N轮迭代，即可将网络的参数复制给目标值网络&Q值和目标Q间的均方误差来更新网&误(为(t=1t-A(罗oubU Q-Q(s,a；())"］(8)Q h(s,a)=E h("t=0,a t=a)(4)双重0值网络误差函数误差函数的梯度arg max。
Q(s,a;0)定义最优Q值函数为Q*(所有策略中最大的状态)，即Q*(s,a)=max Q#(s,a)(5)h若已知Q*，则最优策略h*可通过直接最大Q*(s,a)来定,h *(a_s)=arg maxQ*(s,a)(6)a%A (s,a/,s')0(s,Q；6)每隔N时间/步拷贝参数当前值网络"人步拷贝参数max，。
Gk"')目标值网络回放记忆单元图2双重。
值网络培训流程2虚拟机调度策略的实现2.1深度。
值强化学习过程虚拟机资源调度问题的学习目标是通过使用调度系统模块的时间序列来添加拟机作为决策变量，利能体的反馈信号，环互动，调改善智能决策行为从得最佳调度策略。
文献)5-6］将强化学习引入到云计算虚拟资源的配置中，文献［7-10］将学习引入：际应景的综合研究中。
本文深度Q值学习算法来解决虚拟机资源自置决策问题，即计算应用系统中的运行状态,调度决块，并特定从空间中动作，以改善系统的状态和处理能力。
对于Q值,问题，使用诸如神经网络的非线逼近器来近似&深度Q学习算法使用的是双重Q值网络结构。
图2为双重Q值网络的培训流程图，介绍了系统培训过程。
重Q值网络将评估用不同的来实现,重Q值网决的过估计问题,如图2所示&更新中，目标值可以表示为强化学习过程中，Q值学习算法采用随机梯度下降法修正网，使网络计算的Q值接近目&，更新网为=(-+$(罗oubU Q-Q(s,a；())V Q(s,a；()(9) 2.2马尔可夫决策过程元组描述2.2.1状态空间文献)7-8］，虚拟机自动调度决策需要解决状态空间中的拟机资源配置行为，因此将拟群中的虚拟机资源置决中的状态空间。
调度决的状态空间S表示为S=1s s,s3，O，s n1(1°) 2.2.2动作空间户，对不同的物理资源和虚拟资源进态划分或释放。
户要这部分资源时，将释放。
云计为用户提供的这种资源利用的可扩&文献)9-10］，在每间步长上，学习智能体采的离散 包括添加虚拟机、虚拟保置拟机3种状态。
本文将空间a划分成3个数值，即a%［0,1,2］。
a二0指示调度决块添加虚拟机,a o1拟保持空,a o2调度决块拟机。
402上海电力学院学报2019年2.2.3励学习中的奖励得作环境的优劣评估值。
它是励函〔⑴。
应系统添加拟，虚拟机资源的系统状态（例CPU,带宽利用率）相应地变化。
，增加应用系统的处理能力，计应用提供商所需的系统处理要求，还户的加载请求,并置较大的励值;反，经调，产负荷损失，可设定为负的惩罚值。
i=Sa f，d t）=r+（a t，d t）+r-（a t，d t）（11）式中:at——加值；d t------;r+（a t，d t）满足用户负荷需求的奖励；r-（a t，d t）不能满足负荷需求的惩罚。