基于NUMA架构的服务器虚拟化性能优化研究综述-黄步添

基于NUMA架构的虚拟化平台的性能优化研究综述

黄步添

摘 要: 随着虚拟化、云计算技术的发展，用户的大型关键业务（如高性能计算业务和大型数据库业务）部署到虚拟化平台。特别以NUMA架构为基础的多核与内存硬件技术，为高性能计算提供了重要的硬件支持，并在传统的非虚拟化平台中广泛应用。在虚拟化环境中，为了有效运行大型关键业务，并使原来多机多核的高性能计算部署在巨型虚拟机中，需要进一步优化服务器的虚拟化性能。因此，基于NUMA架构的服务器虚拟化性能优化，是虚拟化领域一个重要的热点研究方向。本文针对操作系统虚拟化平台，从NUMA服务器架构、虚拟化平台的NUMA感知、基于NUMA架构的虚拟机的调度及迁移、基于NUMA架构的虚拟机性能评测及部署优化等四个方面的最新研究成果进行综述。论文分析了虚拟化平台面临的挑战，指出了虚拟化平台性能优化的难点、分析方法。最后对全文进行总结，提出未来值得进一步研究的方向。

关键词: 虚拟化；NUMA；VMM；Xen；KVM

1 引言

多核系统已经成为数据中心、云计算等的基础架构，越来越多的新的多核系统采用NUMA（Non Uniform Memory Access Architecture）架构。然而，由于数据局部性，片上内存资源的共享竞争，跨节点的数据共享的开销等，使得虚拟化性能问题进一步复杂化。由于物理硬件到虚拟硬件的不正确映射和抽象，程序和系统级的优化在虚拟机内往往不能奏效。

片上共享资源的竞争，严重影响了虚拟化平台所能提供的效率、公平性、QoS（Quality of Service）等特性[19]。现有的研究中，通过硬件技术[24]和程序优化[28]来减轻这种影响；通过一种更加灵活的方法－线程调度，来避免破坏性地使用共享资源[11,12,13,32]，且有效地使用[16,51]。处理器上的共享缓存资源的合理利用是提高虚拟化平台性能的重要技术之一。通过使用PMU（Performance Monitor Unit）采集缓存失效率[1,11,12,32]以及内存带宽使用量[16]来量化共享资源的竞争及共享情况。

较早的研究中，更多关注于线程和内存管理策略的NUMA感知[53,54,55]。最近的研究，Dashti提出了内存密集型的应用引起的内存控制器的拥塞和互连问题，是影响性能的更关键因素[26]。目前研究中大多是侧重于内存负载均衡[49]或CPU负载均衡[1,48,52]，Tian提出Linux的CFS（Completely Fair Schedule）调度器通过感知NUMA架构，来优化调度算法[41]；集成负载表征，Chen提出一种综合性调度算法，避免不必要的任务迁移[52]；Blagodurov提出一种命中率启发式算法，来减轻缓存共享引起的性能退化[11]。这些研究未能很好地感知NUMA架构的特点，且未能全局考虑负载均衡所引起的性能开销。

在虚拟化环境下，持锁者抢占（LHP）问题也是影响性能的关键因素。Strazdins提出采用co-scheduling 算法来避免LHP问题[56]，但是该算法会带来CPU利用率碎片和不确定的系统延迟[57]。2010年3月，英特尔推出了6核32nm处理器家族Westmere，随它而来的也有一个新的VT-x虚拟化技术，即Pause-Loop Exiting(PLE，暂停-循环退出)，它的主要用意就是减少因为循环等待而造成了CPU虚拟资源的浪费。基于PLE机制，Dong提出产生lock waiter任务，来避免CPU周期的浪费，使得提高性能[58]。

近几年的虚拟化研究，Kundu引入机器学习方法，对虚拟机运行指标特征进行分析，来优化虚拟机的放置策略[59]；采用人工神经网络，来对虚拟化环境进行评估，来优化系统资源调度[60]。Tickoo基于benchmark vConsolidate，设计了一种虚拟机性能建模方法[61]。

本文从NUMA服务器架构、虚拟化平台的NUMA感知、虚拟机的NUMA调度及迁移、基于NUMA 架构下的虚拟机性能评测及部署优化等四个方面，对基于NUMA架构的虚拟化平台的性能优化问题进行系

统的分析和综述。论文第2节分析了基于NUMA架构的服务器特性及虚拟化性能评测方法；第3节提出了虚拟平台的NUMA感知；第4节提出在NUMA架构下的虚拟机的调度及迁移；第5节提出在NUMA架构下的虚拟机性能评测及部署优化；最后对全文进行总结，提出未来值得进一步研究的方向。

2 基于NUMA架构的服务器

2.1 NUMA体系架构

多核系统已经成为科学计算集群，数据中心，云计算的基础平台[89]。SMP（Symmetric Multi-Processing）的问题主要在CPU和内存之间的通信延迟较大、通信带宽受限于系统总线带宽，同时总线带宽会成为整个系统的瓶颈。由此应运而生了NUMA架构，如图1。NUMA（Non-Uniform Memory Access）是起源于AMD Opteron的微架构，同时被Intel Nehalem采用（英特尔志强E5500以上的CPU和桌面的i3、i5、i7均基于此架构）。这也应该是继AMD64后AMD对CPU架构的又一项重要改进。

图1 四个NUMA节点的服务器

NUMA架构将整台服务器分为若干个节点，每个节点上有单独的CPU和内存。内存访问有远端和本地之分。本地的内存访问直接通过内存控制器访问处理器所在节点上的内存，而远端访问则需要通过额外的节点间互联硬件设施。因此远端内存访问的开销要大于本地内存访问的开销。和所有处理器访问内存的时间都一样的UMA不同，NUMA的本地访问开销低，远端访问开销大，因此NUMA架构更依赖于软件层的优化。多核系统的资源共享会带来效率、公平性、QoS等问题。现有业界关注于硬件技术[24]和程序优化[28,63,64]来缓解以上问题。为了提升性能，现代操作系统如linux，会尽量增加本地内存访问，减少节点间内存访问的次数[65,66]。因此软件层的优化，一方面充分利用快速的本地访问，一方面通过分散负载来降低缓存竞争，充分利用更高的内存带宽。不同类型的负载对各种共享资源的使用情况不同，通过合理的组合，应用相应的资源分配策略可以充分利用资源，减小竞争。因此NUMA架构上任务调度的优化空间也要大于UMA架构。

2.2 虚拟化性能评测方法

在性能测试在性能测试和分析工具方面：有一些非虚拟系统中已有的测试工具可以被用来评价和获取虚拟机的性能。如SPEC[72]（标准性能评测公司）提供的基准测试程序套件（Benchmark），SPECCPU，SPECJBB，SPECWEB，和原来用于高性能计算的测试程序集HPCC等。在测试的同时还有一些工具可以被用来对虚拟系统的性能进行分析，如Linux下性能分析工具Oprofile的修改版本Xenoprof[73]，可以支持虚拟机性能事件分析，此外还有Xen自带的Xentrace，Xentop，Xenperf等工具。

在虚拟化性能评测研究方面：作为对不同虚拟机管理器性能的评测研究，Paul等人分析了Xen，VMware Workstation，User Mode Linux等性能差别[67]。针对虚拟化系统中的典型场景服务器整合场景，VMware公

司的Vikram等人提出了VMmark测试工具集[74]。与之相类似的是SPEC组织的vConsolidate测试集。Apparao 等人分析了虚拟机在多核平台上的虚拟机性能，认为影响多核平台上虚拟机性能的因素有核共享竞争、Cache竞争以及虚拟化开销[75]。针对虚拟机调度中至关重要的动态迁移机制，Huang等人提出了要从迁移时间，宕机时间，迁移过程中的数据传输，迁移虚拟机应用负载的降低来衡量虚拟机迁移的性能，并进行了相关实验[76]。Ye等人利用HPCC评测程序分析了基于Xen的虚拟集群环境下的高性能计算的性能表现特征[77]。

3 虚拟化平台的NUMA感知

3.1 NUMA架构的虚拟化

为了在多个虚拟机之间无缝的共享硬件，虚拟化层为每一个客户虚拟机提供了主机硬件的抽象。客户操作系统依赖于虚拟机器的翻译来访问真实的硬件。对于内存访问来说，客户操作系统所使用的物理地址需要翻译成主机上的物理内存地址。应用程序线程所在的虚拟CPU，需要被映射到物理CPU核上。为了使客户操作系统内的优化起作用，虚拟机到主机之间资源的映射需要反映出主机的NUMA拓扑结构。

虚拟化的硬件结构能否呈现真实的物理结构，会影响系统级的性能优化。ACPI的SRAT（Static Resource Affinity Table）表和SLIT(System Locality Information Table)表能从固件层收集系统资源拓扑信息，因此通过ACPI表获取节点拓扑信息是一个较好的方法[2,3,4]。

为了给虚拟机提供弹性的执行环境，现代的虚拟化平台[67,68]隐藏了物理层的细节，包括内存拓扑结构等。基于xen平台，VMM实现了虚拟的NUMA拓扑结构，则虚拟机可以感知NUMA拓扑结构[3]。VMWare、KVM也实现了这一特性[2,98]。除了NUMA拓扑结构外，Xen从内存迁移、balloon机制等方面增加了NUMA 感知功能[88]。

3.2 VMM的NUMA感知

Jiang[92,93]证明了即使我们知道了各线程之间在同一共享LLC下运行产生的性能下降，也很难作出好的决策。他们将每个需要调度的线程看作一个顶点，两顶点之间边的权重代表这两个线程运行在同一共享LLC运行下的性能下降。因为任何两个线程都有可能被调度在同一个LLC上，所以这就构成了一张完全图。寻找最优的调度方案就转换成了找这个图的最小权重完全匹配。对于每个LLC上两个核的机器，这个问题有很多多项式时间的解法，但是现实场景下很多机器的LLC上都是4个及以上的核，则这个问题会被证明是NP完全的[92]。但是存在一些多项式的近似算法，并提出了相应的算法，并且很接近最优结果[92,93]。

但是，在真实的应用场景中，我们是无法事先获得线程性能下降信息的。因此更加可行的方式就是通过在线采集得到的信息来进行调度。Blagodurov提出了DINO(Distributed Intensity NUMA Online)算法[12]，这个算法实在UMA(Unified Memory Architecture)架构上的缓存竞争缓解算法DI(Distributed Intensity)基础上加入NUMA感知而得来的。DI算法管理下的线程性能和“最优”绑定策略下的性能相差不超过3%[19]。这里的“最优”绑定是通过离线将每种绑定策略进行测试，选出性能最优的绑定策略。

和DINO不同，Majo提出了N-MASS(NUMA-Multicore-Aware Scheduling Scheme)算法，可优先减少内存的远端访问[18]。N-MASS算法分为三个步骤。首先，在每个CPU核上，根据MPKI(Miss Per Thousand Instructions)递减对该核上的线程排序。之后将各CPU核上的有序进程列表根据MPKI合并，并且以最大化数据本地访问的原则将线程映射在核上，最后根据各CPU之间的负载情况和进程迁移的开销来调整分配结果，缓解缓存竞争。

4 基于NUMA架构的虚拟机调度及迁移

4.1 基于NUMA架构的虚拟机调度机制

操作系统调度的实施主要有两种方式，一是通过操作系统/虚拟机监视器层，二是用户层。Rao [1]提出的算法在Xen虚拟机监视器中实现，他们认为用户态的调度器会在系统中形成很多“资源孤岛”，因为用户态调度器的决策会覆盖系统调度器的决策，让系统调度器不能通过迁移这些线程来完成负载均衡，而且会使各线程的优先级得不到很好的保证。Blagodurov [12]则认为在用户态实现，会便于调度器的部署使用，是短期内提高NUMA上程序性能的很好的方式[20]。

Rao[1]提出了BRM(Bias Random vCPU Migration)算法。这个算法监视所有节点上的非核开销，找出运行着NUMA敏感信息的vCPU作上标记，以便调度时区别对待。如果发现某节点的非核开销大于其他节点，那么这个节点成为迁移目的节点的概率就会变大。这个算法在迁移决策时引入了随机性以使每次运行结果的差异减小，同时通过随机性避免核之间同步所产生的开销。

除了采用系统调用对线程或vCPU进行调度之外，还在AMD平台上，利用IBS(Instruction-Based Sampling)获取LLC适配访存地址实现了几种不同的内存迁移策略，包括从失配地址开始迁移，以失配地址为中心迁移[12]。通过实验发现，以失配地址为中心迁移的策略在这些策略中有最好的性能。Richard [71]提出一种内存放置和迁移策略，允许系统中存在一个虚拟页的多份物理拷贝。这种策略根据访存历史，支持迁移和复制两种操作，但如果没有硬件支持，那么通过软件收集访存历史会造成较大开销。VMware的ESX Server也类似的策略[70]，它合并客户进程上相同的页，并且根据需要在每个节点上放置一份共享页的拷贝以减小内存远端访问。

4.2 基于NUMA架构的虚拟机迁移

现有的实时迁移机制更多关注于将虚拟机从一个主机迁移到另一个主机。在虚拟机动态迁移过程中，预拷贝[83]、后拷贝[84]、内存压缩[85]、跟踪回放[86]、实时组迁移[87]等技术，主要关注于如何减少内存数据的转移。Pre-copy技术尽量地减少宕机时间，并且不影响服务的运作；post-copy技术减少总的迁移时间，且让程序能够持续地执行；跟踪回放技术通过日志跟踪源主机，并采用同步算法来协调运行的源和目标虚拟机，使得到一个一致的状态；内存压缩技术通过批量压缩需要迁移的内存页，来减少内存迁移量；跟踪回放技术；实时组迁移技术提出如何将部署于同一台物理机器的一组VM并发进行动态迁移。

目前业界一般只关注迁移的速度以及宕机时间，未关注迁移后的虚拟机性能。特别是若迁移的目的主机是基于NUMA架构，则需考虑迁移后的虚拟机保持NUMA拓扑结构。目前，xen官方做了部分工作，但实际效果不好[88]。

在NUMA架构的物理机内部，虚拟机在节点间的迁移，VMware[91]提出了将虚拟机的内存从一个NUMA节点迁移到另一个NUMA节点的方法。一旦虚拟机被迁移到一个新的节点，使用率最高的页面获得最高优先级，首先迁移该页面，从而尽快使这些页面成为本地内存。

5 基于NUMA架构的虚拟机性能评测及部署优化

5.1 基于NUMA架构的虚拟化性能评测

调度器为了作出优化的调度决策，必须要合适的指标用来预测程序的性能。现有大多数研究着眼于LLC(Last Level Cache)上竞争的影响[11,6]。若要找到合适的指标来预测程序的性能，就要研究影响程序性能的因素。Ali [2]提出了一种调度算法，简单地采用LLC失配率作为指标判断程序对共享资源的占用情况。因为LLC失配率不单说明了程序在LLC上的行为，还反映了程序对整个内存系统的影响。通过实验发现，LLC失配率相近的程序对于共享LLC上同时运行的程序的影响程度没有明确的大小关系，但是如果两个程序LLC失配率相差较大，那么LLC失配率更大的程序一般对共享LLC上一同运行的程序的影响比LLC失

配率较小的程序程度要大。更加复杂一些的指标如SDP(Stack Distance Profiles) [8]和MRC(Miss Rate Curve)。SDP相当于一个直方图，每当发生cache命中，则在相应的LRU stack位置的计数器加一。这样，在n路关联缓存中获取的SDP信息可以预测程序在(n-1)路关联缓存中的额外cache失配。而失配率和cache大小的关系曲线就是MRC。Dhruba Chandra提出了一种算法通过将两个程序的SDP组合成一个来预测两个程序在共享LLC上一起运行时的额外cache失配情况[90]，而且通过模拟器证实了这个算法是十分精确的，虽然这两种技术精确度十分的高，但是在现有的系统上并不容易在线获得[24]。

Blagodurov[12,94]还提出了一种方式来定量地计算出NUMA架构的物理机上的LLC、内存控制器、节点互联装置上的竞争所造成的开销。他们通过将两个基准测试程序以不同的绑定策略运行在两个节点的NUMA机器上。通过对比不同绑定方案性能的差异，来分析不同因素所造成的开销。但是这样的量化方式忽略了各因素之间的相互影响。

Majo[18]提出了NUMA penalty这个指标，用于指示程序在内存远端访问下的性能下降情况。

NUMA penalty=CPI remote/CPI local

其中CPI local指程序本地运行时的CPI(cycles per instruction)，CPI remote指程序所用CPU和数据在不同节点上时的CPI。

Rao[1]认为引起程序性能下降的因素主要有三个：数据局部性，LLC竞争，共享引起的开销；并实现了一个基准测试来研究这三个因素。通过对因素单独和组合的测试，他们发现这三个因素之间有着复杂的相互作用，而且这三个因素在不同情况下分别起主导作用。如果仅考虑其中一个因素则不能很好地提高程序的性能，甚至会引起性能下降。Rao提出了“非核”开销的概念，即对不在CPU核上存储子系统的访问所造成的开销。对于同构的NUMA机器来说，每个核的配置都是相同的，那么不同的线程到核的映射所产生的不同性能只与非核开销有关。这个非核开销就包括了非核系统上的停顿周期。

5.2 基于NUMA架构的虚拟机部署优化

虚拟机部署优化是多虚拟机环境管理的核心问题。虚拟机部署优化的基本场景是：在多虚拟化场景中，虚拟机按照用户需求定制。随着虚拟机负载变化，整个集群的资源使用情况发生变化，系统动态地调整虚拟机在物理机的放置位置，实现整个集群的节能和动态优化。

Hermanier[78]针对调度决策的产生和调度操作的规划分别进行了讨论。在调度决策阶段，将虚拟机部署问题抽象成背包数量改变的二维多背包问题，对于背包数量固定的情况并利用二维背包动态规划算法进行求解，同时遍历不同的背包数量，最后找到一个背包数量最少且可以同时放下所有物品的情况。在求解过程中通过优化策略进行剪枝，如限制优化目标的范围，只针对背包数量减少的新情况求解等。

Li[80]等人面向节能的考虑，采用动态迁移技术实现虚拟机的动态部署，从而使运行的物理机数量最少。文中考虑了负载到达，负载离开，负载大小变化三类事件。负载到达时，采取修改过的Best-fit贪心部署虚拟机。负载离开时，对离开负载所在的物理机的所有虚拟机做负载到达操作。负载变化时，按照负载离开，以及一个变化后的负载进行处理。文中只是简单地通过Best-fit算法得到部署结果，但是在没有考虑每次调度过程中，由于迁移带来的影响。而且Best-fit的贪婪策略也不能保证全局上的部署最优。

特别是在NUMA架构下，Xen官方社区提出基于NUMA感知的虚拟机放置策略[97]，根据NUMA节点的内存负载、vCPU复用比来确定虚拟机的放置。Prerna等人提出在NUMA物理机内部在虚拟机运行过程中，基于NumaSched和AutoNUMA来优化虚拟机的资源布局[27,95,96]。

总而言之，在NUMA架构下，基于集群的负载均衡，这就需要考虑NUMA架构特点，同时虚拟机迁移到目的节点时需保持vNUMA。

6 结语

本文综述了基于NUMA架构的虚拟化平台的性能优化技术，从NUMA架构特性、虚拟化平台的NUMA

感知、虚拟机的调度及迁移、虚拟机性能评测及部署优化等四个方面进行系统阐述。多核架构的发展，特别是NUMA架构，虚拟化平台性能优化带来诸多挑战。这就需要虚拟化平台支持NUMA拓扑结构，同时CPU调度时要支持NUMA亲和性；虚拟机迁移到目标主机时，要支持动态调节NUMA拓扑结构。为了更进一步提升NUMA架构下的虚拟化平台性能，我们需要优化虚拟机的初始放置，同时在运行过程中，动态调节虚拟机的部署。

基于NUMA架构的服务器虚拟化性能优化技术的研究目前还处在刚刚兴起的阶段，大多数的研究成果是最近几年才发表的，还存在很多问题需要进一步解决。下面我们根据对前人工作的总结，并结合自己的理解，给出未来虚拟化平台的性能优化领域中六个值得进一步研究的方向：

（1）基于NUMA架构的大页内存技术。在运行一些benchmark(CG, UA，SPECjbb)时，发现虚拟机的性能下降。我们发现导致其性能下降的因素是hot page，由于其访问内存的特征导致大量的内存访问都集中在了极少数的几个内存大页上面，PAMUP上升的很快，又由于这样的大页个数很少，甚至少于NUMA结点数，这就导致有的内存结点很繁忙，有的内存结点很空闲，即一些结点内部的流量过载。因此我们需要从大页机制的评测、动态开关大页机制的条件与算法、虚拟机的NUMA架构和大页机制影响等方面研究。

（2）vNUMA拓扑结构自适应调整。通过虚拟机初始放置，根据HVM guest内存的物理布局，自动分配物理资源给guest OS，呈现给guest OS NUMA架构。由于系统负载均衡机制，系统将某个节点上的虚拟机迁移到相对空闲的节点，这将破坏虚拟机的NUMA拓扑结构。同时由于内存复用机制，虚拟机的内存通过balloon机制会导致跨节点的现象，呈现给guest OS的虚拟NUMA架构与实际的物理NUMA架构会呈现不一致。因此需要通过一种虚拟NUMA的动态调节机制，使得呈现给VM的虚拟NUMA拓扑结构与实际的物理拓扑结构保持对应关系。

（3）基于NUMA架构的NUMA节点间的负载均衡。在虚拟化平台下，现有的业务应用部署在虚拟机内部，依托VM的客户机操作系统(Guest OS)运行。Guest OS不同于传统的裸机上的OS，无法感知NUMA 的存在，无法发挥NUMA架构的优势。现有的VMM或Hypervisor对于无NUMA感知的资源调度，导致虚拟机随vCPU核数增加，性能非线性增长。原因在于1）NUMA架构下，访问remote node内存访问延时较大；2）没有Guest NUMA支持，Guest OS不能为vCPU最优分配资源，可能导致访问远端节点的内存，导致业务性能下降。因此需要提供负载均衡机制，能够感知NUMA架构，根据物理node的CPU和MEM 的利用率，VM的vCPU和VMEM QoS，在负载高的情况下，把vCPU从一个node迁移至另一个node的物理CPU上运行。

（4）基于NUMA架构的Cache共享研究。多核平台的缓存和内存结构特点对多核虚拟化性能的影响越来越大。降低内存访问时间和有效利用缓存资源对虚拟化环境下系统性能的提高起到至关重要的作用。主流的多核平台架构中，多个CPU核共享LLC，LLC的容量越来越大，如何高效利用共享LLC成为多核虚拟化环境下亟待解决的问题。在虚拟机调度时，考虑共享Cache对VM调度的影响，利用共享Cache提升系统整体性能，从而解决多核（众核）处理器架构对虚拟化平台带来的性能冲击。

（5）基于NUMA架构的vCPU调度研究。目前的研究主要考虑局部性（增加访问本地节点概率），但实验发现NUMA下影响性能的主要因素是控制器拥塞和节点间通信拥塞。可通过量化建模，根据不同指标采用自适应的调度策略。基于多核架构下，多线程并行负载越来越常见，在虚拟化调度时出现一个线程运行一个挂起，造成性能低下（同步延迟很高）。通过控制抢占：VMM监控到IPI时，立刻唤醒receiver vCPU，保证sender vCPU一段时间不会被挂起；控制vCPU-pCPU分配：某个VM而言，尽量每个pCPU上只有一个vCPU，同时又能避开负载高的pCPU。在多核虚拟机中，系统通常为该虚拟机配置多个vCPU，多台虚拟机的vCPU共享物理多核处理器的pCPU。在一般情况下，hypervisor为vCPU映射合适的pCPU给虚拟机执行任务，pCPU的资源得到充分的利用。但是在某些任务调度过程中，多核虚拟机的众多vCPU访问共享资源时会产生极大的同步开销，从而对多核虚拟化平台带来性能上的不利影响。这就需要怎样通过识别持锁的vCPU，当出现等锁vCPU时优先调度持锁vCPU，持锁vCPU释放锁后，优先调度等锁vCPU。

（6）基于NUMA架构的内存复用机制研究。目前的研究中涉及通过修改balloon机制，使得不会从某些application中偷取内存，来提升自管理内存的application（比如数据库与JVM）的性能。目前内存复用机制，未很好地感知NUMA架构，可能会出现跨节点的情况，导致VM访问的内存或共享页处于远端访问。同时需要考虑QoS。

References:

[1] Rao, J.Wang, K.Zhou, X.Xu, C.Z."Optimizing Virtual Machine Scheduling in NUMA Multicore Systems," HPCA,2013.

[2] Ali, Q., et al. (2012). Performance Evaluation of HPC Benchmarks on VMware’s ESXi Server. Euro-Par 2011: Parallel Processing

Workshops, Springer.

[3] Rao, D. S. and K. Schwan (2010). vnuma-mgr: Managing vm memory on numa platforms. High Performance Computing (HiPC),

2010 International Conference on, IEEE.

[4] Bae, C. S., et al. (2012). Dynamic adaptive virtual core mapping to improve power, energy, and performance in multi-socket

multicores. Proceedings of the 21st international symposium on High-Performance Parallel and Distributed Computing, ACM. [5] Majo, Z. and T. R. Gross (2011). Memory system performance in a NUMA multicore multiprocessor. Proceedings of the 4th

Annual International Conference on Systems and Storage, ACM.

[6] McCurdy, C. and J. Vetter (2010). Memphis: Finding and fixing NUMA-related performance problems on multi-core platforms.

Performance Analysis of Systems & Software (ISPASS), 2010 IEEE International Symposium on, IEEE.

[7] Broquedis, F., et al. (2010). "ForestGOMP: an efficient OpenMP environment for NUMA architectures." International Journal of

Parallel Programming 38(5-6): 418-439.

[8] Gaud, F., et al. (2011). Application-Level Optimizations on NUMA Multicore Architectures: the Apache Case Study, Research

Report RR-LIG-011, LIG, Grenoble, France.

[9] Lachaize, R., et al. (2012). MemProf: a memory profiler for NUMA multicore systems. USENIX ATC.

[10] Pilla, L. L., et al. (2011). "Improving parallel system performance with a NUMA-aware load balancer." INRIA-Illinois Joint

Laboratory on Petascale Computing, Urbana, IL, Tech. Rep. TR-JLPC-11-02

[11] Blagodurov, S., et al. (2010). "Contention-aware scheduling on multicore systems." ACM Transactions on Computer Systems

(TOCS) 28(4): 8.

[12] Blagodurov, S., et al. (2010). A case for NUMA-aware contention management on multicore systems. Proceedings of the 19th

international conference on Parallel architectures and compilation techniques, ACM.

[13] Ebrahimi, E., et al. (2010). Fairness via source throttling: a configurable and high-performance fairness substrate for multi-core

memory systems. ACM Sigplan Notices, ACM.

[14] Banikazemi, M., et al. (2008). PAM: a novel performance/power aware meta-scheduler for multi-core systems. High Performance

Computing, Networking, Storage and Analysis, 2008. SC 2008. International Conference for, IEEE.

[15] Mutlu, O. and T. Moscibroda (2007). Stall-time fair memory access scheduling for chip multiprocessors. Proceedings of the 40th

Annual IEEE/ACM International Symposium on Microarchitecture, IEEE Computer Society.

[16] Tam, D., et al. (2007). "Thread clustering: sharing-aware scheduling on SMP-CMP-SMT multiprocessors." ACM SIGOPS

Operating Systems Review 41(3): 47-58.

[17] Thekkath, R. and S. J. Eggers (1994). Impact of sharing-based thread placement on multithreaded architectures. Computer

Architecture, 1994., Proceedings the 21st Annual International Symposium on, IEEE.

[18] Majo, Z. and T. R. Gross (2011). Memory management in NUMA multicore systems: trapped between cache contention and

interconnect overhead. ACM Sigplan Notices, ACM.

[19] Zhuravlev, S., et al. (2010). Addressing shared resource contention in multicore processors via scheduling. ACM SIGARCH

Computer Architecture News, ACM.

[20] Zhuravlev, S., et al. (2012). "Survey of scheduling techniques for addressing shared resources in multicore processors." ACM

Computing Surveys (CSUR) 45(1): 4.

[21] Kulkarni, A., et al. (2012). Optimizing latency and throughput for spawning processes on massively multicore processors.

Proceedings of the 2nd International Workshop on Runtime and Operating Systems for Supercomputers, ACM.

[22] Knauerhase, R., et al. (2008). "Using OS observations to improve performance in multicore systems." Micro, IEEE 28(3): 54-66.

[23] Lama, P. and X. Zhou (2012). NINEPIN: Non-invasive and energy efficient performance isolation in virtualized servers.

Dependable Systems and Networks (DSN), 2012 42nd Annual IEEE/IFIP International Conference on, IEEE.

[24] Qureshi, M. K., et al. (2006). A case for MLP-aware cache replacement. ACM SIGARCH Computer Architecture News, IEEE

Computer Society.

[25] An, D., et al. (2012). Reducing last level cache pollution in NUMA multicore systems for improving cache performance.

Computational Science and Its Applications–ICCSA 2012, Springer: 272-282.

[26] Dashti, M., et al. (2013). Traffic management: A holistic approach to memory placement on numa systems. Proceedings of the

eighteenth international conference on Architectural support for programming languages and operating systems, ACM.

[27] Saxena, P. and V. Srinivasan (2012). Optimizing Virtual Machine Resource Placement on Multi-Socket Platforms. Cloud

Computing in Emerging Markets (CCEM), 2012 IEEE International Conference on, IEEE.

[28] Majo, Z. and T. R. Gross (2012). Matching memory access patterns and data placement for NUMA systems. Proceedings of the

Tenth International Symposium on Code Generation and Optimization, ACM.

[29] Broquedis, F., et al. (2009). Dynamic task and data placement over NUMA architectures: an OpenMP runtime perspective.

Evolving OpenMP in an Age of Extreme Parallelism, Springer: 79-92.

[30] Jeannot, E. and G. Mercier (2010). Near-optimal placement of MPI processes on hierarchical NUMA architectures. Euro-Par

2010-Parallel Processing, Springer: 199-210.

[31] Su, C., et al. (2012). "Critical path-based thread placement for NUMA systems." ACM SIGMETRICS Performance Evaluation

Review 40(2): 106-112.

[32] Guo, F., et al. (2007). A framework for providing quality of service in chip multi-processors. Proceedings of the 40th Annual

IEEE/ACM International Symposium on Microarchitecture, IEEE Computer Society.

[33] Li, T., et al. (2009). "Efficient and scalable multiprocessor fair scheduling using distributed weighted round-robin." ACM Sigplan

Notices 44(4): 65.

[34] Heo, J., et al. (2009). Memory overbooking and dynamic control of xen virtual machines in consolidated environments. Integrated

Network Management, 2009. IM'09. IFIP/IEEE International Symposium on, IEEE.

[35] Iyer, R., et al. (2007). QoS policies and architecture for cache/memory in CMP platforms. ACM SIGMETRICS Performance

Evaluation Review, ACM.

[36] Rao, J., et al. (2011). DynaQoS: Model-free self-tuning fuzzy control of virtualized resources for QoS provisioning. Quality of

Service (IWQoS), 2011 IEEE 19th International Workshop on, IEEE.

[37] Lu, P. and K. Shen (2007). Virtual machine memory access tracing with hypervisor exclusive cache. USENIX Annual Technical

Conf.(USENIX).

[38] Salomie, T.-I., et al. (2013). Application level ballooning for efficient server consolidation. Proceedings of the 8th ACM European

Conference on Computer Systems, ACM.

[39] Mishra, V. K. and D. Mehta (2013). Performance enhancement of NUMA multiprocessor systems with on-demand memory

migration. Advance Computing Conference (IACC), 2013 IEEE 3rd International, IEEE.

[40] Lorenzo-Castillo, J. A., et al. (2013). "A flexible and dynamic page migration infrastructure based on hardware counters." The

Journal of Supercomputing: 1-19.

[41] Tian, H., et al. (2013). Analysis and Optimization of CFS Scheduler on NUMA-Based Systems. Emerging Technologies for

Information Systems, Computing, and Management, Springer: 181-189.

[42] Koufaty, D., et al. (2010). Bias scheduling in heterogeneous multi-core architectures. Proceedings of the 5th European conference

on Computer systems, ACM.

[43] Merkel, A., et al. (2010). Resource-conscious scheduling for energy efficiency on multicore processors. Proceedings of the 5th

European conference on Computer systems, ACM.

[44] Blagodurov, S. and A. Fedorova (2011). User-level scheduling on NUMA multicore systems under Linux. Proc. of Linux

Symposium.

[45] Blagodurov, S. and A. Fedorova (2012). Towards the contention aware scheduling in HPC cluster environment. Journal of Physics:

Conference Series, IOP Publishing.

[46] Pilla, L. L., et al. (2012). A Hierarchical Approach for Load Balancing on Parallel Multi-core Systems. Parallel Processing (ICPP),

2012 41st International Conference on, IEEE.

[47] Pilla, L. L., et al. (2012). Asymptotically Optimal Load Balancing for Hierarchical Multi-Core Systems. Parallel and Distributed

Systems (ICPADS), 2012 IEEE 18th International Conference on, IEEE.

[48] Olivier, S. L., et al. (2012). "OpenMP task scheduling strategies for multicore NUMA systems." International Journal of High

Performance Computing Applications 26(2): 110-124.

[49] Zhao, W., et al. (2009). "Dynamic memory balancing for virtual machines." ACM SIGOPS Operating Systems Review 43(3):

37-47.

[50] Vikranth, B., et al. (2013). "Topology Aware Task stealing for on-Chip NUMA Multi-Core Processors." Procedia Computer

Science 18: 379-388.

[51] Bellosa, F. and M. Steckermeier (1996). "The performance implications of locality information usage in shared-memory

multiprocessors." Journal of Parallel and Distributed Computing 37(1): 113.

[52] Chen RZ, et al. (2013). " Comprehensive Scheduling Algorithm for Asymmetric Multi-Core Processors." Journal of Software

24(2).

[53] Bolosky, W., et al. (1989). Simple but effective techniques for NUMA memory management. ACM SIGOPS Operating Systems

Review, ACM.

[54] Brecht, T. (1993). On the importance of parallel application placement in NUMA multiprocessors. Symposium on Experiences

with Distributed and Multiprocessor Systems (SEDMS IV).

[55] LaRowe Jr, R. P., et al. (1992). "Evaluation of NUMA memory management through modeling and measurements." Parallel and

Distributed Systems, IEEE Transactions on 3(6): 686-701.

[56] Strazdins, P. and J. Uhlmann (2004). A comparison of local and gang scheduling on a beowulf cluster. Cluster Computing, 2004

IEEE International Conference on, IEEE.

[57] Lee, W., et al. (1997). Implications of I/O for gang scheduled workloads. Job Scheduling Strategies for Parallel Processing,

Springer.

[58] Dong, Y., et al. (2010). Improving virtualization performance and scalability with advanced hardware accelerations. Workload

Characterization (IISWC), 2010 IEEE International Symposium on, IEEE.

[59] Kundu, S., et al. (2010). Application performance modeling in a virtualized environment. High Performance Computer

Architecture (HPCA), 2010 IEEE 16th International Symposium on, IEEE.

[60] Kundu, S., et al. (2012). "Modeling virtualized applications using machine learning techniques." ACM Sigplan Notices 47(7):

3-14.

[61] Tickoo, O., et al. (2010). "Modeling virtual machine performance: challenges and approaches." ACM SIGMETRICS Performance

Evaluation Review 37(3): 55-60.

[62] Waldspurger, C. A. (2002). "Memory resource management in VMware ESX server." SIGOPS Oper. Syst. Rev. 36(SI):

181-194.Chen Kang, Zheng Wei-Min. Cloud computing: system instances and current research. Journal of Software, 2009, 20(5):1337-1348

[63] Q. Yi, “Automated programmable control and parameterization of compiler optimizations,” in Proc. CGO, 2011.

[64] E. Z. Zhang, Y. Jiang, and X. Shen, “Does cache sharing on modern CMP matter to the performance of contemporary

multithreaded programs?” in Proc. of PPoPP, 2010.

[65] R. Bryant and J. Hawkes. OLS ’03 : Linux Scalability for Large NUMA Systems. In Ottawa Linux Symposium,2003.

[66] C. Lameter. Local and Remote Memory : Memory in a Linux/NUMA System. In https://www.360docs.net/doc/1215672028.html,, 2006.

[67] P. Barham, B. Dragovic, K. Fraser, S. Hand, T. Harris,A. Ho, R. Neugebauer, I. Pratt, and A. Warfield. Xen and the Art of

Virtualization. In SOSP ’03: Proceedings of the Nineteenth ACM Symposium on Operating Systems Principles, pages 164–177, New York, NY, USA, 2003.ACM.

[68] S. Devine, E. Bugnion, and M. Rosenblum. Virtualization System including a Virtual Machine Monitor for a Computer with a

Segmented Architecture. In US Patent,6397242, Oct. 1998.

[69] Kundu, S., et al. (2012). "Modeling virtualized applications using machine learning techniques." ACM Sigplan Notices 47(7):

3-14.

[70] VMware ESX Server 2 NUMA Support.https://www.360docs.net/doc/1215672028.html,/pdf/esx2NUMA.pdf

[71] Richard P, LaRowe Jr, Carla Schlatter Ellis, and Mark A.Holliday. Evaluation of numa memory management through modeling

and measurements. Parallel and Distributed Systems, IEEE Transactions on, 3(6):686—701,1992.

[72] SPEC. https://www.360docs.net/doc/1215672028.html,

[73] A.Menon, J.R.Santos, Y.Turner, G.(John)Janakiraman, and W.Zwaenepoel. Diagnosing performance overheads in the

xeDiagnosing performance overheads in the xen virtual machine environment. Proceedings of the 1st ACM/USENIX international conference on Virtual Proceedings of the 1st ACM/USENIX international conference on Virtual execution environments- VEE'05 ,pp.13.

[74] Vikram Makhija et al. VMmark: A Acalable Benchmark for Virtualized Systems.2006

[75] P.Apparao, R.lyer, and D.Newell. Towards modeling & analysis of consolidated CMP servers. ACM SIGARCH Computer

Architecture News, vol. 36, May. 2008,pp. 38

[76] Clark, C. and Fraser, K. and Hand, S. and Hansen, J.G. and Jul, E. and Limpach, C. and Pratt, I. and Warfield, A. A benchmark of

live migration of virtual machines

[77] K. Ye, X. Jiang, S. Chen, D. Huang, and B. Wang. Analyzing and Modeling the Performance in Xen-Based Virtual Cluster

Environment. 2010 12th IEEE International Conference on High Performance Computing and Communications, 2010, pp. 273-280 [78] F.Hermenier, X.Lorca, J.M. Menaud, G.Muller, and https://www.360docs.net/doc/1215672028.html,wall. Entropy: a consolidation manager for clusters. Proceedings of the

2009 ACM SIGPLAN/SIGOPS international conference on Virtual execution environments,2009, pp.41-50

[79] Hyser, C., et al. (2007). "Autonomic virtual machine placement in the data center." Hewlett Packard Laboratories, Tech. Rep.

HPL-2007-189: 2007-2189.

[80] Bo Li, Jianxin Li, Jinpeng Huai, Tianyu Wo, Qin Li, Liang Zhong. EnaCloud: An Energy-saving Application Live Placement

Approach for Cloud Computing Environments. IEEE International Conference on Cloud Computing,2009.

[81] Choi, H. W., et al. (2008). Autonomous learning for efficient resource utilization of dynamic vm migration. Proceedings of the

22nd annual international conference on Supercomputing, ACM.

[82] Wood, T., et al. (2007). Black-box and Gray-box Strategies for Virtual Machine Migration. NSDI.

[83] C. Clark, K. Fraser, S. Hand, J. G. Hansen, E. Jul, C. Limpach, I. Pratt, and A.Warfield. Live migration of virtual machines. In

Proceedings of NSDI, pages 273–286, 2005.

[84] M. R, Hines, and K. Gopalan. Post-copy based live virtual machine migration using adaptive pre-paging and dynamic

self-ballooning. In Proceedings of VEE, pages 51–60, 2009.

[85] H. Jin, L. Deng, and S. Wu. Live virtual machine migration with adaptive memory compression. In Proceedings of CLUSTER,

pages 1–10, 2009.

[86] H. Liu, H. Jin, and X. Liao. Live migration of virtual machine based on full system trace and replay. In Proceedings of HPDC,

pages 101–110, 2009.

[87] U. Deshpande, X. Wang, and K. Gopalan. Live gang migration of virtual machines. In Proceedings of HPDC, pages 135–146,

2011.

[88] https://www.360docs.net/doc/1215672028.html,/wiki/Xen_Roadmap/4.4

[89] Intel Corporation. Intel 64 and IA-32 Architectures Software Developer’s Manual.2009.

[90] Dhruba Chandra, Fei Guo, Seongbeom Kim, Solihin, Y. Predicting inter-thread cache contention on a chip multi-processor

architecture. High-Performance Computer Architecture, 2005. HPCA-11. 11th International Symposium on, pages 340-351.IEEE,2005.

[91] VMware, Inc., Palo Alto, CA(US) . System and method for improving memory locality of virtual https://www.360docs.net/doc/1215672028.html, 2011/8037280 B2

[92] Yunlian Jiang, Xipeng Shen, Jie Chen, and Rahul Tripathi. Analysis and approximation of optimal co-scheduling on chip

multiprocessors. In Proceedings of the 17th international conference on Parallel architectures and compilation techniques, pages 220-229. ACM, 2008.

[93] Kai Tian, Yunlian Jiang, and Xipeng Shen. A study on optimally co-scheduling jobs of different lengths on chip multiprocessors.

In Proceedings of the 6th ACM conference on Computing frontiers, pages 41-50. ACM, 2009.

[94] Liu, M. and T. Li (2014). Optimizing virtual machine consolidation performance on NUMA server architecture for cloud

workloads. Computer Architecture (ISCA), 2014 ACM/IEEE 41st International Symposium on, IEEE.

[95] P. Zjilstra, https://www.360docs.net/doc/1215672028.html,/lkml/2011/11/17/204 , Linux Kernel Mailing List, 2011.

[96] A. Arcangeli https://https://www.360docs.net/doc/1215672028.html,/lkml/2012/3/26/398, [patch] Linux Kernel Mailing List 2012.

[97] Scheduling and Placement of NUMA in Xen System, https://www.360docs.net/doc/1215672028.html,/wiki/Xen_Numa_Scheduling_and_Placement

[98] https://www.360docs.net/doc/1215672028.html,/page/Main_Page