云计算环境下面向数据密集型应用的数据布局策略与方法

万方数据

万方数据

万方数据

万方数据

万方数据

万方数据

万方数据

万方数据

1480计算机学报2010经

[1][2][3][4][5][6][73

参考文献

DeelmanE,ChervenakA.Datamanagementchallengesofdata—intensivescientificworkflows//ProceedingsoftheIEEE

InternationalSymposiumonClusterComputingandtheGrid(CCGRID).Lyon,France,2008:687—692

DeelmanE,BlytheJ,GilY,KesselmanC,MehtaG,PatilS,SuMH,VahiK,l。ivnyM.Pegasus:Mappingscientificworkflowsontothegrid//ProceedingsoftheEuropeanAcrossGridsConference(AxGrids).Nicosia,Cyprus,2004:11-20

LudaseherB,AhintasI,BerkleyC,HigginsD,JaegerE,JonesM,LeeEA.ScientificworkflowmanagementandtheKeplersystem.ConcurrencyandComputation:PracticeandExperience,2005,18(10):1039一1065

OinnT,AddisM,FerrisJ,MarvinD,SengerM,Green—woodM,CarverT。GloverK,PocockMR,WipatA,LiP.Taverna:AtOOlforthecompositionandenactmentofbioin—formaticsworkflows.Bioinformatics,2004,20(17):3045—3054

GhemawatS,GobioffH,LeungST.Thegooglefilesys—tern.ACMSIGoPSOperatingSystemsReview.2003.37(5):29—43

WangI,,TaoJ,KunzeM。CastellanosAC,KramerD,KarlW.Scientificcloudcomputing:Earlydefinitionandex—perience//Proceedingsofthe10thIEEEInternational

Con—ferenceonHighPerformanceComputingandCommunica—tions(HPCC).Dalian,China,2008:825—830

WieczorekM,ProdanR,FahringerT.Schedulingofscien—

tificworkflowsintheASKALON

gridenvironment.SIG—MODRecord,2005,34(3);56-62

ZHENGPai,bornin1982,M.S.

candidate.Hiscurrentresearchinterests

focusondatamanagementforcloud

computing.

CUILi?Zhen,bornin1976,Ph.D.,associateprofes—

Background

ThisworkissupportedbytheNationalNatureScience

FoundationofChinaundergrantNo.90818001,KeyTech—nologyR&DProgramofShandongProvinceunderGrantNo.2008GG30001005andNo.2009GGl0001002。SpecializedResearchFundfortheDoctoralProgramofHigherEducation

under

grant

No.200804221031。andIndependentInnovationFoundationofShandongUniversityundergrantNo.2009TS030.

Facedwiththedevelopmentofcloudcomputing,dataplacementwhichisacriticalaspectofdatamanagementfordata-intensiveapplicationsincloudisgainingmoreandmore

[83BaruC。MooreR。RajasekarA,WanM.TheSDSCstorageresourcebroker//ProceedingsoftheIBMCentreforAd-

vancedStudiesConference.Toronto,Canada,1998:1-12[93ChurchesD,GombasG,HarrisonA,MaassenJ,RobinsonC。ShieldsM,TaylorI,Wang1.Programmingscientificand

distributedworkflowwithTriana

services.ConcurrencyandComputationlPracticeandExperience,2006,18:102卜1037[10]ChervenakA,DeelmanE,FosterI,GuyL,HoschekW,lamnitchiA,KesselmanC。KunsztP,RipeanuM,Schwar—

tzkopfB,StoekingerH,StockingerK,TierneyB.Giggle:

Aframeworkforconstructingscalablereplicalocationserv—

ices//ProceedingsoftheACM/IEEEConferenceonSuper-

computing.Baltimore,Maryland,USA,2002:1-17

[11]VenugopalS,BuyyaR,RamamohanaraoK.Ataxonomyofdatagridsfordistributeddatasharing,management,and

processing.ACMComputingSurvey,2006,38(1):1-53[12]DoraimaniS,lamnitchiA.Filegroupingforscientificdatamanagement:Lessonsfromexperimentingwithrealtraces//

Proceedingsofthe17thInternationalSymposiumonHigh

PerfclrmanceDistributedComputing.Boston,MA,USA,

2008:153—164

[13]FedakG,HeH,CappelloF.BitDew:Aprogrammableen—vironmentforlarge—scaledatamanagementanddistribu—

tion//Proceedingsofthe2008ACM/IEEEConferenceonSu—

percomputing.Austin,Texas,USA,2008:卜12

[14]YuanD,YangY,LiuX,ChenJJ.Adataplacementstrate~gYinscientificcloudworkflows.FutureGenerationComput—

erSystems,2010,toappear

[15]McCormickWT,SehweitzerPJ,whiteTW.Problemde—compositionanddatareorganizationbyaclusteringtech—

nique.OperationsResearch,1972,20(5):993—1009

sor.Hiscurrentresearchinterestsincludesoftwareanddataengineering,workflowmanagement.

WANGHai—Yang,bornin1965,professor,Ph.D.su—pervisor.Hiscurrentresearchinterestsfocusondatabaseapplication.

XUMeng,bornin1978,Ph.D.candidate.Hiscurrentresearchinterestsincludesoftwareanddataengineering.

attention.Theprimarychallengeofdataplacementisthein-evitabledatamovementbetweendistributeddatacentersincloud.

Themainobjectiveofthispaperistoprovideadataplacementstrategytoreducethetimecostofdatamovementbetweendistributeddatacenterswhiletakingdatadependen—cyandloadbalancingintoconsideration.Comparedwithanexistingdataplacementstrategywhichfocusesonthereduc—tionofthedatamovementduringtheapplication’sexecution.ourstrategycanreducethetimecostofthisdatamovementmore

efficiently.万方数据

云计算环境下面向数据密集型应用的数据布局策略与方法

作者:郑湃, 崔立真, 王海洋, 徐猛, ZHENG Pai, CUI Li-Zhen, WANG Hai-Yang, XU Meng

作者单位:山东大学计算机科学与技术学院,济南,250101

刊名:

计算机学报

英文刊名:CHINESE JOURNAL OF COMPUTERS

年,卷(期):2010,33(8)

被引用次数:0次

参考文献(15条)

1.McCormick W T.Sehweitzer P J.White T W Problem decomposition and data reorganization by a clustering technique 1972(5)

2.Deelman E.Chervenak A Data management challenges of data-intensive scientific workflows 2008

3.Deelman E.Blythe J.Gil Y.Kesselman C,Mehta G,Patil S,Su M H,Vahi K,Livny M Pegasus:Mapping scientific workflows onto the grid 2004

4.Ludascher B.Altintas I.Berkley C.Higgins D Jaeger E Jones M Lee E A Scientific workflow management and the Kepler system 2005(10)

5.Oinn T.Addis M.Ferris J.Marvin D Senger M Greenwood M Carver T Glover K Pocock M R Wipat A Li P Taverna:A tool for the composition and enactment of bioinformatics workflows 2004(17)

6.Ghemawat S.Gobioff H.Leung S T The google file system 2003(5)

7.Wang L.Tao J.Kunze M.Castellanos A C,Kramer D,Karl W Scientific cloud computing:Early definition and experience 2008

8.Wieczorek M.Prodan R.Fahringer T Scheduling of scientific workflows in the ASKALON grid environment 2005(3)

9.Baru C.Moore R.Rajasekar A.Wan M The SDSC storage resource broker 1998

10.Churches D.Gombas G.Harrison A.Maassen J Robinson C Shields M Taylor I Wang I Programming scientific and distributed workflow with Triana services 2006

11.Chervenak A.Deelman E.Foster I.Guy L,Hoschek W,Iamnitchi A,Kesselman C,Kunszt P,Ripeanu

M,Schwartzkopf B,Stockinger H,Stockinger K,Tierney B Giggle:A framework for constructing scalable replica location services 2002

12.Venugopal S.Buyya R.Ramamohanarao K A taxonomy of data grids for distributed data

sharing,management,and processing 2006(1)

13.Doraimani S.Iamnitchi A File grouping for scientific data management:Lessons from experimenting with real traces 2008

14.Fedak G.He H.Cappello F BitDew:A programmable environment for large-scale data management and distribution 2008

15.Yuan D.Yang Y.Liu X.Chen J J A data placement strategy in scientific cloud workflows 2010

相似文献(10条)

1.期刊论文王鄂.李铭.WANG E.LI Ming云计算下的海量数据挖掘研究-现代计算机(专业版)2009,""(11)

云计算的出现为愈来愈多的中小企业分析海量数据提供廉价的解决方案.在介绍基于云计算的Hadoop集群框架和数据挖掘技术中的SPRINT分类算法的基础上,详细描述SPRINT并行算法在Hadoop中的MapReduce编程模型上的执行流程,并利用分析出的决策树模型对输入数据进行分类.

2.学位论文孙长征数值天气预报云计算服务应用系统研究与实现2009

随着数值天气预报的研究和发展,各地的气象预报人员开发了越来越多功能

强大的数值天气预报模式,当前数值天气预报模式的运行大多是通过命令行模式

进行调用、运行的,程序运行时间长且涉及大量的数据。用户在运行过程中常会

因为一个小错误而不得不重新开始所有的工作。数值天气预报涉及一系列复杂的

流程,现有的人工控制方式效率低,难以满足应用的需求。同时,数值天气预报

模式的运行需要高性能计算机的支持。但是,高性能计算机是一种非常昂贵的资

源,对大多数用户来说难以负担购买机器和维护的费用。这些问题都限制了数值

天气预报的广泛应用,不利于数值天气预报的发展。

本文针对当前数值天气预报应用中存在的问题,结合云计算技术,设计和实

现了数值天气预报云计算服务应用系统。为了使用户方便的使用云计算环境中的

高性能计算机,将数值天气预报各组件包装成Web服务组件提供给用户使用,并

应用GWT技术实现了数值天气预报云计算服务Web界面;针对云计算环境中资

源分布广泛且数值天气预报组件繁多的特点,设计和实现了数值天气预报流程管

理系统,通过流程管理系统来监测和调度计算资源和作业,实现了作业运行状态

的监控。

数值天气预报应用系统的开发实现了数值天气预报模式的广泛应用和按需预

报,有需求的用户可以通过该系统提交作业,执行任务,查看结果,对结果进行

分析。通过流程管理系统,实现了资源的有效监控和调度。该系统的建立对有效

提高数值天气预报的发展和应用具有十分重要的意义。

主题词:云计算,Web服务,数值天气预报,工作流管理

3.学位论文朱建新基于服务的云计算研究——“家庭在线”电子商务平台的研发2009

云计算作为未来网络应用架构,正在新兴发展中。云计算是一种共享IT基础架构的方法,它可以将巨大的系统池连接起来提供服务。云计算让企业数据中心的运行更加类似互联网,通过安全和可扩展的方式让计算资源可以像虚拟资源一样被访问和共享。

虚拟化是一个抽象层,它将物理硬件与操作系统分开,一方面可以将现有服务器的运算及存储能力进行更小粒度的切割并重新整合,从而提供更高的IT资源利用率和灵活性;另一方面也为巨大规模的云计算集成提供了通用的接口标准,从而使计算公用化。

本次设计中,以建立在虚拟硬件资源上的Linux服务器为基本系统单元,利用LVS(Linux Virtual Server)和NAT(Network Address Translation)技术构建了一个实用的趋于云计算的集群系统,在更广域的数据中心之间,通过智能内容路由技术实现灵活的管理和调配应用服务,使高可用、高安全、高性能、低成本、高度可伸缩等特性包含在云基础设施中。

在趋于云的计算集群上,进一步以“家庭在线”电子商务网站平台为实例,打包集成各式电子商务业务、流程、应用为云服务,以SOA思想为核心,通过企业服务总线ESB完成业务层服务整合。为培育开放、协同、共荣的同城网络购物生态圈,打造多租户在线网店运营平台。该平台为市场终端用户、商辅店家提供可出租的网店环境,将所有服务组件统一集成到一个单一、灵活分布式环境中。

对于云计算研究目的和意义是很大的,如同电力系统被网格化转变为公用的方式生产、消费一样,未来人类将进入一个公用的计算时代即云计算时代,人们将在全球范围内租用动态配置的计算资源,这一方式的改变,必将提高计算资源的整体利用效率,并降低能耗和成本,实现绿色计算。解决了以往企业计算资源调配不灵活、能耗高、计算存储资源不能合理按需配置等问题。本次设计遵循理论指导实践的研究方法,在消化和吸收网格计算、云计算等思想的基础上,结合面向服务(SOA)、面向Web(WOA)的方法论,进行一系列软件工程开发实践。通过对若干数据中心的云计算整合改造,有效的提升了“南通家庭在线电子商务有限公司”网站平台的服务质量和用户体验,降低了运营成本,降低了能耗,达到绿色计算的效果。该研究项目已获江苏省科技厅正式批准立项并资助,开发的网站平台目前处于健康商业运营中。

4.期刊论文刘建.赵贤敬.舒敏根.郑明忠.李莉.LIU Jian.ZHAO Xian-jing.SHU Min-gen.ZHENG Ming-zhong.LI li

基于云计算的小型机模型研究-电脑知识与技术2010,06(13)

目前小型机广泛的应用在各种行业的重要生产系统和开发测试系统中,如何充分发挥这些小型机的能力,充分挖掘这些小型机的效率,较少设备支出费用,减少能耗,缩减维护流程,简化维护人员工作都是各行各业面对的难题,以及需要考虑的棘手问题.同时小型机生产厂家也都在努力提高小型机的各种能力,包括计算能力,并行能力,节能能力等各种能力.针对上述问题,该文提出如何使用云计算一些基本思想和前沿技术解决这些存在的问题和难点.

5.学位论文赵明网格服务工作流资源调度问题研究2009

伴随着互联网技术的迅速发展和对网格技术研究的深入,人们对基于网格服务的工作流技术也越来越关注。近来研究火热的云计算,就是网格技术的发展和商业应用。未来互联网的发展方向是将网络中众多闲置的计算资源、存储资源以及科学仪器等可用资源充分合理的加以利用。而网格就是把整个网络整合成一台巨大的超级计算机,实现各种资源的全面共享,资源调度是其核心问题,也是网格技术研究的重点之一。

本文首先介绍了网格服务工作流的发展现状,并对网格工作流架构进行了分析,研究了架构中各模块的功能。相较于电子商务自身的特点,分析了基于网格技术的电子商务模式。这种模式的电子商务可以加深企业交互,缩短与客户之间距离,更重要的是,促进了电子商务管理模式和企业管理模式更深层次的融合。

然后,建立了基于网格服务工作流的电子商务资源调度模型。以电子商务系统中采购流程为研究实例,分析采购流程中的资源调度,采用随机Petri网对其进行建模。

接着,在模型基础上,研究网格服务工作流中电子商务的资源调度策略。分析了供应商选择多属性决策调度算法、最优方案求解和订单分配策略与任务选择策略等问题,并对上述调度策略的结果进行了对比分析。

最后,在网格电子商务系统中,设计资源调度模块,并将资源调度策略完成了初步实现。

6.期刊论文赵金云计算与媒体发展——访北京讯鸟软件有限公司总裁吴益民-青年记者2010,""(10)

云计算是一种全新的应用模式

<青年记者>:吴总,您好!近年来,在谷歌、IBM、微软、戴尔等大型IT企业的追捧和推动下,云计算已经从"云深不知处"的概念逐渐走向了大规模的商用.业内人士认为,云计算已被视为互联网产业的下一次革命,它将带来工作方式和商业模式的根本性改变,您领军的讯鸟软件是我国云计算领域的领军企业,利用云计算的框架,推出了云计算模式的客户经营平台--"启通宝".实现了从客户界定、客户沟通、客户跟进、客户维护、客户挖掘的全部流程的数字化执行与管控.

7.学位论文赵元云计算在港口行业中的应用研究2009

“一切皆为服务”[1],云计算提供的一切IT资源都可以看成是服务。云计算作为一种新兴的IT实现方式,正深刻的影响着IT的变革。云计算能为企业提供企业管理的关键性软件,有效的降低IT的软硬件成本和维护成本,适应企业在不同发展阶段的需求。同时还能为中小企业带来企业级的IT技术

,使其以较少的IT投入,获得专业的IT解决方案。

港口行业作为现代物流的重要组成部分,在国内国际贸易中具有不可替代的作用。在整个港口行业中存在着大量的中小型港口企业,他们具有灵活多变、发展迅速等特点。同大企业一样,中小型港口企业需要专业的IT系统和服务来帮助其提高工作效率、提升管理质量、降低运营成本,以增强其核心竞争能力。如何提高中小型港口企业的IT水平,成为了港口行业信息化水平的瓶颈。同时大型港口企业维护着大规模的IT基础设施,维护成本日益增加。庞大的IT投入使得大型企业在采用新技术和企业创新等方面受到了限制。

本文对云计算在港口行业中的应用模式做了研究,详细分析了港口企业的业务流程,以及业务流程中存在的问题,以及其IT需求的特点及面临的困难。结合云计算应用架构和港口企业的实际需求,提出了港口行业云计算平台架构方案,并对该架构进行了详尽的论述。方案采用了SOA加云计算基础架

构的模式,可以满足港口企业对IT灵活多变的需求。本文结合具体的实例对云计算的实现方案做了论述。

8.会议论文周毅.王力劭"云计算"与多媒体综合业务网安全2009

本文介绍了中国国际广播电台应用“云计算”理念,建设多媒体综合业务制播平台的基本过程,并对所取得的阶段性成果进行了详细的说明。在该平台建设过程中,通过正确引入多项技术创新,解决了复杂台内系统造成的建设难题,有效实现了音视图文以及新媒体多种形态综合业务的服务能力

,并且成功架构了多业务流程的相互关联和智能协作的节目内容资源池。率先提出了自主技术控制保障体系,确保作为“云计算”文件服务器存储节目内容的灵活性。由于采用开放式应用设计体系,有效满足平台随外部需求而应变的发展策略。最后,对用户使用平台时的工作“粘性”进行了概要分析。

9.期刊论文崔云飞.王帅.李艺.董可为基于多级递阶控制结构的云计算资源管理研究-装备指挥技术学院学报

2010,21(2)

在分析云计算资源特点与资源管理基本功能的基础上,结合大系统控制理论,设计了基于多级递阶控制的云计算资源共享模型;该模型包括功能域和协调控制域2个部分,对功能域的6层结构进行了形式化定义,对协调控制域总结了采用多级递阶控制结构进行管理的7个优点;给出了云计算资源管理的工作流程;本研究从整体上对构建云计算系统提供了一种可行的思路.

10.学位论文李海瑞泛在知识环境下图书馆个人数字空间构建研究2009

21世纪,随着网络技术、计算机技术的应用日益广泛和深入以及信息技术的飞速发展,“信息”正以其前所未有的迅猛态势渗透到社会的各个方面。与此同时,新技术、新理念的不断涌现将社会信息环境的发展方向指向了“泛在知识环境”,这是一种普遍的、无所不在的、全面的数字环境,能够整合相关的人、数据、信息、设备和工具形成交互的、功能完备的知识社区,并且具备空前的计算、存储和数据传输能力。

信息环境的变化,影响着图书馆的发展,作为社会信息服务机构,如何更好、更快、更有效的满足用户的信息需求是图书馆工作的核心问题。身处泛在知识环境之中,图书馆应该以数字化、智能化技术为基础,在系统、规范的服务框架下充分体现信息用户的个性与自由。在数字图书馆、个人数字图书馆研究已经取得一定进展的今天,笔者认为,构建图书馆个人数字空间正是泛在知识环境下图书馆开展个性化服务十分有益的尝试。

本文旨在通过大量的文献调研、比较分析和情景构建等方法,分析研究泛在知识环境下图书馆构建个人数字空间的相关问题,论文的研究内容主要包括以下几个方面:

首先,介绍论文的研究背景,阐明了论文的研究意义、研究方法,介绍了论文研究的主要问题和内容。

其次,概述泛在知识环境以及泛在智能、web2.0、lib2.0、云计算等。阐述新技术、新理念的出现会对图书馆的发展带来怎样的机遇与挑战,图书馆服务会受到怎样的影响。

再次,系统阐述图书馆个人数字空间的构建,介绍馆内个人数字空间与虚拟个人数字空间的构成模块、服务内容、服务流程等,分析泛在知识环境下图书馆个人数字空间的服务特点。

最后,总结论文的创新之处和缺点,并展望泛在知识环境下图书馆的未来发展。

本文链接:https://www.360docs.net/doc/907920249.html,/Periodical_jsjxb201008016.aspx

授权使用:电子科技大学(cddzkjdx),授权号:d0e3e9a6-44bc-42f6-ba56-9e3b011ceea8

下载时间:2010年11月27日

相关文档
最新文档