探秘微模块数据中心:微模块数据中心案例分享-DIY你的数据中心

探秘微模块数据中心:微模块数据中心案例分享-DIY你的数据中心
探秘微模块数据中心:微模块数据中心案例分享-DIY你的数据中心

中兴微模块:DIY 你的数据中兴

微模块——互联网大佬的IT 新宠 从传统数据中心到模块化数据中心,如今,互联网大佬们终于找到了自己真正心仪的对象:微模块数据中心。

谷歌微模块:启动于2005年

不再采用大体量、大颗粒度的室外型集装箱数据中心,而改用室内型更小颗粒度、更为灵活的微模块数据中心。

以三联整机柜为最小的建设颗粒度,两个

三联柜对应一个顶置制冷单元。

这些微模块在工厂完成全部布线、建设和

测试,运达现场插上电和光纤就可以快速投入

生产,真正实现快速建设部署,低能耗高效率

投产的目的。

Facebook 微模块:启动于2010年

提出可快速部署数据中心(RDDC )

概念,对数据中心墙面进行特殊设计,

使其可以被分割成标准模块,便于装运

以及现场组装。

在工厂里预先将各种零部件安装在

钢筋框架上,然后运送到施工现场直接

拼装即可使用。

Facebook 希望RDDC 概念能够实现使用预制模块进行数据中心搭建工作的目标,这将大大缩短建设周期,并还能降低对当地所造成的影响。

腾讯坪山微模块数据中心:启动于2012年

科普:微模块,是把供电、散热、机柜、照明、监控、安全等单元,像乐高那样自行DIY ,拼装成一个个麻雀虽小五脏俱全的微型数据中心,让IT 基础设施可以按照业务变化的需要进行灵活调整。

从2010 年起,腾讯就开

始尝试将数据中心做成一个

可拆卸、可拼装的微模块,并

以它为载体,把配电单元、空

调单元、IT单元以及监控单元

拼装起来,使其成为一个产品。

这与中兴通讯的数据中

心产品化思路,一拍即合。

2012年,中兴数据中心团队

正式与腾讯数据中心团队一起,联合深圳联通,合建了完全由微模块组成的坪山数据中心。

微模块内部的电源模块、行间空调数量等可以根据IT机柜功率灵活配置数量,满足不同功率密度的需求,目前微模块内可支持的最大机柜功率达到12KW。而通过综合采用各种技术,如高压直流+市电直供的供电方式、行级制冷和冷通道密封,空调系统变频节能等技术,达到了较好的能效水平。

中兴通讯副总裁吕阿斌表示:“微模块将过去的数据中心工程建设思维转型为定制化产品思维,即将拉开新一代数据中心的变革大幕。”

内外兼修——探秘微模块数据中心

中兴通讯副总裁吕阿斌表示:“对目前的中兴来说,主要阵地仍然是数据中心‘壳’的建设,用户的管理软件,也就是数据中心的‘瓤’,都需要重新定制。而未来,瓤和壳一定会发生更深的关系。”

“壳”=微模块数据中心:将传统机房的机架、空调、消防、布线、配电、监控、照明甚至计算存储网络等IT 硬件等系统统一集成一体的高度集成化产品,客户不用再单独的面对一般数据中心建设复杂的现场工程管理,而是统一在工厂预制完成。

“瓤”=智慧的数据中心:中兴通讯提供统一的集中管理平台DCIM,让iROS云管理平台与基础设施管理互联互动和融合集成管理,实现动态弹性的基础设施匹配和精细化的管理,根据不同的业务需求和动态变化,提高能源和管理效率的最大化,建设一个智慧节能的云计算数据中心。

颠覆传统,中兴微模块数据中心案例之不可能任务

1、腾讯坪山数据中心:微模块先驱

需求:腾讯QQ 和微信每天

产生大量用户数据,数据中心每年

仅存储服务器就要新增数十万台,

数据中心的瓶颈让IT 部门压力越

来越大,业务部门对IT的要求经

常以“周”甚至“天”为周期。这

要求数据中心必须更快速、更灵活、

可扩展、高能效!

成果:坪山数据中心完全由微模块组成,一期建设20 个微模块,二期建设40 多个微模块,总共部署了1200 多个机柜。整个项目从装修进场到完工,只花了4 个多月的时间,二期40个微模块从进场安装到通过测试验证只用了45 天时间。在保证可靠性的基础上,坪山数据中心在负载达到1/3 的时候,PUE 保持在1.5 左右。

2、太仓园区兰云数据中心——不可能完成的任务

需求:一期建设需要在60天内完成整体机房交付。

成果:凭借中兴内部团队的默

契合作和对物流供应链的精确控

制,做到了物料合理协调和高速施

工,数据中心建设顺利完成。

优势:按照模块化原则每年投

资建设和扩容来灵活调整,通过合

理的风路设计,大大提升了机房制

冷效率,使整体机房PUE 控制在1.6 以下,同时,单机架功率达到9KW,比过去的3KW 提高了3 倍以上。

以微见大,数据中心浪潮与国产之契机

几年前国内的主流数据中心服务商仍然是IBM、

惠普、戴尔等国际企业,但从近几年的趋势来看,中

兴等国内服务商正在快速崛起。

2013年,国产服务器份额首次超过国外厂商,

2014年上半年,国内企业依然延续了高速发展

的势头。

政府对信息安全的日渐重视,对IT国产化更是一大利好,国内厂商的触角有望延伸到金融等外资传统优势行业,与此同时,借势微模块浪潮,国内厂商在数据中心创新能力方面正迎头赶上。

据悉,中兴通讯的研发团队正在进一步研究服务器、存储、网络等模块和机房整体的关系,今年,中兴通讯将提供符合“天蝎计划”设计规范的微模块数据中心。此外,中兴通讯也进一步加大了虚拟数据中心软件的研发。未来,中兴通讯兼备高密度低能耗、强大的计算存储能力、高度开放的虚拟数据中心应用及管理平台将为其客户带去更大的价值。

微模块变革,正是中兴的机遇!

中兴通讯数据中心产品线总经理李华:“从整体架构的能

力来看,包括中兴通讯在内的主要IDC服务厂商,已经达到

了相对的能力。在而市场的覆盖,对客户需求理解方面,本土

企业更占优势,所以这也是一个比较好的契机。“

中兴副总裁吕阿斌:“更重要的是,我们不会闭门造车,而是要发挥整合的力量,和更专业的第三方伙伴合作,形成资源整合。任何一家公司

都不可能做到大而全,数据中心是一项非常复杂的工作,从

服务器到空调,从传感器到控制模块,如果全部都自己开发,

不仅需要庞大的团队和成本,还可能无法保证项目的质量,

所以我们要OPEN,全球整合资源,质量、成本、交付,利

用大家的优势提供优质的价值。”

专题来源:企业网D1Net(https://www.360docs.net/doc/217202713.html,)

专题原文:https://www.360docs.net/doc/217202713.html,/s/73/

更多精彩专题:智慧城市案例集锦分享此专题到朋友圈

浪潮模块化数据中心方案 v2.0 第二版

浪潮模块化数据中心方案 2013-8-12 浪潮集团互联网行业部

目录 一项目背景: .................................................. 错误!未定义书签。 1.模块化数据中心............................................. 错误!未定义书签。 2.网易、上海数据港、浪潮三方角色............................. 错误!未定义书签。 3.项目预期 .................................................. 错误!未定义书签。二方案介绍: .................................................. 错误!未定义书签。 1.模块布局 .................................................. 错误!未定义书签。 2.气流遏制子系统............................................. 错误!未定义书签。 3.供配电子系统 .............................................. 错误!未定义书签。 4.制冷子系统 ................................................ 错误!未定义书签。 5.机柜及布线子系统........................................... 错误!未定义书签。 6.监控子系统 ................................................ 错误!未定义书签。三项目管理 .................................................... 错误!未定义书签。 1.关系人及各方职责........................................... 错误!未定义书签。 2.项目范围 .................................................. 错误!未定义书签。 3.项目周期及里程碑计划....................................... 错误!未定义书签。 4.沟通机制及工作方法......................................... 错误!未定义书签。 5.变更管理 .................................................. 错误!未定义书签。 6.项目交付物 ................................................ 错误!未定义书签。 7.验收及结束标志............................................. 错误!未定义书签。四附件 ........................................................ 错误!未定义书签。

一套完整的微模块数据中心解决方案

微模块数据中心解决方案 微模块数据中心根据高效节能、优化管理的基则设计而成,包含了制冷模块、供配电模块以及网络、布线、监控、消防等模块。微模块有向外供电接口、制冷接口、网络接口以及通过顶置弱电与强电槽预留综合布线接口。采用列间空调进行制冷,实现了100%的高显热比,有效降低数据中心的整体加湿与除湿能耗,列间空调使气流循环路径最短,在有效冷却的前提下提高数据中心热密度,实现了数据中心的节能制冷。 微模块数据中心心系统由高性能机柜系统、配电列头柜系统、热交换机散热系统、消防冷通道系统、综合走线系统及综合监控管理系统组合而成。采用独特的冷热循环通道设计,整个机房部的冷、热气流交换都在部封闭空间完成,与机房外部不联通;其道走廊为冷通道区,机柜后部(200mm空间)为热通道区,通过交换机的冷热循环交换实现对设备的制冷和散热,使得整个制冷系统更高效、节能、环保。 微模块数据中心的综合管理系统集融了包括动力监控、环境监控、安保监控、远程监控、多媒体报警5大监控管理功能,使得整个数据中心机房所有的物理环境、微环境因素得到了实时的监控管理,机房管理者能在第一时间掌握数据中心机房的运行数据情况。 另外,整个微模块数据中心还配备智能电源管理系统(列头柜)、消防联动顶板系统、自动移门系统、综合走线系统,让整个数据中心配套设施更完善,各项实际应用功能更齐全,为网络设备的安装使用和维护提供了完整可靠的机房综合解决方案。

微模块数据中心示意图

2. 设计原则 计算机机房是各类信息的中枢,机房建设工程必须保证计算机系统设备能够达到长期、安全、可靠运行,同时还为机房工作人员提供一个美观、舒适的工作环境。为使机房工程的设计能够满足上述要求,对如下几点进行着重考虑: 方案完善性 设计方案的完善性机房工程一旦竣工,不宜再进行阶段性翻新、改造。 装修美观性 机房的装修效果:要达到舒适宜人,简洁明亮。 安全可靠性

微模块数据中心优势分析

微模块数据中心优势分析 随着“互联网+”“中国制造2025”等国家战略的全面深化,云计算、大数据、物联网、移动互联网等新兴产业迅猛发展。在此推动下,国内云计算数据中心的数量与建设规模日益增长,建设等级和单机柜功率密度也逐渐趋高。全面规划、分期建设、快速部署、灵活扩展、高可用性、低PUE值和最优TCO,一直是各行业用户的核心需求。微模块数据中心具备集约、绿色、安全、高效的优势,能有效满足超大型、大型、小型数据中心快速部署和分期建设的需求。 1. 微模块方案概述 每一套微模块就是一个标准的数据中心,包含IDC数据中心应具备的供配电系统、制冷系统、综合运维管理系统、消防系统,各微模块之间相互独立性,运行时互不干扰,IT设备稳定性和可靠性得以提高。 微模块基础设施如基础底座、框架、电池柜、电池组、IT机柜、顶部封闭反板、通道门、闭门器等能在工厂按统一标准配备和预制。设计者根据用户IT 机柜负荷要求,通过ICEPAK、6SigmaET、Flotherm软件建模,按照IT负荷散热和进排风需求,优化设计有组织散热和进排风模型,为用户快速定制最优方案。最优方案结合工厂预制的优势,缩短方案设计和现场组装时间,最大化的提高交付速度。 1.1 模块化设计理念 模块化设计理念贯彻园区、楼层及机房三个层面,各层面相辅相成,匹配得当,让数据机房达到合理规划、节约投资、施工便捷、智能运维的效果。

表1 机房微模块设计理念 1.2 传统建设模型 国内数据中心机房大部分仍采用传统的地板下送风+冷热通道隔离+冷通道 封闭的非框架式模块化设计,根据电源及空调设备摆放位置的不同,大致可以划 分为电源及空调均内置、电源及空调均外置、电源外置空调内置三种模型。这三 种模型均采用了冷通道封闭,制冷方式可采用地板下送风或者行间空调就近送风 两种模式,在单列机柜数量不多或单机架功耗不高的情况下,可以将UPS及蓄 电池内置在模块内部。在施工安装时,这三种模式通常都要求做600mm高架空 地板,且所有设备的机墩需要焊接固定,整体建设周期长,不易拓展。 1.3 微模块应用方案及典型配置 相对传统建设模型,微模块数据中心能改善施工繁琐周期长,统一质量标准, 解决机房末端智能运维的问题。框架式微模块相对非框架微模块,能更好的实现 集成化、定制化和工厂预制,以适应中高功率密度及未来整机柜(云柜)的应用 需求,本文以框架式微模块数据中心的优势展开讨论。 根据单机柜功率密度不同,框架式微模块也可以分为高、中、低三类方案,以高功率密度框架式微模块应用方案为例阐述三种模式。 图1 高功率密度框架式微模块应用方案 高功率密度应用方案如图1所示,其中冷冻水分配柜可以分别设置在两列最 右侧的机柜位置。中等功率密度应用方案通常将电源及蓄电池外置,模块内只设 置列头柜,制冷系统通常选择风冷列间空调,部分选择水冷列间空调。低功率密

模块化机房设计方案

数据中心建设方案建议书 2016 年08月

目录 1.概述 (5) 1.1.建设原则 (5) 1.2.编制依据 (6) 2.建设方案 (7) 2.1.平面布局方案 (7) 2.1.1建设原则 (7) 2.1.2平面布局说明 (7) 2.2.模块化机房 (9) 2.2.1概述 (9) 2.2.2模块总成 (10) 2.2.3模块化机房的特点和优势 (10) 2.3.装修建设方案 (11) 2.3.1建设原则 (11) 2.3.2机房区装饰材料的选取 (12) 2.3.3机房区吊顶 (12) 2.3.4机房区地面 (13) 2.3.5机房区墙、柱面 (14) 2.3.6机房区门窗 (15) 2.3.7电磁屏蔽、防静电设计 (15) 2.3.8噪声及振动处理 (16) 2.4.供配电建设方案 (16) 2.4.1建设原则 (16)

2.4.3建设方案 (18) 2.4.4机房防雷接地 (22) 2.4.5主要部署的部件 (24) 2.4.6一体化配电柜方案 (26) 2.5.制冷建设方案 (28) 2.5.1建设原则 (28) 2.5.2机房精密空调系统 (28) 2.5.3空调负荷计算 (30) 2.5.4气流组织形式 (31) 2.6.机柜及密闭冷通道系统 (32) 2.6.1概述 (32) 2.6.2设备机柜 (32) 2.6.3密封冷通道 (34) 2.7.综合布线建设方案 (36) 2.7.1布线系统主要标准 (36) 2.7.2机房布线系统设计 (36) 2.7.3数据中心网络布线拓扑结构 (40) 主干布线系统构成 (41) 2.7.4布线方案说明 (41) 2.8.消防建设方案 (43) 2.9.管理系统建设方案(根据需求是否选用) (43) 2.9.1概述 (43) 2.9.2系统拓扑结构 (43) 2.9.3设备集中统一管理 (44)

模块化机房技术方案设计书

实用标准文档 遵化项目模数据中心机房BM模块化数据中心解决方案 北京超特伟业科技有限公司 2016年10月

目录 1BM系统简介 (2) 2模块化数据中心技术方案 (3) 2.1项目概况及需求分析(目前得到的信息有限,待得到更多信息之后要再补充) (3) 2.2设计理念 (3) 2.2.1 设计原则 (3) 2.2.2 设计目标 (4) 2.2.3 设计依据 (4) 2.3方案配置 (5) 2.3.1 机房内模块设计及布置 (5) 2.3.1.1 北机房微模块设计及布置 (6) 2.3.2 配置清单 (8) 3艾特网能BM系统介绍 (8) 3.1服务器机柜 (9) 3.1.1 突出特点 (9) 3.1.2 服务器机柜配置 (10) 3.2封闭冷池组成及特点 (10) 3.2.1 玻璃天窗组件 (10) 3.2.2 玻璃隔离门组件 (11) 3.2.3 钢制假墙组件 (11) 3.2.4 消防联动系统组件 (12) 3.3C OOL R OW系列列间机房空调机组技术特点: (12) 3.4艾特网能配电柜产品介绍 (16) 3.4.1 艾特网能配电柜技术特点: (16) 3.4.2 精密列头柜特点: (17) 1

BM系统简介 模块化数据中心方案,是当今行业中主流及领先的应用方案,在各行业的大中小型机房中广泛应用,并受到行业专家及用户高度认可。包括腾讯、阿里、国家超算中心、各国有银行、各国家及省市政府单位、各托管IDC及云计算中心都大量应用并对其便捷性,可扩容性、低运营成本(节能高效性)、高可管理性、整洁美观给予了高度评价。 此项目考虑到机房布局,机柜数量等特定因素,同时考虑到后续扩容的便利性,支持在线扩容无需掉电及避免二次工程及施工、节能突出节约运营及维护成本、方案整体美观整洁兼容性好、维护时避免因不同厂家设备损坏出现扯皮,故障界面不清晰等问题,建议使用艾特网能iBlock 系列模块化数据中心中的BM 模块化数据中心方案。

微模块机房的布局及设计

微模块机房以模块化、标准化的架构和高效高可靠的UPS、精密空调等灵活组合成功打造新一代模块化数据中心基础设施,以其快速部署、高效节省、智能管理等优点成为企业未来数据中心建设的关注焦点,下面我们看看微模块机房是如何布局设计的。 微模块机房的优势具体表现在: 一、场景适应性强: 1、最低只需2.6m的安装层高要求,在普通办公环境下即可进行部署; 2、通过单双排灵活组合,最大化利用空间。 二、快速完成部署 1、一体化集成UPS、精密空调、配电、机柜、智能管理等主要子系统,即插即用; 2、工厂预测试、预验证、预制,1到2周内完成现场部署,部署速度较传统提升50%。

三、模块化架构,满足高能效低PUE: 1、优化的配电和制冷系统设计,采用密闭冷/热通道和行式空调近端制冷技术,实现PUE ≤1.5,节省能耗30%以上; 2、行级空调、高频模块化UPS、密闭通道、高集成配电柜的联合应用使PUE降至1.5以下。 四、智能化管理系统,实时可监可控: 1、智能管理系统,实现实时监控; 2、通过能效管理、3D虚拟展示等功能,显著提升数据中心的运维效率与体验。 微模块机房的设计原则: 1、安全可靠性 高可靠性是数据中心运营成功的关键,也是数据中心的基本原则。因此决不能出现单点故障,要对数据中心的布局、结构设计、设备选型、日常维护等各个方面进行可靠性的设计和建设。在关键设备采用硬件备份、冗余等可靠性技术的基础上,采用相关的软件技术提供较强的管

理机制、控制手段和事故监控与安全保密等技术措施提高机房的安全性。针对数据中心的网络方案,其可靠性设计包括:链路冗余、关键设备冗余和重要业务模块冗余。 2、可扩展性 数据中心方案设计中,每个层次的设计所采用的设备本身都应具有极高的端口密度,为数据中心的扩展奠定基础。在Internet互联层、核心层、分布层的设备都采用模块化设计,可根据EDC网络的发展进行灵活扩展。功能的可扩展性是数据中心随着发展提供增值业务的基础。实现负载均衡、动态内容复制、MPLSVPN、VLAN等功能,为数据中心增值业务的扩展提供基础。 3、标准化 在中心机房系统结构设计时,基于国家颁布的有关标准,包括各种建筑、机房设计标准,电力电气保障标准以及计算机局域网、广域网标准,坚持统一规范的原则,从而为未来的业务

微模块数据中心优势分析

微模块数据中心优势分析 随着“互联网+ ”“中国制造2025”等国家战略的全面深化,云计算、大数据、物联网、移动互联网等新兴产业迅猛发展。在此推动下,国内云计算数据中心的数量与建设规模日益增长,建设等级和单机柜功率密度也逐渐趋高。全面规划、分期建设、快速部署、灵活扩展、高可用性、低PUE值和最优TCO 一直是各行业用户的核心需求。微模块数据中心具备集约、绿色、安全、高效的优势,能有效满足超大型、大型、小型数据中心快速部署和分期建设的需求。 1?微模块方案概述 每一套微模块就是一个标准的数据中心,包含IDC数据中心应具备的供配电系统、制冷系统、综合运维管理系统、消防系统,各微模块之间相互独立性,运行时互不干扰,IT设备稳定性和可靠性得以提高。 微模块基础设施如基础底座、框架、电池柜、电池组、IT机柜、顶部封闭反板、通道门、闭门器等能在工厂按统一标准配备和预制。设计者根据用户IT 机柜负荷要求,通过ICEPAK 6SigmaET Flotherm软件建模,按照IT负荷散热和进排风需求,优化设计有组织散热和进排风模型,为用户快速定制最优方案。 最优方案结合工厂预制的优势,缩短方案设计和现场组装时间,最大化的提高交付速度。 1.1模块化设计理念 模块化设计理念贯彻园区、楼层及机房三个层面,各层面相辅相成,匹配得 当,让数据机房达到合理规划、节约投资、施工便捷、智能运维的效果

局,满足各类功率密度机房使用需求维、高端实用 表1机房微模块设计理念 1.2传统建设模型 国内数据中心机房大部分仍采用传统的地板下送风+冷热通道隔离+冷通道 封闭的非框架式模块化设计,根据电源及空调设备摆放位置的不同,大致可以划分为电源及空调均内置、电源及空调均外置、电源外置空调内置三种模型。这三种模型均采用了冷通道封闭,制冷方式可采用地板下送风或者行间空调就近送风两种模式,在单列机柜数量不多或单机架功耗不高的情况下, 可以将UPS及蓄电 池内置在模块内部。在施工安装时,这三种模式通常都要求做600mn高架空地板,且所有设备的机墩需要焊接固定,整体建设周期长,不易拓展。 1.3微模块应用方案及典型配置 相对传统建设模型,微模块数据中心能改善施工繁琐周期长,统一质量标准, 解决机房末端智能运维的问题。框架式微模块相对非框架微模块,能更好的实现集成化、定制化和工厂预制,以适应中高功率密度及未来整机柜(云柜)的应用需求,本文以框架式微模块数据中心的优势展开讨论。 根据单机柜功率密度不同,框架式微模块也可以分为高、中、低三类方案, 以高功率密度框架式微模块应用方案为例阐述三种模式。 图1高功率密度框架式微模块应用方案 高功率密度应用方案如图1所示,其中冷冻水分配柜可以分别设置在两列最 右侧的机柜位置。中等功率密度应用方案通常将电源及蓄电池外置,模块内只设 置列头柜,制冷系统通常选择风冷列间空调,部分选择水冷列间空调。低功率密 列 间 空 调 ■ W V ” Y w I - ! ■ ■ ■ ! ■ ■ 彳 - 机 柜 机 柜 机 柜 * f t li-* A* A ? > 列 间 空 调 机 柜 机 柜 列 间 空 调 机 柜 机 柜 机 柜 管 控 柜 丄 : 电 池 替 ■ " p $ J A p b A ? 冷 冻 水 分 配 柜 机 柜 列 间 空 调 机 柜 机 柜 机 柜 列 间 空 调 机 柜 机 柜 机 柜 列 间 空 调 机 柜 机 柜 机 柜

模块化数据中心解决方案

主要需求: ●可靠性:要求至少99.99999%以上,系统无单点故障,故障问题能在10分钟内解除或有备用方案切换。 ●节能性:应用高能效设备,系统节能设计、运行节能与设计节能兼顾。 ●可维护性:维护费用最低,维护专业要求最低,维护难度最小。 ●建设模式:要求可定制化,工程产品化,按集装箱为单元建设。 推荐方案: BC将机柜、不间断电源(链接)、精密配电柜(链接)、列间机房专用空调(链接)、布线、iTM机房监控(链接)、安防等子系统集成到标准尺寸的集装箱中,具备快速部署、节能高效、可定制化的特点。 快速部署 工厂预装,现场工程量少。 标准集装箱设计,运输方便。 节能高效 列间空调能效比高、显热比高、可柔性制冷。

UPS效率高,部分负载效率高。PUE值最低可达1.2。 可定制化 根据客户的实际业务需求进行定制。

诺电模块化数据中心解决方案二(BM模块化) 数据中心特点: ●面积100㎡以上。 ●单机架负载在3kW以上。 ●365×24小时不间断运行。 ●按模块建设或分期建设。 ●设备分批投入运行的数据中心。 ●要求PUE值高。 主要需求: ●可靠性:要求至少99.99999%以上,系统无单点故障,故障问题能在10分钟内解除或有备用方案切换。 ●节能性:应用高能效设备,系统节能设计、运行节能与设计节能兼顾。 ●经济性:整体投资最优,可分批投资减少资本成本。 ●可维护性:维护费用最低,维护专业要求最低,维护难度最小。 ●建设模式:要求按模块化建设,分批建设、分批投入运行。 推荐方案: BM模块化数据中心集成了机柜、精密配电柜(链接)、列间机房专用空调(链接)、综合布线、机房监控(链接)等子系统于一体,是典型的模块化数据中心解决方案,是当前最前沿的数据中心建设模式之一。BM模块化数据中心具有经济、协同、智能高效等特点。 经济

浅析微模块数据中心的关键技术

浅析微模块数据中心的关键技术 序言 随着云计算、物联网和大数据等各种技术的不断发展,作为基础设施的数据中心面临着巨大的机遇和挑战。目前,全球数据中心投资快速增长,整体发展步伐加快。据统计,2011年全球数据中心硬件投资规模达到989亿美元,比上一年增长了12.7%。2012年全球数据中心投资规模增长17%,其中东南亚、中东、美国中部、澳大利亚等地投资增速更是超过50%。 我国现有各类数据中心约43万个,数量约占全球的13%,其中经营性IDC机房921个,面积88万平方米。根据公开资料粗略统计,截至2012年3月,我国有13个省市自治区规划了约30个左右的大型数据中心建设项目,总投资规模达到2 700多亿元,能容纳服务器超过1 000万台[1]。 但是由于我国数据中心设计、建设和运维水平较低,导致平均能耗较高。我国数据中心PUE值普遍在2.2~3之间,而发达国家多为1.5~2,谷歌数据中心甚至能够达到1.1或更低。 1 模块化数据中心的发展历史 1.1 第一代模块化数据中心 第一代模块化数据中心也就是集装箱式数据中心,有报道显示,谷歌早在本世纪初就开始集装箱式数据中心的开发。2007年,Rackable发布了名为Concenreo的集装箱式数据中心,随后SUN、HP以及SGI等厂商也陆续开发出这类产品,帮助企业在不需新建数据中心的前提下满足自己的计算能力增长需求。 在第一代模块化数据中心中,运营商完成了一系列对IT设备架安放和制冷等方面的规定。模块化数据中心最常见的布局是每个设备架跟集装箱一样长,机架的每一侧都能进入维护,这种布局会产生标准的冷热通道,从而在集装箱内提供完美的冷热气流。 第一代的模块化数据中心具有很多优点。首先,集装箱式数据中心的扩容只需要简单的增加硬件,其软件的成本也很低廉;其次,集装箱式的设计运输非常方便,基本不用为其配置专门的机房、电力系统等等;另外,由于集装箱式数据中心具有一定的隐蔽性,所以对于那些不想让别人知道自己机房位置的IT公司来说,第一代模块化数据中心简直就是一个完美的产品。 1.2 第二代模块化数据中心 第二代模块化数据中心跟早期的产品不同,具有集成冷却空气的节约装置,如HP的POD系列、IBM的PMDC系列和SGI的ICE Cube Air系列。在自然条件不允许全部使用这些节约装置的时候,模块化数据中心也能使用蒸发冷却、冷却水线圈或者冷却单元等进行 郭 亮 工业和信息化部电信研究院通信标准研究所 北京 100191 摘 要经过集装箱数据中心、模块化数据中心的发展热潮后,微模块数据中心进入人们的视野。其制冷、供电和服务器定制技术都有鲜明的特点。文章通过分析这些技术以及案例,提出只要解决了标准化、产业化等问题之后,微模块数据中心将会得到更快的发展。 关键词 微模块数据中心;制冷技术;供电技术;服务器定制

微模块机房方案设计

微模块机房方案设计 1.1前言 计算机机房设计与施工的优劣,直接关系到机房内计算机系统是否能够稳定可靠地运行,是否能够保证各类信息通畅无阻。 计算机机房既要保障机房设备安全可靠地运行,延长计算机系统使用寿命,又能为系统管理员创造一个舒适的环境。能够满足系统管理员对温度,湿度,洁净度场羌强度,安全防护,电源配电,和防雷接地的要求,所以一个现代化的机房是一个高度可靠性,舒适实用,节能高效和具有可扩展性的机房; 1.2设计原则 数据中心是数据信息计算、交换和存储的中心,出现在企业及Internet网络中数据交换最集中的地方。它应具备丰富的带宽资源、安全可靠的机房设施、高水平的网络管理和完备的增值服务。因此数据中心的设计必须满足当网络的各项需求,又需要满足面向未来快速增长的发展需求,因此必须是高质量的、灵活的、开放的。根据我公司对数据中心基础设施建设的基本原则和经验,结合IT设施现状和需求,对数据中心进行了规划,在规划时遵循以下设计原则: 1.3安全可靠性 高可靠性是数据中心运营成功的关键,也是数据中心用户特别是进行电子商务的用户选择数据中心的基本原则。因此决不能出现单点故障,要对数据中心的布局、结构设计、设备选型、日常维护等各个方面进行可靠性的设计和建设。在关键设备采用硬件备份、冗余等可靠性技术的基础上,采用相关的软件技术提供较强的管理机制、控制手段和事故监控与安全保密等技术措施提高机房的安全性。针对数据中心的网络方案,其可靠性设计包括:链路冗余、关键设备冗余和重要业务模块冗余。 1.4可扩展性 数据中心方案设计中,每个层次的设计所采用的设备本身都应具有极高的端口密度,为数据中心的扩展奠定基础。在Internet互联层、核心层、分布层的设备都采用模块化设计,可根据EDC网络的发展进行灵活扩展。功能的可扩展性是数据中心随着发展提供增值业务的基础。实现负载均衡、动态内容复制、MPLSVPN、VLAN等功能,为数据中心增值业务的扩展提供基础。 1.5标准化 在中心机房系统结构设计时,基于国家颁布的有关标准,包括各种建筑、机房设计标准,电力电气保障标准以及计算机局域网、广域网标准,坚持统一规范的原则,从而为未来的业务发展、设备增容奠定基础。 1.6灵活性 模块化设计,可根据数据中心不同需求进行取舍,特别是后台管理平台设计思想,使得数据中心可实现对于不同用户的定制服务,如在后台管理平台中的用户数据备份中心、数据中心客户中心、数据中心维护中心,使得数据中心用户可以方便地进行对其应用的控制与更新。 1.7可管理性 在建设数据中心时,随着业务的不断发展,管理的任务必定会日益繁重。所以在数据中心的设计中,必须建立一套全面、完善的管理和监控系统。所选用的设备应具有智能化,可管理的功能,同时采用先进的管

1微模块数据中心”为什么那么受欢迎原因在这!OK 20180910

前言: 如今很多数据中心建设的水平是参差不齐的,尤其是能源消耗问题,如散热、供电、成本等限制了数据中心的有效利用,它们除了低效而盲目的状态外,还面临重复建设等问题,因此传统数据中心是“固态的”,缺乏灵活性和扩展性,随着业务的发展和应用的增加,传统数据中的弊端逐渐显现,领先企业都在反思数据中心建设问题,探索数据中心建设新模式,这时候微模块化数据中心的出现表明了一种数据中心发展趋势,并被认为将大规模替代传统的数据中心机房。 (一)互联网企业为何偏爱微模块数据中心? 微模块化数据中心是数据中心建设领域最为火热的概念之一,模块化的建设方式能够大大缩短数据中心的建设周期,节约成本,同时使得数据中心施工变得简单快捷,而国内的互联网大佬近两年也开始尝试微模块数据中心的建设。 国外企业:IBM、微软、谷歌等互联网企业已率先采用微模块数据中心。 国内企业:运营商及百度、阿里巴巴和腾讯等互联网企业客户在新建数据中心中,纷纷采用微模块数据中心产品,均在建设周期、能耗及成本方面获得收益。

例如:百度不久前采用预制模块化的方式来扩展数据中心,腾讯也建设了一个可拆卸、可拼装的微模块,并以它为载体,把配电单元、空调单元、IT单元以及监控单元拼装起来,使其成为一个产品。阿里巴巴等国内互联网公司开始积极投入到微模块技术开发中,并落地了符合自己业务特点的微模块数据中心,在广东联通的支持下,在深圳坪山新区,腾讯、中兴通讯和广东联通共同打造了亚洲最大的微模块数据中心,一起完成了数据中心的划时代变革。在15000平米、12000kVA的容量下,历时4个多月,建成可用性达到Tier3+、30%负载率PUE1.5左右,可容纳85000多台服务器和交换机单板的数据中心。 如今互联网企业是数据中心建设和应用的大户,所以它们在IDC的探索上一定程度的代表了这个产业的发展方向。据微模块数据中心公开的运营结论显示,采用微模块的方式建设数据中心,颗粒度更小更为灵活,而且不再受到集装箱内狭小空间的限制,运维和搬迁等更为灵活和方便,当然,不管是微模块数据中心还是其他的数据中心建设形式,一个快速部署、绿色节能和高效资源利用的数据中心都是企业们所期待的。

模块化数据机房建设方案3

模块化数据机房建设方案 目录 一、什么是模块化数据机房 (1) 二、前言 (1) 三、模块化数据机房所具备的五大优势: (3) 四、产品方案 (6) 一、什么是模块化数据机房 模块化机房其实就是把机房的所有功能集成到一个模块化一体化产品中,这个一体化产品可以看成一个机房,把这个产品布置在一个房间内就可以使用了,而房间不用做太多的装修。模块化机房(一体化模块化产品)含有机柜、配电柜、UPS、精密空调、动环监控系统、冷通道、电池柜等,由这些产品组成一个封闭空间。每个产品可以看成一个模块,就像搭积木一样组合起来就成了一个模块化机房,你可以根据自己的需求增添产品。 二、前言 模块化数据机房,是将大型数据中心分割成若干个独立区域(独立模块),各个区域的建设规模、功率负载、资源配置等均按照统一标准进行设计和施工。随着IT设备需求的不断发展,可以通过不断增加独立模块,按需逐步建置,从而实现快速建设,快速复制已有的数据中心。

现在公交、交通、税务各部门各建设一个自己的数据中心,资源和应用都是固定对应的。一旦某个部门的设备负载过高,只能在原基础上增加设备扩容来解决,那么采用云计算数据中心,资源和应用都是共享并动态分配的,这个部门超负荷时完全可以共享其他部门空闲的资源,无需额外增加设备。因此相对传统数据机房有效降低硬件成本和维护成本40%以上,通过云计算设备和软件提高设备利用率有效降低能耗20%以上,综合降低了政府和企业IT建设的成本。

三、模块化数据机房所具备的五大优势: 1、高密度、智能化优势 伴随社会发展,数据信息量高速增长,数据中心的密度也越来越高。过去的数据中心呈现分散化、小型化的布局,未来随着大数据、云计算的兴起,大型数据中心会越来越多,单机柜发热密度也会越来越高。模块化数据中心解决方案是提供业界优秀的云计算解决方案,包括云化IT设备,如服务器、存储、网络等。方案采用面向高性能、云计算的可定制化服务器,应用智能化的云计算运营管理平台,充分实现数据中心资源的统一管理、统一部署、统一监控和统一备份。 传统数据中心采用地板下送风方式,每机柜设置1-2个出风口,每个风口出风量为500-800m3/h,以12℃的送回风温差计算,单台机柜空调制冷量最大为3kw-5kw,无法解决高密度服务器的散热问题,难以满足单机柜5kW以上的高密度机柜散热。 模块化数据中心采用行间空调就近水平送风、封闭冷/热通道的方案,送风和和回风都处于较小范围内,气流组织相互不干扰,可以将每个行间空调及其附近的几个机柜作为一个制冷单元来考虑,这样可大大提高制冷效率,行间空调通过点对点精确制冷,将冷量直接送至服务器机柜,确保了对高密数据中心制冷能力的支持,支持单机柜功率最高可达10kW以上。

(完整版)什么是微模块机房

什么是微模块机房 在云计算和大数据应用促进下,数据中心建设迎来了一个新的建设高潮,面对如此巨大的市场,传统数据中心是“固态的”,缺乏灵活性和扩展性。微模块数据中心,是按照行业标准对数据中心场地进行微模块划分,即把整个数据中心分为若干个独立区域,每个区域的规模、功率负载、配置等均按照统一标准进行设计。真正的微模块数据中心,制冷、供电及管理系统都应实现区域化、微模块,互不干扰,可以独立运行,无共享部分,微模块给数据中心带来了一系列的优势。 微模块数据中心是将传统机房的机架,空调,消防,布线,配电,监控,照明等系统集成为一体化的产品,充分发挥了模块化设计的优势,可以实现系统的快速、灵活部署,这不仅可以大幅降低建设成本,而且能够大幅缩短数据中心的建设周期,微模块数据中心的建设周期减少至8-12周。微模块数据中心建设对机房的空间环境没有特殊要求,不需抬高地板和其它机房的专门装修 一、微模块机房定位 微模块数据中心介于大型模块化数据中心和小型模块化数据中 心之间,既可作为独立机房承担网络业务,也可作为大型模块化数据中心的一个局域机房,承担部分或局部业务。

二、微模块机房特点 微模块数据中心采用All-In-Room一体化集成方案,主要具备一体化集成、安全可靠、低噪音、节省机房占地面积和节约能源、安装省时、省力、省心、架构兼容、快速灵活部署、多种电源制式和完善的监控等特点,是新一代集成中型模块化数据中心产品。 一体化集成 一体化集成机柜系统、供配电系统、温控系统、机房管理系统、防雷接地系统、消防系统和综合布线系统,高集成设计,提供完整的解决方案。 一体化配电柜,集成ATS配电、UPS配电、空调配电和IT设备配电。 为服务器、存储、网络设备和综合布线柜设置不同的供电电流,支撑混合密度组网。 在380V和208V电源制式下超过3个电池柜或者480V 电源制式和380V配置120kVA以上UPS时,建议电池架独立部署。 安全可靠 支持通道级门禁(可选)、机柜级门禁(可选),避免无关人员进入,提高机房安全性。 集成消防系统(可选),提高机房安全性。 具备应急通风功能,如空调出现故障,机房温度过高时,自动打开天窗。 长备电时间。 Tier II或Tier III配置,可扩展到Tier IV。 UPS均配置手动维修旁路,正常工作时手动维修旁路开关处于锁定状态,避免由于误操作引起电气事故。

模块化机房技术方案书

遵化项目模数据中心机房BM模块化数据中心解决方案 北京超特伟业科技有限公司 2016年10月

目录 1BM系统简介 (22) 2模块化数据中心技术方案 (33) 2.1项目概况及需求分析(目前得到的信息有限,待得到更多信息之后要再补充) (33) 2.2设计理念 (33) 2.2.1设计原则 (33) 2.2.2设计目标 (44) 2.2.3设计依据 (44) 2.3方案配置 (55) 2.3.1机房内模块设计及布置 (55) 2.3.1.1北机房微模块设计及布置 (66) 2.3.2配置清单 (88) 3艾特网能BM系统介绍 (88) 3.1服务器机柜 (99) 3.1.1突出特点 (99) 3.1.2服务器机柜配置 (1010) 3.2封闭冷池组成及特点 (1010) 3.2.1玻璃天窗组件 (1010) 3.2.2玻璃隔离门组件 (1111) 3.2.3钢制假墙组件 (1111) 3.2.4消防联动系统组件 (1212) 3.3C OOL R OW系列列间机房空调机组技术特点: (1212) 3.4艾特网能配电柜产品介绍 (1616) 3.4.1艾特网能配电柜技术特点: (1616) 3.4.2精密列头柜特点: (1717) 1

BM系统简介 模块化数据中心方案,是当今行业中主流及领先的应用方案,在各行业的大中小型机房中广泛应用,并受到行业专家及用户高度认可。包括腾讯、阿里、国家超算中心、各国有银行、各国家及省市政府单位、各托管IDC及云计算中心都大量应用并对其便捷性,可扩容性、低运营成本(节能高效性)、高可管理性、整洁美观给予了高度评价。 此项目考虑到机房布局,机柜数量等特定因素,同时考虑到后续扩容的便利性,支持在线扩容无需掉电及避免二次工程及施工、节能突出节约运营及维护成本、方案整体美观整洁兼容性好、维护时避免因不同厂家设备损坏出现扯皮,故障界面不清晰等问题,建议使用艾特网能iBlock 系列模块化数据中心中的BM 模块化数据中心方案。

模块化机房建设方案

IDS2000微模块数据中心(M020-4D-4)

目录1 概述 (1) 1.1 产品定位 (1) 1.2 产品特点 (1) 2 应用场景样例及配置 (4) 2.1 典型应用场景 (4) 2.2 典型配置 (4) 3 系统架构 (6) 3.1 结构系统 (6) 3.2 供配电系统 (10) 3.2.1 配电柜 (11) 3.2.2 UPS2000 (13) 3.2.3 PDU2000 (14) 3.3 温控系统 (15) 3.4 机房管理系统 (17) 3.4.2 服务器 (18) 3.4.3 采集器 (19) 3.4.4 NVR网络硬盘录像机(可选) (20) 3.4.5 传感器 (21) 3.5 照明系统 (25) 3.5.1 照明控制箱(可选) (25) 3.5.2 通道照明灯 (26) 3.5.3 机柜照明灯(可选) (27) 3.6 防雷接地系统 (28) 3.6.1 防雷方案 (28) 3.6.2 接地方案 (28) 3.7 消防系统(与现有消防系统对接) (30) 3.8 综合布线 (31) 缩略语 (32)

1 概述 1.1 产品定位 微模块数据中心介于大型模块化数据中心和小型模块化数据中心之间,既可作为独立机房承担网络业务,也可作为大型模块化数据中心的一个局域机房,承担部分或 局部业务。 微模块数据中心的网络位置如图1-2所示。 图1-1微模块数据中心在网络中的位置 1.2 产品特点 微模块数据中心采用All-In-Room一体化集成方案,主要具备一体化集成、安全可靠、低噪音、节省机房占地面积和节约能源、安装省时、省力、省心、架构兼容、快 速灵活部署、多种电源制式和完善的监控等特点,是新一代集成中型模块化数据中心 产品。

传统机房存在问题和模块化数据中心机房

传统机房存在的问题 ●传统机房建设中存在的观念问题 ◆目前,国内多数机房的设计与运营管理比较落后,系统性、可用性、可扩展性不足,且与IT设备机 架化的趋势脱节,存在较大的安全隐患,严重影响了功能的发挥。主要表现在: ◆一是规划设计与运营管理落后。主要表现在机房管理跟不上,对机房设施的建设重视不够。例 如,惠州某企业几年前烧毁一台价值50万元的服务器,导致连续停业两天,其主要原因就是防雷系统建设规划没有跟上。 ◆二是机房的系统性、可用性不高。机房的整个系统在设计时应该均衡,不能某一部分太好,而其它 部分相对较差。影响机房可用性的因素主要包括供电系统、空调系统、监控系统和机架系统。国内用户在机房的规划设计、设备选型、施工安装、运行维护等方面都存在或多或少的问题。 ◆三是不太重视扩展性的要求。用户往往在一开始建设机房的时候,不考虑以后是否会添加新的服务 器,这最终会导致在系统扩容时,机柜内的配电出现很大问题,到处都是插线板、电缆线,机房的安全存在很大隐患。 ◆四是与IT设备机架化的趋势脱节。用户容易忽视机柜内的配风问题,当机房建成后,普遍存在局部 热点的现象。由于设计、维护不合理,大多数机房在运行时,对机房外部都是负压,造成机房内灰尘洁净度严重超标。许多常年在传统机房工作的人员,皮肤干燥,衰老加速,对女性尤其如此。 ●传统机房建设中存在的工程问题 ◆由于不重视或不知道电子设备机房在选址、设计、采购、施工等阶段的全过程质量控制,导致建成 并投入使用后的电子设备机房才出现这样或那样的问题,常见的问题有: ?温度控制不稳定:过高温度下长期工作会造成机房设备寿命降低; ?湿度控制不稳定:湿度过低易产生静电,烧机器主板; ?机房正压不达标:导致机房室外尘埃进入机房,引起设备绝缘等级降低、电路短路; ?机房噪声超标:影响机房工作人员的正常工作,容易导致听力下降; ?接地电阻大、零地电压高:可能直接烧毁机器; ?空气洁净度不好:灰尘的长时间积累可引起绝缘等级降低、电路短路,并影响工作人员身体健 康;

模块化数据中心建设方案

模块化数据中心建设方案 模块化数据中心主要由机柜、密闭通道、供配电系统、制冷系统、智能监控系统、综合布线和消防系统组成。机柜数量可根据客户需求成对减少。模块化数据中心的组成如图所示。 模块化数据中心组成示意图 (1)机柜 模块化数据中心最大可配置28台机柜,机柜包括服务器机柜、网络机柜和综合布线柜。 (2)机柜外观 模块化数据中心配置的机柜尺寸统一,机柜符合IEC60297-1标准,采用前后风道。机柜外观如图所示。 机柜外观图

(3)机柜特性 机柜满足如下特性: 前后门通风率70%。 机柜内后部可安装两条竖装PDU。 机柜的垂直安装立柱上标示有每个“U”的准确位置。 机柜的前门、后门及侧板均可锁定,只能用提供的专用钥匙打开。机柜静载不小于1300kg。

(4)机柜技术指标 机柜技术指标如表所示。 机柜技术指标表 三、密闭通道 模块化数据中心的密闭通道主要由端门和天窗组成。

(1)端门 密闭通道的端门分为推拉门和双开门两种方案,可根据客户的需求选配。 推拉门尺寸:高×宽×深=2050mm×1600mm×42mm。 推拉门采用推拉结构,以机柜为载体,安装上下轨道,保证密闭通道系统的自身独立性。门板由1.5mm冷轧钢板折弯而成,中间安装钢化玻璃,保证通道内区域的可视性。推拉门外观如图所示。 推拉门外观示意图 双开门尺寸:高×宽×深=2050mm×1500mm×42mm。 双开门整体与机柜通过螺钉联接,可以保证系统的独立性。门板中间镶嵌钢化玻璃,保证通道的可视性,并且钢化玻璃能很好的满足消防应急要求。门板下部安装密封毛刷,可以提高模块的密闭性。双开门外观如图所示。

微模块化数据中心方案.

微模块化数据中心(微模块化冷通道数据中心) 一、模块化数据中心概述 模块化数据中心主要由机柜、密闭通道、供配电系统、制冷系统、智能监控系统、综合布线和消防系统组成。单个模块化数据中心按照最大N台机柜(包括服务器机柜、网络机柜、综合布线柜)配置。该模块(不包括UPS)占地面积为35 m2,加上模块外维护通道和给模块内空调供电的PDF柜,总占地面积不超过55 m2,模块总高度不超过2.65 m。机柜数量可根据客户需求成对减少。模块化数据中心的组成如图所示。 模块化数据中心组成示意图 (一)、节能高效: (1)、高效供配电、贴近热源制冷、有效降低模块PUE值 (2)、隔离冷热气流,消除无效气流循环并消除局部热点 通过模块集成管理,协调运行,提升功能组件效能。

(二)、快速部署: 标准化部件,去工程化,整体交付根据业务发展即时匹配,迅速扩容。 (三)、简单可靠: (1)、数据中心基础设施产品化,降低施工工艺影响,提升系统可靠性。 (2)、产品级出厂检验,获得更高质量保证。 (3)、适应能力强,适合用户多种现场条件。 二、怎么样的机房适合采用微模块机房? 数据中心机房作为公司内部一个重要的领域,如何保护好机房安全性能非常的重要,微模块机房是数据机房时代化进步的选择。而模块化数据机房,是将大型数据中心分割成若干个独立区域(独立模块),各个区域的建设规模、功率负载、资源配置等均按照统一标准进行设计和施工。随着IT设备需求的不断发展,可以通过不断增加独立模块,按需逐步建置,从而实现快速建设,快速复制已有的数据中心。

根据需求与低投资、高回报之间的矛盾,满足未来的云计算、虚拟化、刀片式服务器等高密低耗、快速部署、灵活扩展的需求,有效地提高数据中心的工作效率,控制投资成本,满足300m2以下数据机房快速部署的需求,才推出模块化数据中心机房。模块化数据中心是一套完整的数据中心解决方案,集机柜、配电、制冷、监控、综合布线、消防等系统于一体,实现了供电、制冷和管理组件的无缝集成。使模块化数据中心实现智能、高效的运行,让客户花费最少的投资,获得更多的收益,从而降低运营费用。 模块化数据中心可应用于面积50m2~100m2的中小型数据中心机房内,支持水泥地面安装和架空地板安装。模块化数据中心组建快速灵活,可按需部署,建设周期比传统机房缩短50%,模块化数据中心主要应用于传统数据中心机房的局部高密部署和中小型机房的快速建设。 三、微模块机房与传统机房有什么区别? 模块化机房建设模式相较传统建设模式具备了更多优势,在满足客户业务需求的同时创造更多价值,成为未来数据中心建设模式的新标准与方向标。下面就为大家介绍一下模块化机房建设与传统建设的区别,供大家参考。

相关文档
最新文档