数据中心基础设施管理
数据中心基础设施管理
骆洪德
【摘要】本论文从理论角度，结合实践经验阐述了数据中心基础设施管理的基本概念、水冷精密空调系统的构成、工作原理及节能运行、数据中心能耗指标及节能措施等。
【关键词】数据中心基础设施水冷空调系统数据中心能源使用效率PUE
一、数据中心基础设施管理的概念
数据中心基础设施是除了IT设备（计算机、服务器、网络设备等）之外的所有数据机房辅助设施，包括暖通系统、电气系统、消防系统、安防系统及弱电系统等。
暖通系统包括为数据机房、变配电室、消防控制室、管理人员办公室及公共环境（走廊等）进行空气调节的系统，空调调节包括温度、湿度控制（制热、制冷、加湿、除湿等）及通风（送新风、排风）等。
电气系统包括变电系统、配电系统（配电箱、配电柜、列头柜及电缆、母排等）、柴油发电机组、UPS系统等。
消防系统包括灭火系统（气体灭火系统、水喷雾系统、水喷淋系统等）、报警系统（烟感探测器、温感探测器、报警控制设备等）、空气采样系统等。
安防系统包括视频监控系统、周界报警系统、出入口管理系统（门禁系统、停车管理系统等）、巡更系统等。
弱电系统包括楼宇自动控制系统（包括对水系统、通风系统、柴油输送系统、报警联动系统等）、电力监控系统、环境监控系统等。
数据中心基础设施管理是指对上述各系统的统一、系统地管理，尤其重要的是对暖通系统、电气系统的管理。
数据中心基础设施管理的主要目标包括：
1.使数据中心安全、稳定地运行；
2.延长数据中心基础设施设备的使用寿命；
3.节能。
二、暖通系统的运行管理
2.1大型数据中心节能水冷精密空调系统
新一代大型数据中心一般首选离心式水冷空调系统，其特点是制冷量大并且整个系统的能效比高。
离心式制冷压缩机的构造和工作原理与离心式鼓风机极为相似。它的工作原理与传统的活塞式压缩机有根本的区别，它不是利用汽缸容积减小的方式来提高气体的压力，而是依靠动能的变化来提高气体压力。离心式压缩机具有带叶片的工作轮，当工作轮转动时，叶片就带动气体运动或者使气体得到动能，然后使部分动能转化为压力能从而提高气体的压力。这种压缩机由于它工作时不断地将制冷剂蒸汽吸入，又不断地沿半径方向被甩出去，所以称这种型式的压缩机为离心式压缩机。压缩机工作时制冷剂蒸汽由吸汽口轴向进入吸汽室，并在吸汽室的导流作用引导由蒸发器（或中间冷却器）来的制冷剂蒸汽均匀地进入高速旋转的工作轮（工作轮也称叶轮，它是离心式制冷压缩机的重要部件，因为只有通过工作轮才能将能量传给气体)。气体在叶片作用下，一边跟着工作轮作高速旋转，一边由于受离心力的作用，在叶片槽道中作扩压流动，从而使气体的压力和速度都得到提高。由工作轮出来的气体再进入截面积逐渐扩大的扩压器（因为气体从工作轮流出时具有较高的流速，扩压器便把动能部分地转化为压力能，从而提高气体的压力）。气体流过扩压器时速度减小，而压力则进一步提高。经扩压器后气体汇集到蜗壳中，再经排气口引导至中间冷却器或冷凝器中。
水冷冷冻机组的工作原理如下：
1.冷冻水侧：一般冷冻水回水温度为12℃，进入冷冻器与冷媒做热交换后，出水温度为7℃。冷冻水一般通过风机盘管、组合式空调机组或水冷精密空调机向IT设备提供冷气。由于数据中心的制冷量大，要求温差小风量大且湿度需要控制，一般采用水冷精密空调机。
2.冷却水侧：一般冷却水进水温度为30℃，进入冷凝器与冷媒做热交换后，出水温度为35℃。冷却水一般使用蒸发式冷却塔通过水蒸发来散热降温。
3.冷媒侧：冷媒以低温低压过热状态进入压缩机，经压缩后成为高温高压过热状态冷媒。高温高压过热状态冷媒进入冷凝器后，将热传给冷却水而凝结成高压中温液态冷媒。高压中温液态冷媒经膨胀装置，成为低压低温液气混合状态冷媒。低温低压液气混合状态冷媒进入蒸发器后，与冷冻水进行热交换，冷冻水在此处被冷却，而冷媒则因吸收热量而蒸发，之后以低温低压过热蒸气状态进入压缩机。
离心式制冷压缩机具有下列优点：
1.单机制冷量大（350到35000KW之间），在制冷量相同时它的体积小，占地面积少，重量较活塞式轻5~8倍。
2.由于它没有汽阀活塞环等易损部件，又没有曲柄连杆机构，因而工作可靠、运转平稳、噪音小、操作简单、维护费用低。
3.工作轮和机壳之间没有摩擦，无需润滑。故制冷剂蒸汽与润滑油不接触，从而提高了蒸发器和冷凝器的传热性能。
4.能经济方便的调节制冷量且调节的范围较大。由于热量是通过水的蒸发（在冷却塔中）来散发的，因此夏天室外的高温对其冷却能力影响很小。
离心式冷冻机组在小负荷时（满负荷的20%以下）容易发生喘振，不能正常运转。因此，在数据中心水冷空调系统的设计中一般先安装一台小型的螺杆式水冷机组或风冷水冷机组作为过渡。
大型数据中心的水冷空调系统一般由以下五部分组成，示意图如下。
原理图如下：
1.离心式冷冻机组，一般为N+1配置，有一台备机，安装在冷站机房。
2.冷却塔，通常安装在室外或楼顶，一般一台冷冻机组对应一组冷却塔（便于维修和保证备机系统正常待机）。冷却水通过冷却塔来降温，由于水在大气中蒸发，因此要设计安装水处理系统来除垢、除沙尘、除钠镁离子和病菌等，否则将大大降低制冷效率。另外，由于数据中心是全年连续运行，还要设计冬季防结冰措施。
3.环形冷冻水管道。由于数据中心需要连续运行，因此冷冻水的进水和回水管道都要设计成环路，大型数据中心可能设计成二级或三级环路，这样在局部冷冻水管道或阀门发生故障时可以关闭相邻的阀门进行在线维护和维修。为了便于日后的维护、维修、更换和扩展，需要安装设计相当多的阀门。为了防止漏水和提高使用寿命，需要选择优质的阀门，有些工程使用优质无缝钢管，甚至不锈钢
管。冷冻水管和冷却水管不允许经过机房区域。在水管经过的区域需要设置下水道和漏水报警设备。为了节能和防止冷凝水，冷冻水管和冷却水管都要采取严格的保温措施。
4.水冷精密空调机。其实就是一个温差小风量大的大型风机盘管，一般推荐采用地板下送风和天花板上回风。为了保证IT设备的绝对安全和便于设备检修，推荐设置物理上独立的空调设备间，四周做拦水坝，地面做防水处理和设置排水管道，安装漏水报警设备。推荐采用N+1或N+2的冗余配置方案。
5.水泵。冷冻水和冷却水的循环都是通过水泵进行的。水泵的节能除采用变频装置外，应采用较大直径的管道、尽量减少管道长度和弯头、采用大半径弯头、减少换热器的压降等。冷冻机房、水泵、冷却塔、板式换热器和精密空调尽量设计安装在相近的高度以减少水泵扬程。
由于大型数据中心的水冷空调系统的电力负荷很大，一般需要为水冷空调系统设计独立的配电室。
由上述可以看出，水冷空调系统比较复杂，成本也比较高，维护也有难度，但是能满足大型数据中心的冷却和节能要求。
2.2水冷精密空调系统的节能运行维护
免费冷却（Free Colling）技术指全部或部分使用自然界的免费冷源进行制冷从而减少压缩机或冷冻机消耗的能量。常见的免费能源有：
1.中北部地区的冬季甚至春秋季，室外空气中储存大量冷量；
2.部分海域、河流、地下水水温较低，储存大量冷量；
3.部分地区的自来水中也储存了大量冷量；
4.压缩燃气在汽化过程中产生大量冷量。
目前常用的免费冷源主要是冬季或春秋季的室外空气。因此，如果可能的话，数据中心的选址应该在天气比较寒冷或低温时间比较长的地区。在中国，北方地区都是非常适合采用免费制冷技术。
数据中心在环境温度较低的季节，将室外空气经过过滤后直接送入机房作为冷源，也能节省大量能源，称为风冷自然冷却。这种自然冷却方式原理比较简单，成本也比较低，但存在以下不足之处：
1.要保证空气的洁净度不是一件容易的事。虽然可以通过高质量的过滤网保
证空气的洁净度，但由于风量特别大，需要经常清洗更换，同时巨大的阻力也要消耗相当的能源。
2.湿度不好控制。加湿和除湿都是相当的消耗能源。如果采用简单的工业加湿设备，需要对加湿的水源进行高度净化（成本比较高），简单的软化水不能满足要求（对设备有害，长时间会在设备内部形成一层白色物质）。
3.温度过低，容易结露并除湿。因此需要进行细致严格的保温处理。
4.对于大型数据中心，由于距离远，风量特别大，这样就需要很大的风道，风机的电能消耗也非常的大。实际的设计和安装也是很困难的事。
5.不可能实现全年自然冷却，夏季的制冷方式还需要安装单独的空调设备。
因此，在大型数据中心中对自然环境要求较高，因此不推荐使用风冷自然冷却方式。
采用水冷空调系统，当室外环境温度较低时，可以关闭制冷机组，采用板式换热器进行换热，称为水冷自然冷却。这样减少了开启冷机的时间，减少大量能源消耗。湿球温度在4℃以下时可以满足完全自然冷却，在湿球温度4到10℃之间可是实现部分自然冷却。在北京，一年内平均有5个月左右可以实现完全自然冷却，有2个月左右可以实现部分自然冷却。节能效果将是非常明显的。
水冷精密空调系统中具有以下三种工作方式：
1.夏天完全靠冷冻机制冷，通过阀门控制使得板式换热器不工作。
2.冬天完全自然冷却，冷冻机关闭，通过阀门控制冷冻水和冷却水只通过
板式换热器。
3.春秋季节部分自然冷却。这时冷却水和冷冻水要首先经过板式换热器，
然后再经过冷冻机组。
由于天气在不断的变化，上述三种工作方式也将不断进行转化。为了减轻运维人员的工作和精确控制，在所有阀门采用电动阀的情况下，在空调系统管道若干位置加装可以自动采集数据的温度计、流量计和压力表等，通过一套自动化控制系统全年按最佳参数自动运行。但这套最佳运行参数的获取需要一定时间的经验积累。
对于大型数据中心，由于制冷量特别的大，同时考虑到降低N+1备机的成本，一般采用2+1、3+1或4+1系统，为了便于检修和提高整个系统的可靠性，蒸发式冷却塔、水泵、板式换热器和冷冻机组应一对一配置。
2.3采用变频电机节省能源
我们知道，空调系统的制冷能力和环境密切相关，夏天室外温度越高，制冷能力越低，因此大型数据中心空调系统的制冷量都是按最差（夏天最热）工况设计的（空调的制冷量一般要比其在理想工况下的额定值低，这时建筑物本身不但不散热，反而吸热。）。这样，全年绝大部分时间空调系统运行在负荷不饱满状态。另外，大型数据中心的IT负荷从零到满载也需要相当的时间，一般也在一到三年之间。还有，IT负载的能耗和网络访问量或运行状态相关，根据其应用的特点，每天24小时的能耗都在变化，一年365天的能耗也都在变化。比如，游戏服务器在早上的负载和能耗都比较低，但在晚上就比较高；视频服务器在遇到重大事件时的负载和能耗就比较高。
因此，我们强烈建议在水冷空调系统中所有电机采用变频系统，这样可以节约大量的能量，其增加的投资一般在一年内节省的电费中就可以收回（基本满负荷情况下）。要注意的是在选用变频器时，要求谐波系数一般小于5%，不然将对电网造成不良影响。对于风机和水泵，输入功率和这些设备的转速的三次方成正比。例如，如果风机或水泵的转速为正常转速的50%，仅需要同一设备运行在100%额定转速时理论功率的12.5%。因此，当设备运行在部分负荷时，变速装置的节能潜力十分明显。
1.变频冷水机组，冷水机组采用变频电机并作相应的特殊设计，节能效果非常明显。下表是一台典型的制冷量1000冷吨的变频冷水机组相对常规定频机组不同负荷的节能效果，负荷越低，节能效果越明显。
负荷百分比定频机组COP变频机组变频机组节能效
果
100% 5.959 5.850-1.83%
90% 6.458 6.704 3.81%
80% 6.8777.70612.05%
70%7.2188.88523.10%
60%7.53410.34137.26%
50%7.77912.12455.86%
40%7.40211.72058.34%
30% 6.35410.76369.39%
20% 5.4098.90164.56%
15% 4.8078.01166.65%
即便是数据中心处于满负荷状态，但由于数据中心的冷水机组需要常年运行，而室外的气温不断变化，对应冷却塔的供水温度也在不断变化，压缩机的工作压头也随之变化，在这种情况下，采用变频驱动的离心机组能够不断的根据压头的变化调节转速，达到节能效果。下表为机组在室内负荷恒定，机组100%满负荷运行状态下，定频机组与变频机组的节能比较。
2.变频冷却塔。冷却塔采用变频电机可以在部分负荷和满负荷的不同气象条件下实现节能效果。一般冷却塔的变频电机根据冷却水的温差进行控制，温差一般为5度，若高于5度，将降低频率减少冷量来降低温差，若低于5度，将增加频率加大风量来提高温差。另外，冷却水的温度越低，冷水机组的效率就越高。根据YORK公司在网络上公布的材料，冷却水温度每提高一度，冷水机组的效率就要下降4%左右。因此，在进行冷却塔的变频控制时还要考虑这个因素。
3.变频水泵。冷却水和冷冻水的水泵由于常年运转，耗能相当的惊人。变频水泵可以在部分负荷时降低水的流速来节能。一般变频水泵的变频电机根据冷却水或冷冻水的温差进行控制，温差一般为5度，若高于5度，将降低频率减少流量来降低温差，若低于5度，将增加频率加大流量来提高温差。为了降低水泵的扬程和能耗，建议冷冻机房、冷却塔和机房的垂直距离越小越好。
4.水冷精密空调采用调速（EC）风机。调速风机一般根据回风温度控制风机的功率，若回风温度较低，就降低调速风机的功率减少风量，若回风温度较高，就提高调速风机的功率增加风量。根据艾默生公司提供的材料，采用下沉方式安装调速风机还可以进一步节省能耗，对于能够提供16400CFM（每分钟立方英尺）风量的精密空调设计安装三台风机，采用普通风机、普通EC风机和下沉式EC 风机分别对应的风机功率为8.6KW、6.9KW和
5.5KW。
2.4提高冷冻水的温度节省能源
冷水机组标准的冷冻水温度为7到12℃，水冷空调的标准工况也是认为冷冻水温度为7到12℃。但是这个温度范围对于数据中心来说有点低，带来以下两个不利因素：
1.这个温度大大低于数据中心正常运行在40%左右相对湿度的露点温度，将在风机盘管上形成大量的冷凝水，需要进一步加湿才能保持机房的环境湿度。这个除湿和加湿过程都是非常消耗能量的过程。
2.冷冻水的温度和冷水机组的效率成正比关系，也就是说冷冻水的温度越高，冷水机组的效率也就越高。典型的水冷式精密空调，冷冻水温度每提高一度，冷水机组的效率就可以提高大约3%。
目前，在模块化数据中心和高功率密度的冷水背板制冷技术中都把冷冻水的温度设计为12到18℃，已经高于露点温度，完全不会除湿，也就不需要加湿。冷冻水的温度提高后，水冷精密空调的制冷能力会下降，实际的制冷能力需要厂家提供的电脑选型软件来确定，一般会下降10%到15%。但是由于冷冻水温度提高后很少或基本不除湿和加湿，加上采用EC调速风机，电机产生的热量减少，整个水冷精密空调的实际制冷能力（显冷）下降并不多。
三、数据中心的节能管理
对于数据中心而言，数据中心基础设施的10年总拥有成本（TCO）中，电能消耗占相当大的比重。典型的数据中心电能消耗占总成本的20%。一个值得注意的问题是，所消耗的电能转变成了热量被浪费掉了，而我们还要消耗另外的电能来冷却其带来的热量，实际上，相当一部分浪费是可以避免的。
有关数据中心效率的典型的简单化模型完全低估了数据中心的电能浪费。本文介绍一个能够提供较准确的数据中心损耗数据的计算模型，并指出哪些方面有改进能耗的机会。
3.1数据中心的能源使用效率
任何设备或系统的效率都来自其能源输入（电能、燃料及任何使其“运转”的能源）中转化为有效结果的那一部分（未获得有效结果的能源输入一律呗视为“浪费”）。这一“有效输出”占“总输入”的比例通常以百分比表示。
在数据中心的范畴内，效率被定义为总设施功率与IT设备消耗功率的比值。这个参数成为数据中心的能源使用效率（Power Usage Effectiveness，简称PUE）。
PUE等于1相当于100%效率的数据中心。PUE的值越高，数据中心的整体效率越低。目前，PUE值已经成为国际上比较通行的数据中心电力使用效率的
衡量指标。PUE值越接近于1，表示一个数据中心的绿色化程度越高。当前，国外先进的数据中心机房PUE值通常小于2，而我国的大多数数据中心的PUE值在2-3之间。也就是说，国内机房内芯片级主设备1W的功耗会导致总体耗电量达到2-3W，而国外机房内芯片级主设备1W的功耗只会导致总体耗电量为2W 以下。
3.2数据中心效率模型中的“有效”和“浪费”概念
在上述数据中心的模型中，“浪费”是指所有不属于IT设备所消耗能量。不言而喻，数据中心基础设施除了为IT设备提供能量之外，还需进行其他有效的工作，这些工作称为“辅助支持”。下图是一个典型的数据中心能源消耗分布。
从上图的例子可知，这个数据中心基础设施能耗占53%，IT设备耗电量仅为47%，由此可计算该数据中心的能源使用效率（PUE值）为（53%+47%）/47% =2.13%。
在上述例子中，数据中心基础设施能耗的比例（53%）中，暖通系统能耗占41%（其中冷水系统占23%，加湿系统占3%，精密空调占15%），配电系统占9%（其中UPS能耗占9%，PDU能耗占3%），照明及辅助设备占2%，开关装置/发电机占1%。
3.3对数据中心基础设施进行科学管理，提高数据中心效率
原则上讲，提高数据中心效率的方法有三种：
1.改进数据中心基础设施的内部设计，减少工作时的能耗；
2.使数据中心基础设施组件的规划与实际IT负载更好地匹配（适度规划），提高组件的工作效率；
3.开发新技术，减少提供数据中心基础设施各项功能所需的能耗。
虽然数据中心的效率可以凭经验来确定，即将所有IT设备的能耗相加并与数据中心的电能输入总量相除，提出的做法是依据制造商提供的UPS和精密空调等主要组件的效率声明。这比较省事，但获得的效率参数常常被严重夸大（比如乘以一个系数），掩盖了可能有助于发现省电成本的机会的任何信息。
UPS制造商提供的UPS电源设备的效率，通常以输出电能与输入电能的百分比来表示；同样，冷却设备制造商提供的效率通常以“性能系数”（排出的热量与输入的电能之比）的相关参数来表示。
不同制造商发布的同类设备的效率值相差并不大，这导致人们简单地认为，只需将各个组件的无效耗电量相加便可获得数据中心的效率损耗数字。实际上，这种方法无法获得真实的数据中心的准确数据。
UPS电源设备与冷却系统在以低于设备额定值使用时效率会显著下降，这意味着对数据中心效率进行的任何分析都必须将负载适当地表示为设计容量的一部分。
对于每种UPS电源及冷却设备而言，设备在低于额定容量的状态下工作的原因主要包括：
1.数据中心IT负载低于系统设计容量。研究结果表明，一般的数据中心都在低于设计值65%的状态下工作。不能物尽其用是数据中心效率地下的一个非常重要的原因。
2.有意使用过度规划的组件，以提供安全容限。设计通常会将组件进行过度规划，其目的是避免组件以接近其容量极限的状态工作。可以在没有任何降额的情况下运行设备，但为高可用性设施推荐的设计实践是采用10-20%的降额值。
3.组件以N+1或2N配置的形式与其他组件协同工作。通常做法是以N+1甚至2N配置形式来使用设备，以提高可靠性以及/或允许对徐建进行同步维护，
而无需关闭系统。以这种配置来运行数据中心意味着IT负载由更多的设备分担，从而有效地降低每台设备的负担。对于2N系统，任何单一设备的负载都小于其设计值的一半。数据中心的效率受到以N+1或2N配置形式工作的设备的严重影响。
4.组件过度规划以适应负载的多样性。这种影响很微妙，距离来说：假如一个数据中心的负载为1MW，由一个1.1MW的UPS提供支持，在UPS与IT负载之间有10台配电装置（PDU），每台都为该IT负载提供部分电能。乍看起来，似乎选用额定值100KW的PDU就能满足系统设计要求。但实际上，由于现实中的数据装修不可能保证每台PDU均匀的负载平衡、平均分配。具体一台PDU 的负载取决于该PDU所在机柜内的IT设备，通常一个数据中心各PDU的负载存在数倍的差异。也就是说，我们需要选用额定值不少于200KW的PDU。
在数据中心运行维护过程中，人们往往产生这样一个概念：UPS电源及冷却设备的热输出（无效耗电量）占IT负载的比例是微不足道的，因此可以忽略不计。事实上，数据中心内UPS电源和冷却设备产生的热量与IT设备本身产生的热量并无不同，都需要用冷却系统加以消除。这给冷却系统带来了额外的负担。
通过以上讨论，经过对数据中心运维经验数据分析，可以发现减少损耗和提高数据中心工作效率的措施：
1.最大的节省能源措施是采用允许UPS电源和冷却基础设施随着负载的增加二增加的适应性、模块化结构，以减少数据中心的过度规划；这种措施降低损耗的潜力约为50%。
2.提高冷却系统的效率，这种措施降低损耗的潜力约为30%。
3.降低数据中心UPS电源和冷却设备的空载损耗，这种措施降低损耗的潜力约为10%。
【作者简介】
骆洪德，1982年毕业于郑州大学物理系，1989年于美国肯塔基大学获得物理学博士学位，1991年于美国肯塔基大学获得计算机科学硕士学位。1991年参加美国洛克菲勒基金会的LEAD项目；1995回国后就职于吉通通信有限公司，任副总工程师，负责中国金桥Internet网络的设计、实施和运营管理；2000年开始从事信息系统工程监理工作至今。