高热密度数据中心制冷解决方案设计

高热密高热密度度数据中心数据中心制冷制冷制冷解决方案解决方案解决方案设计设计设计

艾默生网络能源有限公司艾默生网络能源有限公司 严瀚严瀚严瀚

摘要

摘要：高热密度数据中心具有强大的虚拟化、集中化、云计算等功能，节地、节能、节省人工等优点，因而存在巨大的应用优势，但是目前其方案、设备的设计、选型还没有成熟的理论指导。本文就高热密度数据中心设备的选型从理论和工程经验两方面进行了剖析，指出了建设高热密度数据中心的具体方法和发展方向。

关键词关键词：：高热密度高热密度 数据中心数据中心数据中心 制冷解决方案制冷解决方案制冷解决方案 风量风量风量 焓焓 紊流紊流紊流 雷诺数雷诺数雷诺数 行间级制冷行间级制冷行间级制冷 机柜级制冷机柜级制冷 芯片级制冷芯片级制冷芯片级制冷 艾默生艾默生艾默生 XD XD 系统系统 CRV CRV 系统系统 CoolTherm CoolTherm 水冷机柜水冷机柜 微热管微热管微热管

引子引子：随着云计算的发展，传统的低密度数据中心已经不能满足日益发展的需求，因此出现了超过8kW/Rack 的数据中心，我们一般将8kW/R 至30kW/R 之间的热密度机柜成为高热密度机柜，超过30kW/R 发热量的机柜称之为超高热密度机柜（图1）。

图1 高热密度机柜出风口红外图

一、 选择建设选择建设高热密度数据中心高热密度数据中心高热密度数据中心的的原因

1、在传统的低密度数据中心中，设备占地面积广大，往往达到几千甚至上万平方米，这在建筑成本日益升高的今天，无疑是一种巨大的浪费。而高热密度数据中心，由于提高了机柜的装机容量，使得同样功能的数据中心面积可缩小60%以上。比如传统2kW/R 的机柜，若提升到10kw/R ，则可实现80%的节地，其建筑成本的节省就是一笔非常大的收益。

2、由于传统的机房精密空调需要依靠房间中的空气作为传导冷量的媒介，因此若机房面积大，其相应需要冷却的空气质量非常大，而空气中的水蒸气相变吸收的潜冷量更加巨大，因此若能减少面积，相应的建筑热负荷需求也会显著下降，可实现非常大的节能收益。

3、高热密度解决方案中精密空调均采用就近送风方案，需求风量比传统精密空调少很多，再加上风机技术上的革新，单风机系统就可比传统方案节能60%。

4、高热密度数据中心由于设备智能化的提高、面积的减小、服务器数目的减少，相应需求的维护人员数目大大下降，可节省巨大的人工开支。

5、高热密度数据中心可采用功能强大的刀片服务器，利用服务器虚拟化技术，可利用虚拟技术将其虚拟分割为若干个小的数据中心，相当于建立一个高密度数据中心，可代替传统的4-5个数据中心的功能；

6、高热密机房特点是冷量需求很大，而湿负荷需求很小，因此高热密度空调设计工况基本都接近显热比100%，这样可减少由于潜冷而带来的无谓除湿，更可进一步减少由此带来的无谓加湿，从而减少很大一部分除湿、加湿功耗。

7、由于高热密度机房空调停机之后温升速度非常之快，有分析指出，一个10kW 的数据中心，若空调停机短短3分钟，整个数据中心就将宕机。因此，高热密度空调肩负着非常重要的职责，其制造工艺、备件选用上都是采用行业最高标准，整机的MTBF 时间反而大大提高，可靠性相较于传统精密空调更高。在冷冻水型的高热密度数据中心中，由于末端精密空调的高度集中化，工程需求的管道总长大大减少，工程总的水流量会下降，管路的散热、泵的功耗、冷冻水塔的功耗、主机功耗都会因此而下降，工程建设费用、后期的运行均会大大减少。同时由于管道流量下降，管道压力也会下降，出现泄漏的可能性也会大大降低。 由于高热密度数据中心强大的虚拟化、集中化、云计算功能，节地、节能、节省人工、安全等的优点，因而存在巨大的应用优势，可行性非常之高。

二、服务器需求风量的确定

配置空调配置空调，，首先必须了解服务器机柜的冷量需求首先必须了解服务器机柜的冷量需求，，而由于一定工况下而由于一定工况下，，单位单位质量质量质量冷空气冷空气所能携带的冷量是有限的所能携带的冷量是有限的，，所以所以，，我们我们需要需要需要先先确定在服务器良好工作工况下确定在服务器良好工作工况下，，服务器机柜需求的换热的风量需求的换热的风量。。

（1）机柜需求冷量及风量计算如下

Q=C*T*G

其中Q 为换热量，T 为机架进出风口温差，C 为空气比热（1.01KJ/kg.C ）,G 为风量kg/s 。 G=Q/(C*T)=1/(1.01*17.52)=0.0565kg/s ，空气密度在1atm ，干球温度18度，相对湿度80%下约为1.15kg/m3，则风量G=0.04913m3/s=176.8m3/h,考虑风量损失约需修正为180立方米/小时。

按照上述公式计算，则每kW需求180立方米/小时风量可保证服务器正常的进出风温度和正常工作。由于出风末端距离服务器机柜距离有所不同，因此考虑修正系数，行间空调末端送风量应保持在180-200立方米/小时左右。

（2）按照服务器进出口的焓差进行计算

利用服务器进口温度大概需求18度，80%，出风温度35.5度，出风相对湿度28.5%计算，可得进出口焓差为17.94kJ/kg。此进出口温度约需180立方米/小时即可保证1kW的冷量。

具体冷量会随进口温度波动，可能会有所变动，但总体风量需求也约在180-200立方米/小时。在不考虑气体粘度引起的紊流前提下，房间级空调视距离服务器机组距离远近，考虑25%的风量损耗，因此需求风量约260立方米/小时左右。

图2 服务器进出口焓值计算图

由于服务器机柜热密度增大，会造成风量需求增大，风量增大之后所带来的紊流增多，因此需求的风量会进一步增大（图3）。如紊流较大，风量不能正常传导到服务器机柜表面，不能带走热量，还会引起局部热点问题（图4）。

图3 紊流示意图 图4 紊流带来的换热不足

三、无量纲数无量纲数：：雷诺数--房间级空调不能解决高房间级空调不能解决高热热密度的原因密度的原因：：气流粘度引起的紊流 1、利用CFD 模拟可以建立普通房间级空调的风速场模拟图（图5），可见普通的房间级空调在送风气流组织中有很大的紊流，气体并不是按照想象的均匀从每个出风口导出，因此每个服务器得到的风量和冷量必然是不同的。

图 5 房间级空调房间级空调送风送风送风气流组织气流组织

由于大部服务器机柜走线的不合理性（图6），造成气流组织的紊乱，进一步造成机柜需求风量增大（图7）。

图 6 不合理的机柜走线

图7 机柜附近气流组织示意图

2、雷诺数

从根据牛顿第二定律建立的表征流体流动性质的纳维一斯托克斯方程式（Navier-Stokes equations）我们可以推导得到表征流体流动粘性的重要无量纲参数—雷诺数（Reynolds number）的表达式。

转化为无因此化的表达形式

由于测量管内流体流量时往往必须了解其流动状态、流速分布等，因此定义流体流动时的惯性力Fg和粘性力(内摩擦力)Fm之比称为雷诺数。用符号Re表示。Re是一个无因次量。

可得到雷诺数的表达形式

式中:

是平均流速(国际单位: m/s)

一般为特征长度，，矩形管道需乘以当量系数) (m)

D 管直径(一般为特征长度

动力黏度(Pa·s or N·s/m2)

流体动力黏度

μ流体

ν运动黏度(ν= μ/ ρ) (m2/s)

密度(kg/m3)

流体密度

ρ流体

流量(m3/s)

Q 体积

体积流量

A 横截面积(m2)

由上式可知，雷诺数Re的大小取决于三个参数，即流体的速度、流束的定型尺寸以及工作状态下的粘度。

雷诺数小，意味着流体流动时各质点间的粘性力占主要地位，流体各质点平行于管路内壁有规则地流动，呈层流流动状态。雷诺数大，意味着惯性力占主要地位，流体呈紊流流动状态，一般管道雷诺数Re<2000为层流状态，Re>4000为紊流状态，Re=2000～4000为过渡状态(这里的过渡状态是指流体的流动状态是介与层流与湍流之间的一种中间状态，而不同流体的从层流彻底转变为湍流的雷诺数并不相同）。在不同的流动状态下，流体的运动规律．流速的分布等都是不同的，因而管道内流体的平均流速υ与最大流速υmax的比值也是不同的。因此雷诺数的大小决定了粘性流体的流动特性。

由雷诺数可知，流体流动型态由下列因素决定：（1）流速。流速小时容易出现层流，流速大时则发生紊流，这就是大的IDC中心之所以采用静压箱要求控制其中风速在3m/s以下的原因；（2）管道直径。在其他条件不变的情况下，管道直径小易发生层流，直径大易发生紊流；（3）粘滞性。粘滞性大的水体易发生层流，粘滞性小的水体易发生紊流。

综上可知，当我们由于静压箱的设计要求，需要将静压箱中的风速控制在3m/s左右时，在空调出风横截面长度不变的情况下（即机房面积不变），其静压箱尺寸会由于需求风量增大而增大，直观反映就是静电地板的高度需要增大，相当于出风横截面的当量直径D增大，因而可由雷诺数公式推导得到：在其他参数不变条件下，雷诺数与地板高度成正比。

静电地板高度计算公式如下：

H=μ*Q/(L*V)

其中，H为静电地板高度，Q为总的设计风量，L为出风横截面长度，V为出风横截面风速，μ为静电地板考虑地板下其他对风阻碍的放大系数。

由上可知，当静电地板高度由于需求的风量增大，其高度也需不断增大，据经验计算，当地板高度超过1.2米以上，其气流雷诺数大于4000以上，紊流严重，风量损失严重，无法保证服务器得到足够的冷量，另外由于随着距离增长，远端的风量损失增多，其风速必然会降低，因此要保证远端的风速，近端的风速会更加高，近空调出风口附近的流体雷诺数更大，出口附近的紊流更见显著（见图3、图9、图10）。

图8 最小架高地板空间与机柜功率的经验关系

按照经验及公式得出的结果，在达到1.2米高静电地板时，房间级空调送风量应保持在260立方米/小时/机柜左右，最大只能解决8kW/Rack的高热密度问题（图8）。因此，再提高地板高度，并不能用传统的地板下送风式房间级空调进一步提高解决高热密度的能力，这主要是因为雷诺数，由于高度增大引发的紊流增多到一定界限，冷空气不能有效的通过地板下空间送到服务器机柜的进风口（图9、图10）。

紊流造成的送风距离限制（（2）图9 紊流造成的送风距离限制

紊流造成的送风距离限制（（1）图10 紊流造成的送风距离限制

（3）图12 紊流造成的服务器温度过高图11 紊流造成的送风距离限制

紊流造成的送风距离限制（

在上图中的某机房中，由于机柜密度较高，风量配置较大，紊流及延程损耗造成远端服务器不能有效换热，从而出现局部高温问题（图11、图12）。

3、静电地板的阻碍作用

由于静电地板存在一定的厚度，其上通风的网孔也相当于非常小的风管，虽然由于当量直径非常小，其流动状态大部分为层流，但是由于管壁存在摩擦，因此还是会损失一部分压力，这样，冷量到服务器的传导又会有一个比较大的衰减。这部分也需要考虑，因此，在有些送风距离较远的场合，需要考虑使用变通孔率的地板，在离空调较远区域使用通孔率较高的放静电地板，以利于冷空气的流动。

目前市场有射流地板辅助送风，可对地板造成的风量衰减进行补

充，但是其并不能解决长距离送风的紊流问题，因此其比较适合3kW

以下，空调机外余压不足的场合，并不能适用于高热密度数据中心。

在很小的机房中，如只有1-2排、5-10个机柜，送风距离较近的场合，由于减少了风的流动距离，因此延程紊流大幅度减小。此时房间级空调的风量只要保证足够大，地板高度降低（相当于当量直径D下降），让地板下风速增大，雷诺数处在4000以下，冷量可被空气有效传导的服务器表面，从而解决局部的高热密度问题。据经验分析，在12kW/R以上的数据中心中，同样的方案，地板高度处于300mm以下，风速增大的影响超过地板高度减小（当量直径减小）的影响，因此其雷诺数会超过4000，紊流增大到无法满足冷量传导的境况，因此也无法满足高热密度机柜的制冷需求。

在风管式送风系统中，由于其静压箱尺寸远远小于地板下空间静压箱，在大型IDC数据中心中，均流性较差，传递冷空气的效果是远远不如地板下送风方案的。基于上述的分析，风管型送风可解决小的（1-2排，5-10个机柜）、送风距离较近的、10kW/R功率以下的小型高热密度问题。

因此，在超过8kW/Rack发热量（即10kW/R功率）的高热密度方案中，只有摆脱送风紊流的影响，使用行间级空调、机柜级冷却设备或者芯片级冷却模式才能比较有效的解决高热密度需求的冷风量，可靠的解决高热密度问题。

四、数据中心高热密度解决方案

的发展

数据中心高热密度解决方案的发展

目前在CPU、服务器行业发展中，制约其速度的最大因素已经不再是电路的规模，而是其热量无法有效冷却，因此各个精密空调厂商都在不断的向机柜级、芯片级制冷的方向发展，以响应爆炸式增长的芯片散热需求。

其中机柜级制冷、芯片级制冷对整体系统设计要求较高，初投资较大，分散投资性较差，行间级空调部署较为简单，空调系统可自成单元，分散投资性较好，安全性能较高，总投资较小，是目前中小客户的最佳方案。

1、行间级制冷

目前常用的行间空调为标准机柜尺寸或者半机柜尺寸，送风末端放在机柜中间，就近送风，就近从服务器机柜后方吸收热风回到末端的蒸发器换热，空气循环路线非常的短，可有效避免紊流问题。

系统，由主机+末端的组合形式进行二次换热，出风末端贴近服务器机柜送

A、艾默生XD系统

风，可形成较完好的气流场（图14、图15），解决远距离送风的紊流问题。同时采集室内的实施环境温度，计算房间中空气的露点温度，通过控制循环泵压缩的时间来调节主机与末端之间冷媒管道中环保制冷剂R134a的温度，使之高于实时露点温度，从而达到100%显热的效果，实现100%无冷凝水，机房不出现明水，无安全隐患。应用此方案的Emerson全球数据中心荣获美国节能环保最高认证-“LEED金牌认证”。

行间送风方案：：半机柜宽度可实现30kW制冷量

图13 XDH行间送风方案

冷通道送风方案：：可实现20kW制冷量

图14 XDO冷通道送风方案

图15 XDV冷通道送风方案

可实现单机柜

单机柜8kW制冷量

冷通道送风方案：

：可实现

B、艾默生的CRV系统

艾默生针对中小机房开发的高热密度解决方案，单机标准机柜宽度下可实现20-40kW的制冷，安装快速，灵活、方便，扩容不受任何影响，可结合封闭冷通道产品运行，采用可变冷量的数码涡旋压缩机、可插拔式EC风机，实现了依据周边服务器需求变风量、变冷量的精确制冷效

果，是安全与节能的完美组合。

单台20-40kW制冷量

可实现单台

冷通道送风方案：：可实现

图16 CRV冷通道送风方案

C、微软芝加哥数据中心的行间制冷送风系统

全球最大的数据中心-微软芝加哥数据中心采用定制化的集装箱产品，将行间制冷进行了最大化的利用，通过增大风扇功率、末端换热器效率（图17中凸起部分），可满足单机柜50kW以上的制冷量。同时集装箱内空间狭小，不需要额外冷却过多房间内空气，相当于采用了封闭冷通道技术。不足之处在于，其中走的是冷冻水，对于产品及工程要求非常高，否则可能出现漏水危害服务器的风险。

可满足单单机柜50kW制冷量

图17 微软集装箱式行间送风方案

微软集装箱式行间送风方案：：可满足

2、机柜级制冷

机柜级送风系统的优势在于进一步贴近服务器，将换热器末端集成到了机柜上，此系统的设计较为复杂，适合对换热要求及场地有更高要求的场合，如超算中心、集装箱数据中心等。

艾默生的XD系列制冷剂背板XDR方案

A、艾默生的

制冷剂背板通过将50mm厚的微通道（Micro Channel）蒸发器放置于服务器机柜背后，从而利用服务器风扇进行换热，由于换热面积大，可满足服务器机柜的换热需求，实现非常高的节能效果。不配置风扇，加上门框等钣金结构，其总厚度仅仅150mm，可解决20kW的换

热需求，配置风机辅助蒸发换热，可达到40kW/Rack 的换热量。这种

设计的最大优势在于，仅仅利用XD 主机的循环泵（1.8kw ）和服务器

的风扇进行循环换热，功耗非常的低。

B 、 艾默生的艾默生的艾默生的水冷水冷水冷背板背板CoolAdd 方案

艾默生水冷背板方案，通过在服务器机柜背后加装换热器及风机，利用冷冻水直接流过换热器换热，可实现对机柜的就近制冷，换热效果类似于制冷剂背板。

图18 艾默生水冷背板CoolAdd 水冷背板水冷背板机柜级机柜级机柜级制冷制冷制冷方案方案

C 、 艾默生的艾默生的艾默生的水冷水冷水冷机柜机柜CoolThrem 方案 艾默生的水冷机柜荣获德国工业设计“红点”大奖，采用封闭式的机柜内循环系统，将冷冻水蒸发器做入机柜底部，即使漏水也不会淹没上方的服务器，而是通过泄水孔流到地板下方去，这样相较于水冷背板安全性有了极大提高，单柜可放37U 高度的设备，最大制冷量可做到35kW 。上海超算中心就采用了这种方案，运行效果非常良好，节能性能突出。

图18 艾默生水冷艾默生水冷机柜机柜CoolTherm 机柜级机柜级制冷制冷制冷方案方案

3、芯片级制冷

芯片级制冷最大的优势是可以省却对整个房间空气的冷却成本，以及空调换热的辅助风扇功率，甚至服务器的风扇功率，直接和主板、芯片换热，从而减少了经过空气传导换热的带来的巨大能耗。虽然目前并未大规模应用，但随着电子主板、芯片发热量越来越大，这必然是数据中心高密解决方案发展的最佳方案。

A 、 帕尔贴帕尔贴

帕尔贴（（Peltier ）效应的热电制冷 当施加电压时，通过改变N 型和P 型半导体的结构建立固态热传导，将热量从一面传递到另一面，从而在芯片侧营造出冷面，实现热量的转移。

图19 热电制冷效应原理

其主要优势在于体积小，重量轻，工作几乎没有噪音，可靠性高，可用常规电源，可实现点制冷，启动快，但是也有巨大的缺点需要去克服，如造价昂贵，效率低下，仅有20-30%。但是随着高温超导材料的发展，其必然在芯片级制冷中有较好的应用前景。

B 、 芯片级的微热管芯片级的微热管

芯片级的微热管（（Micro heat pipe ）制冷 微热管实际还是采用相变制冷模式，只是将制冷系统集成到很小的管道中实现热量的搬运、转移，从而实现点、面的制冷。

图20 微热管微热管制冷制冷制冷原理原理

其主要优势在于体积小，依靠毛细泵力循环，耗能极小，由于其零热阻特性，可以用很微小的温差将热量传递至很远的距离，由于其微小的尺寸，在蒸发段上的温度很均匀，适用的范围很广泛，缺点是造价高、受重力影响较大，因此在宇航失重领域应用效果甚佳。同样随着真空、重力、常温超导材料的发展，其在芯片级制冷应用前景也非常广泛。

C 、 蒸发器与服务器主板相结合的换热器蒸发器与服务器主板相结合的换热器

通过空调厂家与服务器厂家技术的联合，直接将换热器与服务器主板装在一起，这样低温的制冷剂直接流过芯片表面带走热量，最大化的利用冷源。通过露点控制技术，可有效保证管路中的制冷剂温度高于房间空气中水的露点温度，从而实现100%不产生冷凝水，100%安全。这也是未来芯片级发展的最主流的、最可行的发展方式。

五、结语

随着全球互联网的飞速发展，人们的生活已经越来越离不开网络，数据交换的量每天都在以爆炸式增长，越来越多、越来越大、功能越来越丰富的数据中心正在不断的筹建中，由于高密度数据中心可以节省建筑成本以及建筑热负荷，减少对空气的不必要制冷；同时其设计显热比很高，因此可减少机房的不必要除湿以及相应带来的加湿能耗；并且由于采用了行间级、机柜级、芯片级制冷方案，大大减少了送风系统的能耗；在人员配置上，由于智能化和高度的集中化，维护、监控人员需求量大大下降；在可靠性上，由于使用了高可靠性的原理及部件，平局无故障率大大提升；在功能上，由于刀片服务器虚拟化技术的成熟，一个高功率的刀片服务器可虚拟执行几个甚至几十个传统服务器的任务，云计算和虚拟化得以实现。基于上述原因，高热密度数据中心的PUE 值在显著降低，其必将成为数据中心发展的主流方向。

参考文献

参考文献

[1] 陶文铨 著，《数值传热学》，西安交通大学出版社，2001-01-01，ISBN 978-7-5605-1436-9

[2] 艾默生网络能源有限公司空调技术应用部 著，《高热密度解决方案》；

[3] 【美】 ASHRAE TC9.9 主编，沈添鸿、杨国荣、陈亮、陈巍 翻译，《高密度数据中心案例研究与最佳实践》，原名《High Density Data Center Case Studies and Best Practices》；

[4] 【美】 ASHRAE TC9.9 主编，任兵、杨国荣、陈亮 翻译，《数据通信设施节能最佳实践》，原名《Best Practices for Datacom Facility Energy Efficiency》；

[5] Goff H L，《Ramadance A Modeling the coupled heat and mass transfer in a falling film[J]》， 《Heat Transfer》，1986，24(3)：1971—1976

[6]R. K. 《Sinnott Coulson & Richardson's Chemical Engineering》, Volume 6: Chemical Engineering Design, 4th ed (Butterworth-Heinemann) ISBN 0 7506 6538 6；