技术 \\ 数据中心液冷化改造适用技术探析


来源  | 中国工业和信息化
作者 |  曹曦,福建省通信管理局
原文 | DOI:10.19609/j.cnki.cn10-1299/f.2022.12.002




算力需求推动着数据中心功率密度不断提升,能耗、发热量持续攀升。同时,国家“双碳”战略的实施对于数据中心PUE提出更为严苛的要求,传统风冷方案已难以满足IT设备散热需求,液冷技术的出现为行业带来了革命性、高效解决方案。



液冷技术是指使用液体取代空气作为冷却介质,为服务器发热部件进行散热的技术。液冷技术的高效制冷效果有效提升了服务器的使用效率和稳定性,在单位空间可以集成更多的服务器,提高数据中心运算效率,因减少或取消风扇而兼具降噪、减少故障点的优势,余热利用也可为数据中心创造更多附加价值。




01

液冷是高密度IDC能耗优化的技术趋势


当前,福建省现网数据中心机架规模已近5万个标准机架(2.5kw/机架),平均实测PUE(Power Usage Effectiveness,电能利用效率)为1.69,距离国家提出“2025年新建大型、超大型数据中心PUE要低于1.3”的要求还有一定差距,需要行业通过节能改造、加快市场拓展、升级迭代等多措并举,推动行业绿色低碳化高质量发展。


技术 \\ 数据中心液冷化改造适用技术探析的图1
图1 数据中心能耗分布图


数据中心是众所周知的行业耗能大户,其中散热能耗占比超40%。据赛迪研究院统计,43%的能耗是用于数据中心设备散热,与数据中心设备自身能耗45%基本持平。根据中国信息通信研究院的研究,数据中心电费占数据中心TCO(整体运营支出)的60%~70%。可见,实现更高效的散热,无论是对于数据中心节能降耗、减少TCO,还是推动数据中心朝着大型化、智能化方向发展都具有重大意义。


相比传统风冷技术,液冷的优势体现在三个方面。


一是液冷技术的高效制冷效果(液体带走热量是同体积空气的3000倍,液体导热能力是空气的25倍)有效提升了服务器的使用效率、降低故障率,同时使得数据中心在单位物理空间可以部署更多的服务器,提高数据中心运算效率。


二是液冷技术的应用,替代了传统数据中心的风扇、精密空调等风冷基础设施,相应增加了循环泵及冷却液系统,与传统的空调系统相比噪声更小。


三是液冷技术应用不受海拔、气压等地域影响,可以保持较高的散热效率,保证数据中心在高海拔地区的运行效率和性能,余热还可以满足附近居民的供暖、温水供应等需求,为数据中心创造更多的附加价值。


因此,液冷替代风冷是高密度数据中心演进不可或缺的散热技术方向。




02

数据中心液冷技术


按照冷却液与发热器件的接触方式,行业将液冷技术分为“间接接触型”和“直接接触型”两大类。


间接接触型液冷技术


冷板式液冷是最典型的间接接触型液冷技术。冷板式液冷系统中,服务器芯片等发热器件不直接接触冷却液,而是通过装配在需要冷却的电子元器件上的冷板(通常是铜、铝等高导热金属构成的封闭腔体)将热量间接传导给封闭在循环管路中的冷却液体,通过冷却液体将热量带走的一种散热方式。


冷板式液冷数据中心散热系统架构由室外(一次侧)和室内(二次侧)两部分组成,室外冷却塔中的冷却液通过室内冷却液体流量分配单元(CDU)提供冷却液循环动力,经冷却液体流量分配单元(CDU)二次侧输出并与服务器中CPU、GPU、内存等发热量大的电子元器件导热冷板直接进行热交换,形成的热液经冷却液体流量分配单元(CDU)输出到室外冷却塔进行冷却后再循环。而服务器中的硬盘、电源等其他发热量相对小一些的器件或单元还是得需要通过传统风冷方式散热


直接接触型液冷技术


直接接触型液冷技术是将发热部件直接浸没在不导电的冷却液体中,利用冷却液体蒸发(相变)和液体的循环流动带走热量的一种散热方式。


浸没式液冷是最典型的直接接触型液冷技术,顾名思义就是将服务器浸没在特殊设计(或定制化设计)的箱体TANK中。浸没式液冷由于发热部件与冷却液体直接接触,相比冷板式液冷技术,浸没式液冷散热效率更高,噪音更低(完全没有风扇),更加节能。


而根据冷却液体是否存在相态改变,浸没式液冷还可以进一步分为“浸没式单相液冷”和“浸没式相变液冷”两种。


浸没式单相液冷。在浸没式单相液冷中,冷却液始终保持液体状态,发热部件直接浸没在冷却液中,热量从发热部件直接传导到冷却液中,循环泵将吸收了热量的冷却液(热液)导入热交换单元,在热交换单元中冷却后再循环回到箱体中为发热部件散热,冷却液在循环散热过程中始终维持液态,不发生相变。


浸没式单相液冷技术要求冷却液的沸点较高,以确保冷却液(一般为矿物油、合成油、天然油等氟碳化合物和碳氢化合物)在循环散热过程中始终保持液态,冷却液挥发流失控制相对简单,与IT设备的电气兼容性较好,且不需要频繁补充冷却液,还可以比较方便地卸载或更换服务器组件,提高了系统的可维护性。目前市面上商用的浸没式液冷应用案例大部分是采用浸没式单相液冷系统。


浸没式相变液冷。浸没式相变液冷的冷却液在循环散热过程中,不断经历从液态到气态,再从气态回到液态的相变。IT设备完全浸没在充满低沸点冷却液的密闭箱体中,冷却液受热沸腾变为蒸汽,蒸汽上升遇到机箱上部冷凝器而冷凝变为液体,继续回到箱体内部冷却循环。冷凝器外接冷源进行换热,将热量传递到外界散热并反复循环。通过冷却液在机箱内循环和冷凝器内乙二醇水溶液的外循环(双循环系统)实现高效散热,确保服务器运行稳定。


由于冷却液在循环散热过程中发生了相变,相变液冷传热效率更高,并且无需泵机驱动冷却液体循环,因此浸没式相变液冷相比冷板式液冷和浸没式单相液冷,具有更优的传热效果,可以满足高发热元器件对散热的极端要求,使得服务器可以保持满功率运行,是液冷中最节能、最高效的制冷模式。但是,由于冷却液蒸发为气态过程中会发生蒸汽外溢流失,浸没式相变液冷对于冷却液挥发流失控制更为复杂,所以对服务器箱体的密封性以及箱体的压力有一定的要求,同时还必须考虑相变过程的气压变化,以及系统维护时可能造成维护人员吸入气体的健康风险。另外,冷却液本身易受到污染,需要预处理和污染控制以确保系统的正常运行;浸没式液冷对于服务器板件的维护操作有所改变等。这些都是浸没式相变液冷技术成熟和商用化进程需要面对的挑战。




03

数据中心液冷化改造建设


数据中心液冷化改造适用技术


技术成熟情况。通过近些年的发展,冷板式液冷技术相比浸没式液冷技术更为成熟、生态比较完善。理论上,冷板式液冷技术对现有服务器芯片组件及附属部件改动量较小,液冷化改造可操作性相对较强。对于当前的数据中心整体架构及后续维护及日常使用等影响不大,运维模式、机房承重与传统风冷场景基本一致,可解决数据中心服务器设备80%的散热问题,而对于机柜内的硬盘、电源等其他发热部件依然需要传统风冷方式散热。


浸没式液冷可以获得更优的PUE值,也有企业推出了商用化改造建设解决方案,并落地了一些改造建设案例,但总体上还处于技术成熟和商业化完善阶段。例如,浸没式液冷改造对于服务器有一定的要求,服务器箱体需要定制、冷却液价格相对较高且有一定的挥发性,维护需要专用维护辅助设备(机械吊臂或吊车),大多数浸没式液冷服务器机柜对于机房承重提出更高的要求。


市场商用情况。从市场占有情况分析,目前冷板式液冷数据中心产品市场上占比较高,互联网巨头以及数据中心设备企业多推出了商用化冷板式液冷服务器,但商用化的浸没式液冷服务器很少,阿里巴巴等领先企业多采用企业定制化的浸没式液冷服务器。浸没式液冷是数据中心的跃迁式技术创新,相较于冷板式液冷制冷效率更高,具有高能效、高密度、高可用和高可靠性等特性,随着浸没式液冷技术的逐渐成熟和生态完善,未来浸没式液冷数据中心基础设施将可能会成为主流。


投资回收情况。液冷数据中心初期建设投资高于传统风冷数据中心,根据企业提供的数据,按照机架功率测算,每千瓦造价要高出约20%~40%。初步测算液冷带来的电费节省收益,大约2.5~4年液冷数据中心总体投资与风冷数据中心基本持平。具体投资测算受机架功率密度等配置和现场环境等影响存在差异,液冷机柜功率密度越高,单位造价越低。


表1 数据中心主流散热技术比较

技术 \\ 数据中心液冷化改造适用技术探析的图2
备注:1.因目前暂无国家或行业规范标准,冷板式液冷、浸没式液冷对于机房承重要求来源于数据中心设备企业的建议值;2.由于不同冷却液密度的差异,使得浸没式液冷机柜对于承重要求差别较大,采用密度小的合成烃类冷却液的浸没式液冷机柜对于承重要求≧10KN/m2,而采用密度大的氟化物冷却液的浸没式液冷机柜对于承重要求≧15KN/m2;3. 1Kg=9.8N(牛顿)。


综上所述,理论上,冷板式液冷技术是现网数据中心液冷化改造适用技术,虽然也有企业推出了浸没式单相液冷商用化改造解决方案和落地应用案例。但在具体改造实施上,由于改造必然涉及设备维保服务、量身化定制等技术实现细节,因此还需要结合现场环境及定制化、规模化等投入产出因素综合权衡决策。数据中心设备企业大都建议采用连同服务器和机柜全新替换方式改造建设传统风冷机柜。


数据中心液冷化改造对象


从数据中心类型分析,应用于人工智能、高性能计算(HPC)等高算力需求场景的算力中心或超算中心适合优先采用液冷化技术改造或液冷机柜升级迭代。这是因为算力中心或超算中心主要发热源是承担了大数据量计算或复杂计算的算力型服务器的主芯片(CPU、GPU)和内存,且对于CPU、GPU和内存的性能要求高,功耗和发热量也相对较高,适合部署液冷基础设施实现高效散热以发挥满载性能,同时也有助于进一步提升单机架功率密度实现更高计算性能的输出。


而存储类服务器,通常配置较多硬盘,且对于算力及性能要求一般,配置的CPU一般不需要采用性能和功耗较高的型号,液冷投资收益不高,因此从投资效益的角度,存储型服务器和网络设备建议仍采用传统风冷方式部署。


数据中心液冷化改造建设


以下基于冷板式液冷技术,对数据中心液冷化改造建设做一个初步概述:


数据中心机柜的液冷化改造建设。主要工作量在于对原有机柜及服务器的冷板式改造,改造内容是配电、布放管路、冷却液体流量分配单元CDU等,并同步配套调试漏液监测、堵塞等监控系统。


数据中心机房的液冷化改造建设。数据中心机房液冷化改造的主要工作在于铺设室内外液冷管道、安装冷却液体流量分配单元(CDU)、新建或改造冷却塔等。


数据中心机房的液冷化改造建设。根据初步市场调研情况,超聚变、浪潮、网宿科技等数据中心设备企业都已经推出了商用化改造解决方案,并落地了一些现网数据中心改造建设具体案例。液冷化建设已经为越来越多的数据中心企业所接受,进一步推动液冷化技术成熟和商业生态完善。


END




液冷化

技术 \\ 数据中心液冷化改造适用技术探析的评论0条

    暂无评论

    技术 \\ 数据中心液冷化改造适用技术探析的相关案例教程

    ChatGPT发布之后,引发了全球范围的关注和讨论,国内各大厂商相继宣布GPT模型开发计划。据各公司官网,2023年2月7日,百度宣布将推出ChatGPT类似产品“文心一言”,预计今年3月展开内测;2月8日阿里宣布阿里版ChatGPT正在研发中,目前处于内测阶段;2月9日,字节跳动旗下AI Lab宣布正在开展ChatGPT和AIGC相关研发,未来将为PICO提供技术支持;2月10日,京东旗下言犀人
    00 介绍 2023年被戏称为人工智能的元年,因为它标志着人工智能(AI)的崛起和普及。在这一年里,AI不仅在科技、经济、社会、文化等各个领域取得了突破性的进展,而且在人类的日常生活中扮演了越来越重要的角色。这一年元宇宙、AR/VR、虚拟数字、生成式人工智能等等概念都在逐渐靠近人们的现实生活。 来源:百度 人工智能(Artificial Intelligence),英文缩写为AI。 它是研究、开发
    集群面临问题 经常听到客户反馈,某某分布式多机集群、某某云计算平台,在集群上做计算还不如普通电脑快,高性能计算集群做工程仿真计算效率很低,花了一大笔经费,经过一年多的方案论证、审批通过、采购、交货、使用,但集群性能表现很差 看似高性能集群的计算服务器、存储服务器、管理服务器、infiniband交换机等硬件设备放到机柜上,通过网络交换机全部连接好,系统、软件、开发工具也都安装调试正常了,HPC集群
    时隔两年,Hopper架构登场! 芯东西3月23日凌晨报道,今日,NVIDIA(英伟达)携基于最新Hopper架构的H100 GPU系列新品高调回归! 英伟达创始人兼CEO黄仁勋依然穿着皮衣,不过这次他没有出现在几乎已成GTC大会“标配”的厨房场景中,而是在一个更具科幻感的虚拟空间。 延续以往风格,黄仁勋在主题演讲中继续秒天秒地秒空气,公布多个“全球首款”。这次他带来一系列堪称“地表最强”的AI重
    来源:半导体行业观察 Intel下一代旗舰级CPU Sapphire Rapids将会是Intel在CPU领域的一次重要新产品。该CPU将会使用Intel 7工艺,并且大规模使用了chiplet(芯片粒)技术,从而让单个CPU中可以包含高达60个核心,从而让Intel不至于在高级封装驱动的下一代CPU竞争中落后AMD。 Sapphire Rapids早在几年前就已经宣布要开发,而其正式出货在多次推
    影响力
    粉丝
    内容
    获赞
    收藏
      项目客服
      培训客服
      0 0