向液冷技术的演进
1.1风冷vs.液冷
过去，数据中心一直依赖风冷来控制设施内的温度。在风冷系统中，机房内的空调、冷水机组和风扇被用来为IT设备降温。
风冷面临的一个巨大挑战是，其风扇（服务器风扇和冷水机风扇）、设施制冷设备以及其他非IT负载会消耗大量电力。
根据SemiAnalysis的数据，在微软最大的基于H100的训练集群中，所有这些非IT负载为传输到芯片的每一瓦特电力额外增加了约45%的能耗，导致该集群的PUE（电能利用效率，即数据中心总能耗与IT设备能耗之比）高达1.223。
需要注意的是，PUE的计算将占据服务器能耗15%以上的风扇能耗算作了“IT设备能耗”，这在测量上已经给了风冷系统一定的优势。
然而，风冷面临的更严重问题在于其应对AI机柜不断增长的功率密度时固有的局限性。
风冷在机柜功率密度低于25kW时仍然有效，但一旦超过这个阈值，它就很难将服务器和GPU的温度维持在最佳范围内（服务器为18–27°C，GPU低于60°C）。
如今的AI数据中心中，GPU机柜的功率密度轻松超过25kW。
随着行业系统演进，机柜功率密度将变得更高，风冷将无法再为服务器和芯片维持良好的散热环境。因此，液冷已成为支撑AI数据中心规模化扩展的必然趋势。
相比风冷，液冷具有以下优势：
更高的效率：水（或其他冷却液）的热导率和比热容远高于空气，使其能在更短时间内吸收并带走更多热量。
降低能耗：液冷减少了对大规模气流（及大型风扇）和其他高耗能设施制冷设备的需求，提高了系统的整体能效。以上文为例，微软的风冷系统在芯片每消耗1瓦电力时需要额外45%的非IT能耗，而谷歌的液冷数据中心在运行时的非IT负载比例则低得多，仅约为15%。
节省空间：液冷允许更紧凑的服务器和机柜配置；根据施耐德的一项研究，与风冷相比，液冷可节省10-14%的空间。
延长设备寿命：液冷有助于为IT设备维持更恒定的温度环境，从而提升硬件性能并延长使用寿命。LiquidStack的一项研究表明，风冷设备的典型寿命约为8年，而液冷可将设备的运行寿命延长至20-30年。
1.2液对气vs.液对液
在液冷发展的早期阶段，大多数数据中心采用液对气（Liquid-to-Air,L2A）模式，即液体吸收IT设备（GPU、CPU等）的热量后，通过散热器或热交换器将热量散发到空气中。L2A的优势在于它更容易、也更快速地实施。
然而，其局限性在于其能处理的功率密度有限，因为空气的热容量和热导率较低。
目前，单台L2A设备的散热能力约为70-100kW，足以应对单机柜约70kW的热耗，但在应对单机柜100kW热耗以上时就显得力不从心。
因此，L2A主要用于规模有限的较小数据中心。
相比之下，液对液（Liquid-to-Liquid,L2L）模式是让液体吸收IT设备的热量，然后流经位于冷却分配单元（CDU）内的液对液热交换器，由二次侧循环液体将热量带走。
随着AI数据中心向更高密度的负载发展，L2L显然是更好的方式。它能处理功率高得多的系统，并提供更高的冷却效率。
在规模化部署时，L2L甚至比L2A更经济：一台典型的L2L CDU容量是L2A CDU的8-10倍，但成本却不到其两倍。
1.3冷板式液冷(DTC)vs.浸没式液冷
液冷也可以分为冷板式液冷（直接接触芯片，Direct-to-Chip,简称DTC）和浸没式液冷（Immersion cooling）。
冷板式液冷(DTC)主要利用冷板与计算芯片进行直接的金属对金属接触，让冷却液在管路中流动以吸收芯片热量。
受热后的冷却液流经分液排（Manifolds）进入CDU，在CDU中与二次侧冷却液进行第二轮热交换。冷却后的初级冷却液再由CDU泵送回服务器端的冷板中。
对于非计算芯片，如稳压模块、内存、存储控制器及其他板载电子元件，则依然依靠风冷来保持安全温度。
总体而言，计算芯片产生了服务器总热量的80%以上，因此大部分热量通过液冷循环散发，剩余不到20%的热量仍由风冷处理。
冷却液：DTC中常用的冷却液包括去离子水、纯水和P25（25%乙二醇+75%水）。这些冷却液都是不导电的，有助于降低泄漏导致服务器主板短路的风险。
总体而言，DTC系统的核心组件包括：CDU，分液排(Manifolds)，冷板。
与浸没式液冷相比，DTC具有几个主要优势：
兼容性：DTC对现有数据中心基础设施的改造要求较少，适应性更强，建设难度较低。
成本：根据Tegus专家见解以及笔者的产业链调研，DTC系统的建设成本约为300-500美元/kW，而浸没式系统则需要1000美元/kW以上。
DTC的冷却液成本也更低：冷板冷却液的价格在每升1.5至3.0美元之间，而最便宜的浸没式冷却液（合成油）每升也需要10-13美元。浸没式系统还需要更大量的冷却液。例如，130kW的浸没式机组需要约1000升冷却液，而DTC系统只需约600升——当从单相冷却过渡到两相冷却时，这种体积差距会变得更大。
维护：DTC系统的运营和维护比浸没式更简单、更便宜。
然而，DTC也存在一些缺点：
漏液风险：DTC系统中的冷却液泄漏可能导致芯片板短路（尽管大多数DTC冷却液本身不导电，但服务器上的沉积物和残留物可能会改变其绝缘性质），造成昂贵的损失；相比之下，浸没式系统的主板从一开始就是完全浸泡在冷却液中的。
冗余度有限：由于服务器上的空间限制，DTC系统很难建立冗余；通常，一块小冷板只对应一块计算芯片（CPU/GPU），没有太多空间容纳额外的冷板——因此，如果一块冷板发生故障，对应的芯片可能会过热，从而可能严重影响系统性能。
浸没式液冷是将电子元件直接浸泡在冷却槽内的冷却液（电介质）中。当元件发热时，冷却液吸收热量并上升到槽顶。受热的液体被泵出，通过管道进入CDU，在那里进行液对液的热交换（类似于DTC过程）。冷却后的液体再返回槽内，继续循环吸热。
总体来说，浸没式的核心组件是：CDU，分液排，液冷槽（装载冷却液）。
根据能量守恒定律，冷却液吸收了IT设备产生的所有热量——因此，不需要额外的风冷设备和极其耗电的服务器风扇。
冷却液：氟化液（Fluorinert）因其极高的热导率而成为浸没式的首选冷却液。
但它价格极其昂贵（每升100美元以上），而浸没式合成油约为10-13美元/升，DTC冷却液仅为1.5-3.0美元/升。3M公司在氟化液市场占据主导地位，拥有90%以上的市场份额，不过像巨化股份等企业也提供质量相对低一些的产品。
合成油的价格确实比氟化液亲民，但其缺点是粘度通常较高（影响循环），比热容较低（即升温所需的热量较少），导致其传热效率较低。因此，合成油更适用于低功率密度的场景。
与DTC相比，浸没式的优势包括：
节能：由于所有能量转移都在槽内和系统内完成，浸没式去除了依然暴露在空气中、且需要风扇散热的DTC部件，因此PUE表现更优；这使得浸没式成为追求极致能效的数据中心的理想选择。
降低局部过热风险：由于所有电子元件都浸没在同一个冷却槽中，浸没式能维持各元件间更均匀的温度，降低局部过热或出现意外热点的几率。
低噪音：因为系统中没有风扇。
然而，浸没式也有其缺点和局限性，阻碍了其大规模普及：
冷却能力较弱（针对单相浸没式）：浸没式使用的冷却液（尤其是合成油）的热导率通常较低（0.1-0.2 W/m•K），而DTC冷却液约为0.6 W/m•K。这意味着前者的传热速度更慢。DTC具备更具针对性的冷却机制（冷板直接贴合计算芯片），有助于将制冷能力集中在核心发热部件上，而浸没式则采用被动地将整个主板浸泡在槽中的方法。
机柜级架构变更：浸没式需要水平方向的机架设计，而目前大多数数据中心是垂直设计的；因此，其实施需要对数据中心进行重新架构。相反，DTC不需要进行这种大规模修改。
保修问题：现有的服务器保修通常针对当前数据中心环境出具，一旦硬件浸入液体槽中，保修通常会失效。
环保法规：浸没式中使用的氟化物质可能会面临日益严格的监管。
1.4单相vs.两相(相变)
简而言之，单相液冷意味着冷却液在整个冷却过程中始终保持液态。
相比之下，两相（相变）液冷是指冷却液在吸收热量时蒸发成气体，然后移动到CDU的冷凝器中，在那里重新凝结成液体，并返回槽内进行下一轮循环。
由于相变过程涉及潜热（在沸点保持恒温的同时吸收大量热量），两相液冷提供了极高的传热能力和效率，更稳定的热运行环境，并允许更小的系统尺寸（需要更少的冷却液）。
然而，两相液冷也面临重大挑战。
首先，其设计更加复杂，需要使用在特定温度下沸腾的特种冷却液，导致系统建设成本高昂。
其次，技术人员需要专门的培训和设备来维护两相系统，导致运营支出更高。
最后，汽化的冷却液可能对环境和人体健康构成风险，导致对两相系统实施更严格的环保法规。
1.5混合搭配：2 X 2矩阵
到目前为止，我们探讨了液冷的两种主要分类方法：DTC vs.浸没式，以及单相vs.两相。这两个分类轴是独立的，因此我们可以将它们组合成四个不同的子类别：
单相冷板式(Single-Phase DTC)：这是目前最常见、最容易实施的液冷方式。由于二次侧循环（靠近服务器的冷却循环）采用了高效的金属直接接触，它比单相浸没式具有更高的传热效率。单相DTC系统目前可处理高达180 W/cm²的热密度，足以满足当今大多数AI系统的需求。
单相浸没式(Single-phase Immersion)：该方法的主要缺点是散热相对缓慢。在没有两相液冷那样的汽化过程的情况下，它依赖于更被动的热传递。它还伴随着前面讨论过的浸没式液冷的其他缺点（机架设计、保修和环境问题）。因此，这种方法的采用率有限。
两相冷板式(Two-Phase DTC)：该方法结合了DTC的优势（易于实施）和两相技术的优势（卓越的冷却能力）。
两相浸没式(Two-phase Immersion)：这种方法提供了最高的冷却潜力，但也是最难、最昂贵的实施方案。当机柜级功率密度达到兆瓦（MW）级别（目前的NVL72机柜仅在100kW级别）时，它可能成为唯一可行的解决方案。
第二部分：液冷系统关键组件
2.1冷板(Cold Plates)
冷板是DTC液冷的核心组件。它们是引导冷却液吸收计算芯片热量的金属结构。通常，冷板作为服务器的一部分出售，否则客户需要在设备送达后拆卸服务器来安装冷板，这不仅在经济上效率低下、缺乏可行性，而且很可能导致服务器供应商的保修失效。
两相DTC中使用的冷板比单相DTC的更为复杂。它们需要强大的控制能力，以确保液态冷却液流入和相变过程中气态冷却液流出时热量均匀散发。不同冷板设计之间的温度控制差异可达10-20°C。
冷板制造的技术难度并不算极高。关键在于确保冷却液流动顺畅无堵塞，并防止泄漏，这主要是一个工程问题。由于冷板的管道/微通道可能只有几毫米宽，哪怕是一点点灰尘颗粒也会造成堵塞。一旦发生堵塞，管道内压力就会升高，如果密封不到位，就可能导致冷却液泄漏。
2.2分液排(Manifolds)
分液排（冷却液分配管路）是管道组件，负责在多个冷却回路、冷板或机架之间分配和收集冷却液。它们将来自CDU的流入（供应）液体流分成多条较小的冷却管路，或将多条回流管路合并成一条返回CDU的主回流管路。
2.3快插接头(Quick Disconnects)
快插接头是集成在分液排中的流体连接器，允许快速、无需工具地连接和断开冷却管路。它们在分液排的物料清单中占很大比重。目前市面上主要有两种尺寸：1英寸和2英寸。1英寸版本的流速接近200 LPM（升/分钟），是首选型号；但在过去半年中，2英寸版本遇到了供应链瓶颈，因此目前的出货量大部分仍是1英寸型号。
2.4冷却分配单元(CDU)
CDU是负责处理服务器机架冷却液循环和管理的核心设备。它负责控制压力、温度、流速以及冷却液的过滤。大多数CDU包含水泵、热交换器、阀门、MCU和水质控制系统。
类型：CDU有两种主流配置。机柜级CDU是独立的单元，通常以机架安装的形式直接集成到服务器机柜中，提供局部制冷管理。相反，列间式CDU安置在机柜之间或旁边，通常负责管理多个机柜。
当列间式CDU连接到其规格允许的最大机柜数量时，其成本效益通常更高，且比那些安装在机柜内部、难以拆卸的机柜级CDU更容易维护。然而，大多数服务器代工厂/品牌商倾向于主推机柜级解决方案，因为这能提升他们供应的整机柜的整体价值，并使他们能够控制价值链的更多环节。