AI芯片“功耗悬崖”：大模型催生的冷却技术革命

　AI芯片的功耗和发热量直接影响着企业的成本、风险以及芯片的稳定性和寿命。如果芯片因过热或短路而频繁出现问题，那么AI的训练和推理效果及效率也会受到严重影响。

　　冷却技术革命，显得十分急需。

　　AI芯片的功耗危机

　　统计数据显示，2015年全球数据量约为10EB(艾字节)，预计到2025年将飙升至175ZB(泽字节)，而到2035年，则可能达到惊人的2432ZB。然而，边缘AI的发展面临两大挑战。首先，需要在性能、功耗和成本之间取得平衡。在提升算力的同时，如何在不将功耗和成本推向合理限度的情况下获得最佳效果，尤其是在电池供电的低功耗设备中?其次，构建强大的生态系统至关重要。如同CPU和GPU的发展一样，一个涵盖工具链、语言、兼容性和易开发性的统一生态系统，对于推动AI技术的普及和规模化应用至关重要。

　　ChatGPT 和类似的 AI 机器人用来生成类人对话的大型语言模型 (LLM) 只是众多依赖“并行计算”的新型 AI 应用之一。“并行计算”指的是由芯片网络同时执行多项计算或处理的海量计算工作。

　　人工智能基础设施的核心是GPU(图形处理单元)，它擅长处理人工智能所需的专业高性能并行计算工作。与个人电脑中使用的 CPU(中央处理器)相比，这种强大的处理能力也会导致更高的能量输入，从而产生更多的热量输出。

　　高端GPU 的功率密度约为 CPU 的四倍。这给数据中心规划带来了新的重大问题，因为最初计算的电源现在仅为运行现代 AI 数据中心所需电源的 25%。即使是亚马逊、微软和 Alphabet 用于云计算的尖端超大规模数据中心，也仍然是由 CPU 驱动的。举例来说，Nvidia 目前提供的 A100 AI 芯片每块芯片的恒定功耗约为 400W，而其最新微芯片 H100 的功耗几乎是 A100 的两倍，达到 700W，与微波炉的功耗相似。如果一个拥有平均一百万台服务器的超大规模数据中心用这些类型的 GPU 替换其当前的 CPU 服务器，则所需的功率将增加 4-5 倍(1500MW)，相当于一座核电站!

　　功率密度的提升意味着这些芯片产生的热量也会显著增加。因此，冷却系统也必须更加强大。如此规模的电力和冷却变革将要求未来人工智能驱动的数据中心进行全新的设计。这将导致底层芯片和数据中心基础设施出现巨大的供需失衡。考虑到数据中心建设所需的时间，业内专家预测，我们正处于数据中心十年现代化升级的初期阶段，旨在使其更加智能化。

　　台积电3DVC技术

　　台积电的3DVC(3D Vapor Chamber，三维均热板)技术是一种针对高性能计算(HPC)和AI芯片的先进散热解决方案，旨在解决先进制程(如3nm/2nm)芯片因集成度提升导致的功耗和发热密度激增问题。

　　传统均热板是二维平面结构，而台积电的3DVC通过立体化设计，在芯片封装内部直接集成多层微流体通道，利用 相变传热(液体蒸发-冷凝循环)快速导出热量。

　　三维毛细结构：内部采用多孔金属泡沫或微柱阵列，增强工质(如水/氨)的毛细回流能力。

　　近结散热(Near-Junction Cooling)：直接与芯片的硅中介层(Silicon Interposer)或3D堆叠结构(如SoIC)接触，缩短热传导路径。

　　3D-VC散热器热管属于一维线性的传热器件，常规VC均热板因为存在蒸发段以及冷凝段，根据设计位置的不同，散热路径上会存在多种分布可能，这使得常规VC均热板成为了二维传热器件，但其散热路径依旧局限在同一个平面内。与一维热传导的热管、二维热传导的VC均热板相比，3D-VC散热器的热传导路径是三维的，立体结构的，非平面的。3D-VC散热器利用VC、热管相结合使得内部腔体连通，通过毛细结构实现工质回流，完成导热。连通的内部腔体加上焊接翅片组成了整个散热模组，使得该散热模组实现了水平以及垂直等多维度的散热。

　　热管、VC、3DVC对比图多维度的散热路径使得3D-VC散热器在应对高功耗设备热量的时候可以接触更多的发热源提供更多的散热路径。传统散热模组中热管与VC均温板属于分离式设计，由于热阻值随导热距离的增加而增加，散热效果也就不甚理想。3D-VC散热器通过将热管延伸至VC均热板本体中，VC均温板的真空腔体与热管连通后，内部工质连接，3D-VC 散热器与热源直接接触，垂直的热管设计也提高了传热的速度。

　　3DVC可嵌入台积电的 CoWoS 2.5D/3D封装中，为CPU/GPU/HBM提供一体化散热。台积电在IEEE国际电子器件会议(IEDM)上展示3DVC原型，可将3nm芯片结温降低15°C以上。计划与CoWoS-L封装技术同步应用于AMD、NVIDIA的下一代产品。

　　冷却方案差异

　　液冷是高功率下唯一可行的解决方案。

　　通过一定体积的液体流动传递热量的效率远高于通过相同体积的空气传递热量——水的效率约为空气的3,600倍。这使得通过芯片散热器进行液冷成为一种高效的方法。当芯片面积每平方厘米的散热量超过约50瓦时，通常需要采用液冷。鉴于GB200的面积约为9平方厘米，任何超过450瓦的散热量都表明需要泵送液冷。在“直接芯片”冷却中，液体通过热界面连接到芯片散热器的冷板通道流动。当液体在此过程中不蒸发时，称为“单相”操作，其中介质(通常是水)被泵送通过风扇冷却的热交换器。Flex 旗下公司 JetCool 提供直接芯片液体冷却模块，该模块使用小型流体喷射阵列，精确瞄准处理器上的热点，从而在芯片或设备级别提升高功率电子冷却性能。

　　热量可以转移到第二个液体回路，该回路可以为建筑物提供热水，并可能为当地消费者提供热水。两相操作通过使液体(通常是氟碳化合物)在吸收热量时蒸发，然后在热交换器处重新凝结，从而提供更好的传热效果。这种方法可以显著提升性能。然而，仍然需要系统风扇来冷却其他组件，尽管某些组件(例如DC/DC 转换器)可以使用其自身的基板集成到液体冷却回路中。这符合“垂直供电”的概念，其中 DC/DC 转换器直接位于处理器下方，以最大限度地减少压降。直接芯片方法的实际限制是芯片与冷却板之间界面的热阻。精确的表面平整度和高性能焊膏是必要的，但在数千瓦级功率下，温差仍然是一个问题。

　　这一限制似乎即将限制散热，进而影响性能。可以考虑采用浸入式冷却技术。将整个服务器置于一个开放式的介电流体槽中，介电流体通过储液器绕环路泵送至热交换器。同样，为了获得最佳性能，可以采用两相运行。

　　除了浸入式冷却技术，IBM使用的是嵌入式微通道相变冷却技术。IBM 将介电液直接泵入任意级别芯片堆叠的约 100μm 的微观间隙中，通过介电液从液相沸腾到气相来带走芯片的热量。他们对用此改造后的 IBM Power 7+ 芯片进行测试，结果表明结温降低了 25℃。

　　为了实现嵌入式冷却，IBM 拆掉了处理器的封装盖子以暴露出裸片，对裸片进行了深度反应离子蚀刻(DRIE)，在其背面构建了 120μm 深的冷却通道结构，并将一个玻璃片粘合到被蚀刻的芯片上以形成微通道的顶壁，用粘合剂将冷却剂入口、出口黄铜歧管粘合到玻璃歧管芯片和有机基材上。冷却剂进入模块并通过 24 个入口，在相应的 24 个径向扩展通道中分配流量。

　　英伟达：硬件级冷却集成(NVLinkC2C技术)

　　Blackwell的发布，标志着AI硬件领域迈入了一个新纪元，其强大性能将为AI公司提供前所未有的计算支持，助力训练出更复杂、更精准的模型，基于 Blackwell 的 AI 算力将以名为 DGX GB200 的完整服务器形态提供给用户，结合了 36 颗 NVIDIA Grace CPU 和 72 块 Blackwell GPU，而这些超级芯片通过第五代 NVLink 连接成一台超级计算机提高整体计算性能。为了更好地支持GB200超级芯片的应用，英伟达推出了全新的计算集群DGX GB200 SuperPod，这一超级计算集群采用了新型高效液冷机架规模架构，能够在FP4精度下提供惊人的算力和内存容量。通过DGX GB200 SuperPod，英伟达将为各行各业提供强大的AI计算能力，助力AI工业革命的发展，再次展现了其在AI领域的领先地位和创新能力。

　　具体来讲，NVLINK 是一种专门设计用于连接 NVIDIA GPU 的高速互联技术。它允许 GPU 之间以点对点方式进行通信，绕过传统的PCIe总线，实现了更高的带宽和更低的延迟。NVLINK 可用于连接两个或多个 GPU，以实现高速的数据传输和共享，为多 GPU 系统提供更高的性能和效率。

　　例如，GB200 NVL72有 18 个 1U 服务器，其提供的 FP8 性能为 720 petaflops，FP4 计算性能为 1440 petaflops，可处理多达 27 万亿个 AI LLM 参数模型。每台服务器里带有两个 GB200 Grace Blackwell Superchip，这些计算节点带有 1.7TB 的 HBM3E 内存、32TB/s 的内存带宽，为应对功耗过于强大问题，NVIDIA选择全部采用液冷 MGX 封装，采取液冷机架级解决方案。