AI芯片“功耗悬崖”:大模型催生的冷却技术革命
2025/5/7 16:45:58 标签:中国传动网
AI芯片的功耗和发热量直接影响着企业的成本、风险以及芯片的稳定性和寿命。如果芯片因过热或短路而频繁出现问题,那么AI的训练和推理效果及效率也会受到严重影响。
冷却技术革命,显得十分急需。
AI芯片的功耗危机
统计数据显示,2015年全球数据量约为10EB(艾字节),预计到2025年将飙升至175ZB(泽字节),而到2035年,则可能达到惊人的2432ZB。然而,边缘AI的发展面临两大挑战。首先,需要在性能、功耗和成本之间取得平衡。在提升算力的同时,如何在不将功耗和成本推向合理限度的情况下获得最佳效果,尤其是在电池供电的低功耗设备中?其次,构建强大的生态系统至关重要。如同CPU和GPU的发展一样,一个涵盖工具链、语言、兼容性和易开发性的统一生态系统,对于推动AI技术的普及和规模化应用至关重要。
ChatGPT 和类似的 AI 机器人用来生成类人对话的大型语言模型 (LLM) 只是众多依赖“并行计算”的新型 AI 应用之一。“并行计算”指的是由芯片网络同时执行多项计算或处理的海量计算工作。
人工智能基础设施的核心是GPU(图形处理单元),它擅长处理人工智能所需的专业高性能并行计算工作。与个人电脑中使用的 CPU(中央处理器)相比,这种强大的处理能力也会导致更高的能量输入,从而产生更多的热量输出。
高端GPU 的功率密度约为 CPU 的四倍。这给数据中心规划带来了新的重大问题,因为最初计算的电源现在仅为运行现代 AI 数据中心所需电源的 25%。即使是亚马逊、微软和 Alphabet 用于云计算的尖端超大规模数据中心,也仍然是由 CPU 驱动的。举例来说,Nvidia 目前提供的 A100 AI 芯片每块芯片的恒定功耗约为 400W,而其最新微芯片 H100 的功耗几乎是 A100 的两倍,达到 700W,与微波炉的功耗相似。如果一个拥有平均一百万台服务器的超大规模数据中心用这些类型的 GPU 替换其当前的 CPU 服务器,则所需的功率将增加 4-5 倍(1500MW),相当于一座核电站!
功率密度的提升意味着这些芯片产生的热量也会显著增加。因此,冷却系统也必须更加强大。如此规模的电力和冷却变革将要求未来人工智能驱动的数据中心进行全新的设计。这将导致底层芯片和数据中心基础设施出现巨大的供需失衡。考虑到数据中心建设所需的时间,业内专家预测,我们正处于数据中心十年现代化升级的初期阶段,旨在使其更加智能化。
台积电3DVC技术
台积电的3DVC(3D Vapor Chamber,三维均热板)技术是一种针对高性能计算(HPC)和AI芯片的先进散热解决方案,旨在解决先进制程(如3nm/2nm)芯片因集成度提升导致的功耗和发热密度激增问题。
传统均热板是二维平面结构,而台积电的3DVC通过立体化设计,在芯片封装内部直接集成多层微流体通道,利用 相变传热(液体蒸发-冷凝循环)快速导出热量。
三维毛细结构:内部采用多孔金属泡沫或微柱阵列,增强工质(如水/氨)的毛细回流能力。
近结散热(Near-Junction Cooling):直接与芯片的硅中介层(Silicon Interposer)或3D堆叠结构(如SoIC)接触,缩短热传导路径。
3D-VC散热器热管属于一维线性的传热器件,常规VC均热板因为存在蒸发段以及冷凝段,根据设计位置的不同,散热路径上会存在多种分布可能,这使得常规VC均热板成为了二维传热器件,但其散热路径依旧局限在同一个平面内。与一维热传导的热管、二维热传导的VC均热板相比,3D-VC散热器的热传导路径是三维的,立体结构的,非平面的。3D-VC散热器利用VC、热管相结合使得内部腔体连通,通过毛细结构实现工质回流,完成导热。连通的内部腔体加上焊接翅片组成了整个散热模组,使得该散热模组实现了水平以及垂直等多维度的散热。
热管、VC、3DVC对比图多维度的散热路径使得3D-VC散热器在应对高功耗设备热量的时候可以接触更多的发热源提供更多的散热路径。传统散热模组中热管与VC均温板属于分离式设计,由于热阻值随导热距离的增加而增加,散热效果也就不甚理想。3D-VC散热器通过将热管延伸至VC均热板本体中,VC均温板的真空腔体与热管连通后,内部工质连接,3D-VC 散热器与热源直接接触,垂直的热管设计也提高了传热的速度。
3DVC可嵌入台积电的 CoWoS 2.5D/3D封装中,为CPU/GPU/HBM提供一体化散热。台积电在IEEE国际电子器件会议(IEDM)上展示3DVC原型,可将3nm芯片结温降低15°C以上。计划与CoWoS-L封装技术同步应用于AMD、NVIDIA的下一代产品。
冷却方案差异
液冷是高功率下唯一可行的解决方案。
通过一定体积的液体流动传递热量的效率远高于通过相同体积的空气传递热量——水的效率约为空气的3,600倍。这使得通过芯片散热器进行液冷成为一种高效的方法。当芯片面积每平方厘米的散热量超过约50瓦时,通常需要采用液冷。鉴于GB200的面积约为9平方厘米,任何超过450瓦的散热量都表明需要泵送液冷。在“直接芯片”冷却中,液体通过热界面连接到芯片散热器的冷板通道流动。当液体在此过程中不蒸发时,称为“单相”操作,其中介质(通常是水)被泵送通过风扇冷却的热交换器。Flex 旗下公司 JetCool 提供直接芯片液体冷却模块,该模块使用小型流体喷射阵列,精确瞄准处理器上的热点,从而在芯片或设备级别提升高功率电子冷却性能。
热量可以转移到第二个液体回路,该回路可以为建筑物提供热水,并可能为当地消费者提供热水。两相操作通过使液体(通常是氟碳化合物)在吸收热量时蒸发,然后在热交换器处重新凝结,从而提供更好的传热效果。这种方法可以显著提升性能。然而,仍然需要系统风扇来冷却其他组件,尽管某些组件(例如DC/DC 转换器)可以使用其自身的基板集成到液体冷却回路中。这符合“垂直供电”的概念,其中 DC/DC 转换器直接位于处理器下方,以最大限度地减少压降。直接芯片方法的实际限制是芯片与冷却板之间界面的热阻。精确的表面平整度和高性能焊膏是必要的,但在数千瓦级功率下,温差仍然是一个问题。
这一限制似乎即将限制散热,进而影响性能。可以考虑采用浸入式冷却技术。将整个服务器置于一个开放式的介电流体槽中,介电流体通过储液器绕环路泵送至热交换器。同样,为了获得最佳性能,可以采用两相运行。
除了浸入式冷却技术,IBM使用的是嵌入式微通道相变冷却技术。IBM 将介电液直接泵入任意级别芯片堆叠的约 100μm 的微观间隙中,通过介电液从液相沸腾到气相来带走芯片的热量。他们对用此改造后的 IBM Power 7+ 芯片进行测试,结果表明结温降低了 25℃。
为了实现嵌入式冷却,IBM 拆掉了处理器的封装盖子以暴露出裸片,对裸片进行了深度反应离子蚀刻(DRIE),在其背面构建了 120μm 深的冷却通道结构,并将一个玻璃片粘合到被蚀刻的芯片上以形成微通道的顶壁,用粘合剂将冷却剂入口、出口黄铜歧管粘合到玻璃歧管芯片和有机基材上。冷却剂进入模块并通过 24 个入口,在相应的 24 个径向扩展通道中分配流量。
英伟达:硬件级冷却集成(NVLinkC2C技术)
Blackwell的发布,标志着AI硬件领域迈入了一个新纪元,其强大性能将为AI公司提供前所未有的计算支持,助力训练出更复杂、更精准的模型,基于 Blackwell 的 AI 算力将以名为 DGX GB200 的完整服务器形态提供给用户,结合了 36 颗 NVIDIA Grace CPU 和 72 块 Blackwell GPU,而这些超级芯片通过第五代 NVLink 连接成一台超级计算机提高整体计算性能。为了更好地支持GB200超级芯片的应用,英伟达推出了全新的计算集群DGX GB200 SuperPod,这一超级计算集群采用了新型高效液冷机架规模架构,能够在FP4精度下提供惊人的算力和内存容量。通过DGX GB200 SuperPod,英伟达将为各行各业提供强大的AI计算能力,助力AI工业革命的发展,再次展现了其在AI领域的领先地位和创新能力。
具体来讲,NVLINK 是一种专门设计用于连接 NVIDIA GPU 的高速互联技术。它允许 GPU 之间以点对点方式进行通信,绕过传统的PCIe总线,实现了更高的带宽和更低的延迟。NVLINK 可用于连接两个或多个 GPU,以实现高速的数据传输和共享,为多 GPU 系统提供更高的性能和效率。
例如,GB200 NVL72有 18 个 1U 服务器,其提供的 FP8 性能为 720 petaflops,FP4 计算性能为 1440 petaflops,可处理多达 27 万亿个 AI LLM 参数模型。每台服务器里带有两个 GB200 Grace Blackwell Superchip,这些计算节点带有 1.7TB 的 HBM3E 内存、32TB/s 的内存带宽,为应对功耗过于强大问题,NVIDIA选择全部采用液冷 MGX 封装,采取液冷机架级解决方案。
供稿:电子技术应用
本文链接:http://www.cmcia.cn/content.aspx?url=rew&id=6402
相关新闻
- 2025-06-20中国移动发布全国产化卫星通信芯片
- 2025-06-19特斯拉Grok AI即将上线,重新定义人车关系
- 2025-06-18苹果AI眼镜将采用模块化设计
- 2025-06-18当AI加速落地,这企业级SSD新品不容错过
- 2025-06-18AMD联手多家AI初创公司改进芯片及软件设计
- 2025-06-17英伟达宣布扩大欧洲AI算力布局
- 2025-06-16又一家传感器、AI芯片企业完成数千万元A轮融资

成员中心
- 上海会通自动化科技发展有限公
- 中达电通股份有限公司
- 长春禹衡光学有限公司
- 睿工业
- 广东美的智能科技有限公司
- 高创传动科技开发(深圳)有限
- 南京埃斯顿自动化股份有限公司
- 哈尔滨工业大学
- 深圳市机械行业协会
- 广东省自动化学会
- 广东省机械工程学会
- 华南智能机器人创新研究院
- 深圳市机器人协会
- 富士康科技集团
- 深圳众为兴技术股份有限公司
- 南京诚达运动控制系统有限公司
- 常州精纳电机有限公司
- 杭州之山智控技术有限公司
- 杭州中达电机有限公司
- 杭州日鼎控制技术有限公司
- 杭州米格电机有限公司
- 上海新时达电气股份有限公司
- 上海登奇机电技术有限公司
- 上海三竹机电设备有限公司
- 深圳市艾而特工业自动化设备有
- 深圳市亿维自动化技术有限公司
- 湖南科力尔电机股份有限公司
- 深圳市四方电气技术有限公司
- 武汉迈信电气技术有限公司
- 广东省珠峰电气股份有限公司
- 清能德创电气技术(北京)有限公
- 毕孚自动化设备贸易(上海)有
- 富士电机(中国)有限公司
- 松下电器机电(上海)有限公司
- 路斯特运动控制技术(上海)有
- 西门子(中国)有限公司
- ABB(中国)有限公司
- 施耐德电气(中国)投资有限公
- 丹佛斯(中国)投资有限公司
- 三菱电机自动化(上海)有限公
- 安川電機(中国)有限公司
- 欧姆龙自动化(中国)有限公司
- 山洋电气(上海)贸易有限公司
- 柯马(上海)工程有限公司
- 康耐视
- 埃莫运动控制技术(上海)有限
- 上海安浦鸣志自动化设备有限公
- 诺德(中国)传动设备有限公司
- 利莱森玛电机科技(福州)有限
- 易格斯(上海)拖链系统有限公
- ACS Motion Control(弘柏商贸(
- 苏州钧和伺服科技有限公司
- 北京研华兴业电子科技有限公司
- 台安科技(无锡)有限公司
- 海顿直线电机(常州)有限公司
- 杭州摩恩电机有限公司
- 梅勒电气(武汉)有限公司
- 亚德诺半导体技术有限公司
- 上海挚驱电气有限公司
- 上海鸿康电器有限公司
- 上海开通数控有限公司
- 上海翡叶动力科技有限公司
- 上海维宏电子科技股份有限公司
- 上海弈猫科技有限公司
- 和椿自动化(上海)有限公司
- 光洋电子(无锡)有限公司
- 图尔克(天津)传感器有限公司
- 堡盟电子(上海)有限公司
- 广东西克智能科技有限公司
- 约翰内斯·海德汉博士(中国)
- 宜科(天津)电子有限公司
- 美国邦纳工程国际有限公司
- 库伯勒(北京)自动化设备贸易
- 奥托尼克斯电子(嘉兴)有限公
- 皮尔磁工业自动化(上海)有限
- 易盼软件(上海)有限公司
- 深圳市凯德电线电缆有限公司
- 恒科鑫(深圳)智能科技有限公
- 深圳市英威腾电气股份有限公司
- 深圳威科达科技有限公司
- 深圳市微秒控制技术有限公司
- 深圳易能电气技术股份有限公司
- 深圳市正运动技术有限公司
- 深圳市合信自动化技术有限公司
- 深圳市吉恒达科技有限公司
- 深圳锐特机电有限公司
- 深圳市顾美科技有限公司
- 深圳安纳赫科技有限公司
- 深圳市金宝佳电气有限公司
- 深圳市泰格运控科技有限公司
- 深圳市麦格米特驱动技术有限公
- 深圳市汇川技术股份有限公司
- 深圳市库马克新技术股份有限公
- 深圳市蓝海华腾技术股份有限公
- 深圳市正弦电气股份有限公司
- 深圳市艾威图技术有限公司
- 无锡信捷电气股份有限公司
- 台州市格特电机有限公司
- 天津龙创恒盛实业有限公司
- 武汉华中数控股份有限公司
- 四川零点自动化系统有限公司
- 庸博(厦门)电气技术有限公司
- 北京凯恩帝数控技术有限责任公
- 北京配天技术有限公司
- 欧瑞传动电气股份有限公司
- 航天科技集团公司第九研究院
- 西安微电机研究所
- 兰州电机股份有限公司
- 太仓摩力伺服技术有限公司
- 泰志达(苏州)自控科技有限公
- 无锡创正科技有限公司
- 宁波菲仕电机技术有限公司
- 杭州中科赛思伺服电机有限公司
- 世协电机股份有限公司
- 太仓摩讯伺服电机有限公司
- 浙江禾川科技股份有限公司
- 腾禾精密电机(昆山)有限公司
- 杭州纳智电机有限公司
- 杭州德力西集团有限公司
- 嘉兴德欧电气技术有限公司
- 卧龙电气集团股份有限公司
- 宁波海天驱动有限公司
- 德恩科电机(太仓)有限公司
- 常州展帆电机科技有限公司
- 固高科技(深圳)有限公司
- 广东科动电气技术有限公司
- 深圳市百盛传动有限公司
- 广州赛孚德电气有限公司
- 广州金升阳科技有限公司
- 广东伊莱斯电机有限公司
- 珠海市台金科技有限公司
- 东莞市卓蓝自动化设备有限公司
- 东莞新友智能科技有限公司
- 成都思迪机电技术研究所
- 深圳市英威腾智能控制有限公司
- 深圳锦凌电子股份有限公司
- 深圳市雷赛智能控制股份有限公
- 深圳市雷赛控制技术有限公司
- 横川机器人(深圳)有限公司
- 武汉久同智能科技有限公司
- 深圳市默贝克驱动技术有限公司
- 深圳众城卓越科技有限公司
- 泉州市桑川电气设备有限公司
- 江苏本川智能电路科技股份有限
- 台州市金维达电机有限公司
- 深圳市多维精密机电有限公司
- 上海尚通电子有限公司
- 配天机器人技术有限公司
- 瑞普安华高(无锡)电子科技有
- 深圳市青蓝自动化科技有限公司
- 广东科伺智能股份科技有限公司
- 东莞市成佳电线电缆有限公司
- 深圳市朗宇芯科技有限公司
- 深圳软赢科技有限公司
- 常州市领华科技自动化有限公司
- 杭州众川电机有限公司
- 江苏智马科技有限公司
- 海禾动力科技(天津)有限公司
- 杭州赛亚传动设备有限公司
- 广州富烨自动化科技有限公司
- 日立产机系统(中国)有限公司
- 魏德米勒电联接(上海)有限公
- 东莞市安扬实业有限公司
- CC-Link协会
- 北京精准博达科技有限公司
- 深圳市山龙智控有限公司
- 苏州伟创电气设备技术有限公司
- 上海相石智能科技有限公司
- 上海米菱电子有限公司
- 深圳市智创电机有限公司
- 深圳市杰美康机电有限公司
- 东莞市亚当电子科技有限公司
- 武汉正源高理光学有限公司
- 珠海凯邦电机制造有限公司
- 上海精浦机电有限公司
- 江苏略盛电子科技有限公司
- 深圳市研控自动化科技有限公司
- 上海微泓自动化设备有限公司
- 宁波中大力德智能传动股份有限
- 成都超德创机电设备有限公司
- 深圳市合发齿轮机械有限公司
- 温州汉桥科技有限公司
- 浙江工商职业技术学院智能制造
- 广东派莱特智能系统有限公司
- 上海英威腾工业技术有限公司
- 宁波中控微电子有限公司
- 普爱纳米位移技术(上海)有限
- 赣州诚正电机有限公司
- 三木普利(天津)有限公司上海
- 无锡新华光精机科技有限公司
- 广东宏博电子机械有限公司
- 纽泰克斯电线(潍坊)有限公司
- 杭州微光电子股份有限公司
- 北京和利时电机技术有限公司
- 广东七科电机科技有限公司
- 艾罗德克运动控制技术(上海)
- 大连普传科技股份有限公司
- 托菲传感技术(上海)股份有限
- 杭州中科伺尔沃电机技术有限公
- 苏州轻工电机厂有限公司
- 国讯芯微(苏州)科技有限公司
- 锋桦传动设备(上海)有限公司
- 科比传动技术(上海)有限公司
- 泰科电子(上海)有限公司
- 广东速美达自动化股份有限公司
- 安徽谨铭连接系统有限公司
- 沈机(上海)智能系统研发设计
- 宁波谷雷姆电子有限公司
- 深圳市人通智能科技有限公司
- 伦茨(上海)传动系统有限公司
- 连云港杰瑞电子有限公司
- 欧德神思软件系统(北京)有限
- 河源职业技术学院
- 凌华科技(中国)有限公司
- 浙江锐鹰传感技术有限公司
- 厦门唯恩电气有限公司
- 深圳市高川自动化技术有限公司
- 北一半导体科技(广东)有限公
- 深圳市步科电气有限公司
- 东莞市凯福电子科技有限公司
- 杭州海拓电子有限公司
- 乐星电气(无锡)有限公司
- 上海奥深精浦科技有限公司
- 崧智智能科技有限公司
- 珠海运控电机有限公司
- 常州拓自达恰依纳电线有限公司
- 浙江省诸暨市精益机电制造有限
- 深圳市多贺电气有限公司
- 上海赢双电机科技股份有限公司
- 日冲商业(昆山)有限公司
- 深圳市卓航自动化设备有限公司
- 苏州市凌臣采集计算机有限公司
- 南京芯驰半导体科技有限公司
- 福建睿能科技股份有限公司
- 深圳市如本科技有限公司
- 常州市常华电机股份有限公司
- 宁波众诺电子科技有限公司
- 联诚科技集团股份有限公司
- 山东中科伺易智能技术有限公司
- 广东奥普特科技股份有限公司
- 上海艾研机电控制系统有限公司
- 长广溪智能制造(无锡)有限公司
- 句容市百欧电子有限公司
- 深圳市康士达科技有限公司
- 深圳舜昌自动化控制技术有限公
- 昕芙旎雅商贸(上海)有限公司
- 北京科迪通达科技有限公司
- 成都中天自动化控制技术有限公
- 深圳市恒昱控制技术有限公司
- 众程技术(常州)有限公司
- 深圳市好上好信息科技股份有限
- 常州洛源智能科技有限公司
- 昆山艾尼维尔电子有限公司
- 深圳市迪维迅机电技术有限公司
- 尼得科控制技术公司
- 传周半导体科技(上海)有限公
- 纳博特南京科技有限公司
- 苏州海特自动化设备有限公司
- 深圳市华成工业控制股份有限公
- 宁波招宝磁业有限公司
- 南京菲尼克斯电气有限公司
- 长裕电缆科技(上海)有限公司
- 台州鑫宇海智能科技股份有限公
- 宁波银禧机械科技有限公司
- 江苏睿芯源科技有限公司
- 威图电子机械技术(上海)有限公
- 玛格电子技术(武汉)有限公司
- 福尔哈贝传动技术(太仓)有限公
- 武汉华大新型电机科技股份有限
- 永宏电机股份有限公司
- 浙江顶峰技术服务有限公司
- 上海先楫半导体科技有限公司
- 苏州阿普奇物联网科技有限公司
- 德缆(上海)电线电缆有限公司
- 广东英瑞沃电气科技有限公司
- 南京实点电子科技有限公司
- 广州丰盈机电科技有限公司
- 深圳市百亨电子有限公司
- 苏州德胜亨电缆科技有限公司
- 深圳三铭电气有限公司
- 嘉兴松州工业科技有限公司
- 苏州途亿通科技有限公司
- 上海数恩电气科技有限公司
- 昆山深裕泽电子有限公司
- 广东百能堡科技有限公司
- 深圳市嘉扬科技有限公司
- 宁波高胜电子有限公司
- 台州百格拉机电有限公司
- 上海弓望电子科技有限公司