生成式人工智能(GenAI)——帮助优化全球功率最密集的计算应用

发布者:EE小广播最新更新时间:2024-08-14 来源: EEWORLD作者: 杨周 Vicor中国应用工程师关键字:人工智能  功率计算  Vicor 手机看文章 扫描二维码
随时随地手机看文章

业界需要一种新的供电架构来控制生成式人工智能训练模型的能源消耗

训练生成式人工智能(GenAI)神经网络模型通常需要花费数月的时间,数千个基于GPU并包含数十亿个晶体管的处理器、高带宽SDRAM和每秒数太比特的光网络交换机要同时连续运行。虽然人工智能有望带来人类生产力的飞跃,但其运行时能耗巨大,所以导致温室气体的排放也显著增加。


据《纽约时报》报道,到2027年,人工智能服务器每年的用电量将达到85至134太瓦时,大致相当于阿根廷一年的用电量。


为了应对日益加剧的能耗挑战,AI处理器的供电网络经历了多代的发展。这种全面的演进发展涉及电路架构、电源转换拓扑、材料科学、封装和机械/热工程方面的创新。


生成式人工智能训练处理器的供电方案负载点模式和分比式模式的演变:


从2020年到2022年,热设计功率(TDP)几乎翻了一番,从400W增加到了700W。TDP指标是指生成式人工智能训练应用中GPU引擎的连续功耗。自2022年起,半导体行业的TDP水平不断攀升,到了2024年3月,市场上甚至出现了一款TDP高达1000W的GPU。


image.png

图1:基于GPU的生成式人工智能训练处理器芯片复合体,加速器模块(AM)上安装有高带宽存储器(HBM)


用于生成式人工智能训练的处理器复合体集成了一个GPU或ASIC芯片,以及六到八个高带宽存储器(HBM)芯片。采用4纳米CMOS 工艺的GPU通常以0.65V的内核VDD运行,可能包含1000亿或更多的晶体管。HBM提供144GB的存储容量,其工作电压一般为1.1V或1.2V。该处理器的一个关键供电特性与人工神经网络算法负载有关。对比处于空闲状态的GPU和算法满载状态的GPU,瞬态电流消耗(dI/dt)差别可能非常大,可能达到每微秒2000安培或更多。此外,该处理器不能容忍较大的电源电压下冲或过冲幅值;这些负载阶跃瞬变必须限制在标称VDD的10%以内。设计用于生成式人工智能训练处理器的供电解决方案时,由于这些动态操作条件的原因,峰值电流输送能力通常设计为连续电流输送能力的两倍,峰值事件通常持续数十毫秒(图1)。


对于CPU、FPGA、网络交换机处理器以及现在的AI训练和推理芯片发展最重要的供电架构是负载点(PoL)方法。相较于传统的多相并联电源架构,分比式PoL电源架构实现了更高的功率和电流密度。这种电源架构借鉴了理想变压器的“匝数比”概念,通过分压实现电流倍增。电流倍增的可扩展性使我们能够根据不同的输出电压和电流需求,开发一系列全面的PoL转换器。这对客户来说至关重要,因为高级AI训练处理器的需求正快速变化。


image.png

图2:分比式电源架构可以提供超过1000安培的大电流,并使供电网络的电阻降低到1/20


分比式电源架构(FPA)——分解为稳压和变压两部分功能


生成式人工智能电源系统设计面临的主要挑战包括:


  • 很高的电流输送能力,范围从500安培到2000安培

  • 负载需要出色的动态性能

  • PDN的损耗和阻抗较大

  • 48V母线基础架构的标准化使用,需要从48V转换到1V以下的能力


要解决这种大电流和高密度负载点(PoL)问题,需要采用不同的方法。先进的分比式电源架构将稳压和变压/电流倍增功能进行了分解,可将这些供电级放置在最佳位置,从而达到最高的效率和功率/电流密度。


当输入电压(VIN)等于输出电压(VOUT)时,稳压器的效率最高,随着输入输出比的增加,效率逐渐降低。在36至60V的典型输入电压范围内,最佳输出母线电压将是48V,而不是中间母线架构(IBA)中常见的传统12V母线电压。48V输出母线所需的电流是12V母线的四分之一(P=VI),而PDN的损耗是电流的平方(P = I2R),这意味着损耗降低至原来的 1/16。因此,先安装稳压器并将其调节至48V输出,可以实现最高的效率。稳压器还必须接受有时低于48V的输入电压,这就需要一个降压-升压的功能来满足这一设计需求。一旦输入电压得到了稳压,下一步便是将48V转换为1V。


在需要为1V负载供电的情况下,最佳变压比为48:1。在这种情况下,稳压器将输入电压降压或升压到48V输出,再由变压器将电压从48降至1V。降压变压器以相同的比率加大电流,因此变压器组件也可以称为电流倍增器。在这种情况下,1安培的输入电流将倍增至48安培的输出电流。为了最大限度地减少大电流输出的PDN损耗,电流倍增器必须小巧,以便尽可能靠近负载放置。


PRM稳压器和VTM/MCM模块化电流倍增器结合在一起,构成Vicor分比式电源架构。这两个器件相互合作,各司其职,实现完整的DC-DC转换功能。


PRM通过调制未稳压的输入电源提供稳压输出电压,即“分比式母线电压”。该母线供电给VTM,由VTM将分比式母线电压转换为负载所需的电平。


与IBA不同,FPA不通过串联电感器从中间母线电压降压至PoL。FPA不通过降低中间母线电压来平均电压,而是使用电流增益为1:48或更高的高压稳压和电流倍增器模块,以提供更高的效率、更小的尺寸、更快的响应和1000安培及以上的可扩展性(图2)。


垂直放置PoL转换器减少功耗耗散


在前几代大电流生成式人工智能处理器电源架构中,PoL转换器被放在处理器复合体的横向(旁边)位置。由于铜的电阻率和PCB上的走线长度,横向放置的PoL供电网络(PDN)的集总阻抗相当高,可能达到200μΩ或更高。随着生成式人工智能训练处理器的连续电流需求增加到1000安培,这意味着PCB本身就会消耗掉200瓦的功率。考虑到在AI超级计算机中用于大型语言模型训练的加速器模块(AM)多达数千个,而且几乎从不断电,通常会持续运行10年或更长时间,这200瓦的功率损耗在整体上变得非常庞大。


认识到这种能源浪费后,AI计算机设计师已经开始评估采用垂直供电(VPD)结构,将PoL转换器直接放置在处理器复合体的下方。在垂直供电网络中,集总阻抗可能降至10μΩ或更低,这意味着在内核电压域1000安培的连续电流下,只会消耗10瓦的功率。也就是说,通过将PoL转换器从横向放置改为纵向放置,PCB的功耗减少了200–10=190瓦(WPCB )(图3)。


image.png

图3 生成式人工智能加速模块从横向(顶部)供电改为纵向(背部)供电,可将PDN损耗降低至1/20


VPD的另一个优点是降低了GPU芯片表面电压梯度,这也有助于节省电力。如前所述,典型的4纳米CMOS GPU的标称工作电压为0.65VDD。使用横向供电时,将电源提供给处理器复合体的四边,由于集成电路的配电阻抗较高(通常使用电阻率高于铜的铝导体),可能需要0.70V的电压,才能确保GPU芯片中心的电压达到标称值0.65V。而采用纵向供电时,可以确保整个芯片表面的电压为0.65V。0.70–0.65=50 mV,这个差值乘以1000安培,可额外节省50瓦(WVDD)的功率。在本例中,节省的总功率为190 WPCB + 50 WVDD = 240瓦(图4)。


根据未来几年公共领域对加速器模块(AM)需求的预测(2024年超过250万件),以及对电力成本的合理估计(每兆瓦时75美元),每个AM节省240W电力,到2026年将在全球范围内实现太瓦时的电力节省,相当于每年节约数十亿美元的电力运营成本,而且根据可再生能源的使用比例,每年还能永久性地减少数百万吨的二氧化碳排放。


image.png

图4:使用VPD时,处理器芯片的表面电压均匀,有助于最大限度地提高计算性能,同时最小化功率损耗


遏制失控的生成式人工智能功耗


Vicor正引领生成式人工智能供电技术的创新浪潮。他们提供的分比式负载点转换器解决方案有助于提升生成式人工智能处理器的功效,使生成式人工智能的功耗与社会层面的环境保护和节能目标相一致。


Vicor持续推动电源架构的创新,并开发先进的新产品,致力于解决生成式人工智能模型训练带来的功耗增加问题。通过采用先进的分比式电流倍增器方法进行负载点DC-DC转换,就可以充分发挥生成式人工智能优势,同时有效控制全球范围内的能源消耗。


关键字:人工智能  功率计算  Vicor 引用地址:生成式人工智能(GenAI)——帮助优化全球功率最密集的计算应用

上一篇:村田中国携高效节能产品及解决方案亮相OCP China Day 2024
下一篇:科德宝集团举办175周年展:回望创新之路共绘高质量发展蓝图

推荐阅读最新更新时间:2024-11-18 16:09

活动预告 | 类脑技术如何开启下一代人工智能
类脑智能,被视为人工智能的终极目标,随着第三次人工智能浪潮席卷而来,下一代人工智能即将开启。世界主要经济体纷纷将发展人工智能上升为国家战略,我国“十四五”规划更是将类脑智能放在重要位置。这不仅是一次技术创新,更是一场产业变革。 作为人工智能的另一条发展路径,类脑智能是推动人工智能实现跨越式发展的重要突破口,已成为全球科技和产业创新的前沿阵地。但目前人工智能仍需依靠大量人工进行数据学习和标注,还处于数据智能的阶段。 为推动弱人工智能向强人工智能转变,促进类脑人工智能技术进一步发展, 由SynSense时识科技主办,OFweek维科网协办的“2021类脑智能技术创新发展论坛暨SynSense时识科技新品发布会”将于2021年12月1
[机器人]
人工智能拥有自己的数字系统
翻译自——EEtimes 深度学习、AI人工智能等技术正在成为各大处理器的热点,虽然目前的主流是通过专用的NPU单元来加速AI指令,但在CPU中集成相应的指令集也会带来很大的改变,Intel在Cascade Lake及10nm Ice Lake处理器中就加入了BFlota16指令集(简称BF16),AI性能达到了前代的2.5倍以上。 BF16是为深度学习而优化的新数字格式,它保证了计算能力和计算量的节省,而预测精度的降低幅度最小 BF16,有时也被称为BFloat16或Brain Float16,是一种针对人工智能/深度学习应用程序进行优化的新数字格式。它在谷歌Brain上获得了广泛的应用,包括谷歌、英特尔、Ar
[物联网]
<font color='red'>人工智能</font>拥有自己的数字系统
智能理财服务市场潜力巨大 铜板街AI机器人强势引领
预计到2022年,中国智能理财服务市场规模将达到7370.5亿元;2018年的规模为2546.9亿元。”7月10日,由艾瑞咨询和陆金所共同发布的《智能理财4.0:2019全球智能理财服务分级白皮书》对中国智能理财服务市场的潜力极为看好。 事实上,人们有足够的信心和理由看多中国智能财富管理市场。从需求角度来看,中等收入人群有4亿之众。6月5日,由招商银行、贝恩公司联合发布的《2019中国私人财富报告》显示,2018年中国个人高净值人群规模为197万人,因此,专业优质的财富管理服务的需求缺口非常之大;其次,从供给侧的技术能力而言,中国在金融科技方面的引领是有目共睹的。例如,在去年11月由铜板街、浙江互金联合会、剑桥大学、浙江大学互金研
[机器人]
芯片厂AI平台点燃 英特尔、NVIDIA、高通、AMD火力全开
  全球科技大厂纷揭露人工智能(AI)最新布局蓝图,AI领域俨然成为新世代主流战场,近期芯片业者英特尔(Intel)、 NVIDIA 、 高通 (Qualcomm)与AMD(AMD)持续扩大AI平台投入力道,2017年势将掀起激战,并酝酿新一波洗牌潮。下面就随嵌入式小编一起来了解一下相关内容吧。   近年AI相关技术与应用发展大跃进,包括微软(Microsoft)、Google、Facebook、IBM、百度、阿里巴巴等陆续释出机器学习、深度学习等AI应用进展, 高通 、 NVIDIA 与英特尔等芯片大厂亦纷纷展示平台技术整合实力,AI将成为规模更大且竞争更激烈的新世代战场。    英特尔多方强化AI平台战力   在智能手机市
[嵌入式]
比阿尔法狗更可怕的人工智能来了?
一家对弈网站上的神秘账号“Master”(大师)最近数日连杀中日韩围棋高手。截至昨日记者发稿时,这位神秘的“大师”轻松拿下棋圣聂卫平、韩国的赵汉乘九段,将连胜的局数扩至56场。连日来,在世界顶尖高手车轮大战中,不知疲倦的“Master”连战连胜,赢得不费吹灰之力,显然,这位大师不是人类,而是新开发的一种人工智能。 神秘“大师”天下无敌 从去年12月29日“上线”到昨日下午,短短的一周之内,一个名为“Master”的神秘账号在多家网络围棋平台连续挑落56名世界围棋高手(陈耀烨掉线和棋),中日韩三国的最强选手柯洁、井山裕太和朴廷桓三人无一幸免。不仅如此,在对局的过程中,甚至看不到这些高手击败Master的任何希望。 昨日,年岁已高
[机器人]
AI机器人代替人类做警察会是什么样的场景
最近几个月,军用和主动攻击型武器的问题闹得沸沸扬扬,很多AI研究者联名反对这项技术的军事化。 但令人无奈的是,AI的很多特征确实能够与极端情况和复杂环境相结合,类似技术很难在民用市场找到落脚点,军用AI也就顺理成章作为了技术加持的方向。但是换个角度想想,如果军用AI容易引发普遍恐慌,那么切换到警用会不会好很多? 用AI来加持公共安全,提升警方的工作效率,似乎是个不错的主意? 当然,我们距离经典的《机器战警》还有很长的路要走。但在我们平时很少关心的警用技术世界里,AI从未缺席。甚至很多非常前沿,有点味道的技术已经投身到了实战中。 就像众多AI应用领域一样,在AI+公共安全的旅程上,争议和焦虑感也是必不可少的话题
[机器人]
曾经人工智能的翘楚IBM Watson,如今为何成为笑柄
沃森曾与休斯敦安德森癌症研究中心合作,去年双方分道扬镳。IBM营收停止增长,股价起起落落,分析师甚至开始质疑:沃森真能带来更多价值吗?知名科技投资人 Chamath Palihapitiya 今年5月接受 CNBC 采访时表示:“沃森就是一个笑话。”下面就随网络通信小编一起来了解一下相关内容吧。 早在2011年时,Watson(沃森)就在智力竞赛节目 Jeopardy! 中获胜,自此之后IBM 就在一直积极宣传沃森。然而最近一段时间沃森带来了许多坏消息。沃森曾与休斯敦安德森癌症研究中心合作,去年双方分道扬镳。IBM营收停止增长,股价起起落落,分析师甚至开始质疑:沃森真能带来更多价值吗?知名科技投资人 Chamath Paliha
[网络通信]
Rene Haas对话黄仁勋:独特的管理理念、系统创新体系以及AI的未来
《Tech Unheard》是一档由 Arm 首席执行官 Rene Haas 主持的科技访谈播客,聚焦行业内的变革力量,探索前沿技术与其背后的故事。首期节目邀请到英伟达的创始人、总裁兼首席执行官黄仁勋,两人通过深入对话,分享了从企业文化到人工智能的未来发展等多个话题。这不仅是一场关于技术的交流,更是一次对未来愿景的探索。 上一次Rene Haas主持与黄仁勋的对话还是在2020年,当时在Arm DevSummit大会上,作为主持人的Haas就与黄仁勋探讨了关于AI的问题。 彼时,黄仁勋表示,我们知道一个全新的计算世界即将到来。有人称之为边缘,有人称之为物联网。我们可以创造自主智能电脑,驾驶汽车,无人物流,快速结帐,保持交通
[半导体设计/制造]
小广播
最新工业控制文章

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved