ICVIS智车行家

文章数:1109 被阅读:1582604

账号入驻

铜进光退?读懂高速铜连接方案:数据中心内部短距传输优选

最新更新时间:2024-10-17
    阅读数:

智圈l 进“智车行家光电合封CPO行业交流群”, 请加18512119620(微信同),备注公司-姓名-职位加群

摘要:



高速铜缆受到更多厂商的青睐。 在短距传输场景,铜连接相比光连接方案具有更低成本、更稳定、更低功耗的优势。 尤其是在高性能AI 算力集群的构建中,DAC 铜缆的低成本和低能耗优势尤为显著。DAC 方案不仅实现了高达 100Gbps 的数据传输速率,同时也缓解了短距离传输的限制。此外, DAC 铜缆的高平均无故障时间(MTBF)确保了数据中心关键任务的连续性。根据LightCounting的预测,未来五年内,高速线缆市场将实现翻倍增长,DAC销售额将以 25%的年均复合增长率迅速提升。

英伟达于3月发布 GB200 系列机架,其中背板连接、近芯片连接及机柜间I/O 连接均用到铜连接方案,我们预计 25年 GB200 机柜对应铜连接价值量为245 亿元。 展望未来,英伟达新方案有望提振国内外铜连接需求,一方面切入英伟达产业链的国产公司有望受益,另一方面国内算力链亦有望借鉴并在集群中加入铜连接。 我们认为两类标的值得关注:1)切入英伟达产业链的国产线材&线缆供应商和连接器组件&代工商:2)国产算力链中的高速连接器供应商。
如需获取完整版PDF报告,点击关注上方蓝字“ 智车行家 ”后回复 “铜连接 领取

01

AI 技术驱 动铜连接备受瞩目

高速铜连接:数据中心内部短距传输优选方案


带宽升级助力数据中心突破算力瓶颈。 带宽指通信线路或设备能够传输信号的频率范围,高带宽通常意味着设备能够在更高频率下传输更多信息。为了满足生成式 AI 应用和 AI 模型训练对算力资源的需求,数据中心通过在多个互联计算节点间分配工作负载来满足这些新需求。由于单个分布式任务的运行时间受到最慢节点的限制,因此设备之间的高效互联成为突破算力系统瓶颈的关键。


高速铜连接由铜缆和两端连接器构成,聚焦短距传输场景

高速铜缆:以无源DAC为主,可由多组差分信号线组成

高速铜缆主要有DAC、ACC和AEC三种形式,DAC是最为通用的方案。 在早期,高速铜缆一般指的是DAC(Direct Attach Cable),即无源直连铜缆,由镀银铜导线和泡沫绝缘芯线制成的高速电缆组成。随着所需支持的传输速率提升,铜缆的损耗过大而无法满足互联长度需求的时候,人们考虑在铜缆内部增加有源信号驱动器芯片,这些芯片将补偿部分铜缆传输带来的损耗,以增加传输距离, 按有源芯片的不同可以分为ACC(Active Copper Cable)和AEC(Active Electrical Cable): 1)ACC是在线缆Rx端加入一定能力的线性Redriver来提供信号的均衡和整形中继,延长端到端的传输距离,一般来说ACC可以在DAC的基础上增加2-3米传输距离;2)AEC实在线缆两端加入CDR(时钟数据恢复)对电信号进行重新定时(Retimer)和重新驱动,其所能补偿的铜缆损耗能力一般比ACC更强,并且可以有效阻隔抖动的传递,所以能支持的端到端连接距离比ACC更长。

一般来讲,高速铜缆最主要的应用在于5米以下短距传输场景,DAC已然能够满足,而ACC、AEC更加适用于有一定传输距离要求和传输性能保障要求的场景;此外,无源DAC相比ACC、AEC两种有源铜缆来说,低功耗的优势更加显著,因而在数据中心网络中通用性更强。


从构成来看,高速铜缆由一组或多组差分信号线组成。 一组差分信号线主要包括两根高速线、一根地线及其周边的绝缘层和屏蔽层,其中高速线是核心部分,材质为镀银铜线(银的导电性能优于铜,镀银线相比纯铜线电信号传输效率更高),被绝缘层所包裹。差分线外部还有金属编织网和包层,分别起屏蔽作用及加固保护作用。目前一组差分信号线最高可以实现224Gbps的传输速率,高速铜缆可由多对差分信号线组成,以实现更高的通信速率。

差分信号线相对传统的单端信号线的做法,在抗干扰能力、保持信号完整度方面具备显著优势。 差分信号线的工作原理在于两根线都传输信号,这两个信号振幅相同,相位相反,信号接收端通过比较这两个电压的差值来判断发送端发送的逻辑状态。

该传输方式相对单端信号走线来说,存在两大突出优势: 1)抗干扰能力,因为两根差分走线之间的耦合程度较高,当外界存在噪声干扰时,几乎是同时被耦合到两条线上,而接收端关心的只是两信号的差值,所以外界的共模噪声可以被最大程度抵消;2)保持信号完整度,当信号通过长距离传输时,信号的品质容易受到衰减和失真的影响,而差分信号通过对两个相反的信号进行传输,即使信号发生衰减或失真,差分信号的接收端仍然可以通过比对两个信号来还原出原始信号,从而保证了信号的完整、可靠。



铜连接方案在互联市场广泛应用。 随着数据中心设备间数据传输速率和带宽的不断提升,选择合适的互联方案已成为市场关注的焦点。 光纤和铜缆因其抗干扰性和保密性,已成为主要传输媒介。尽管光纤因传输距离远的优势在通信行业被广泛采用,铜连接方案在数据中心设备内的短距离连接(如交换机到服务器)中,逐渐获得了更大的市场份额。铜连接方案不仅帮助数据中心有效降低资本支出和运营成本,还提高了能源使用效率。2024 年,英伟达在其新发布的 GB200 超级芯片中,使用铜缆替代传统高速背板连接中的光纤,实现了设备内部的高速互联。这一技术创新不仅降低了数据传输的能耗,还为铜连接市场开辟了更大的增长空间。

02

铜连接技术契合数据中心当前需求


2.1 控制能耗和成本成数据中心发展趋势

数据中心的电力消耗已成为全球能源挑战。 根据国际能源署的数据,2022 年美国约有 2700 个数据中心,其电力消耗占全国总量的约 4%。预计到 2026 年,数据中心的电力消耗将达到美国全国总量的 6%。企业可持续发展报告指令(CSRD)将于 2024 年起要求部分欧盟企业报告新的指标,如水和碳的使用效率,这将给数据中心的能源管理带来更大压力。在此背景下,数据中心作为将瓦特转化为比特的重要基础设施,如何在降低能耗的同时提高电力使用效率(PUE)将成为未来发展的关键。

2.2 铜连接技术契合数据中心当前需求

数据中心对铜的需求持续增长。 随着大型数据中心和边缘计算的发展,数据中心对铜的需求量持续增长。国际铜业协会(ICA)的研究表明,超大规模数据中心的扩展与边缘计算需求的增长显著增加了对铜的需求。新兴技术对计算能力的要求不断提高,推动了数据中心对铜的使用量迅速上升。预计到 2030 年,大型和超大规模数据中心将占建筑铜需求的 67%。边缘计算和智能设备的普及预计将使铜需求从 2020 年的 54.3 万吨增加到 2030 年的 72.5 万吨。

铜连接技术正受到数据中心的广泛关注。数据中心交换网络主要采用铜缆和光纤通信方案。 光纤电缆因其在更长距离内提供更快通信速度,已成为通信行业的主流,但在数据中心的集成系统布线中,这一趋势正在改变。虽然光纤具有覆盖广、不受电磁干扰、轻便灵活等优点,但铜缆凭借其高性价比、高平均无故障时间(MTBF)和快速数据传输能力,正在数据中心中占据越来越大的市场份额。大多数厂商在构建网络基础设施时,倾向于混合使用铜缆和光纤。随着人工智能对数据领域影响的加深,铜缆连接技术因其更高的可靠性和更低的功耗,正逐渐成为数据中心布线的关键技术。

铜缆在数据中心的具体应用。DAC 线缆利用铜导体传输数据信号,分为无源铜缆(PCC)、有源铜缆(ACC)和有源增强铜缆(AEC)。 无源铜缆因无需外部电源支持,功耗和成本较低,但其传输距离有限,通常适用于短距离连接。相比之下,有源铜缆在连接器中集成了微处理器等组件,增强了信号传输能力,从而延长了传输距离,但功耗和成本也相应增加。由于无源铜缆在市场中占据约 73%的份额,“DAC”通常指代 PCC 线缆。在数据中心,铜缆通常用于 5 至 10 米范围内的服务器和存储区域网络连接,因其稳定性、高效性和经济性而广泛应用于现代数据中心。

铜缆的种类和特性。 经典铜缆主要分为五类:无屏蔽双绞线(UTP)、屏蔽双绞线(STP)、铝箔屏蔽双绞线(FTP)、铜箔屏蔽双绞线(SFTP)以及同轴电缆。其中,UTP 是最常见的一种,由四对传输线缠绕而成,常用于短距传输。STP 常用于工业区、机房等环境,其物理结构相比于UTP 增加了全屏蔽层和线对屏蔽层,可提供更清晰的电子信号和更长的传输距离。FTP 通过铝箔屏蔽,SFTP 通过铝箔和铜箔双重屏蔽,进一步增强信号完整性和抗干扰能力。同轴电缆因其卓越的传输性能,常用于有线电视和互联网连接。

高速铜缆生产工艺。高速铜缆的生产工艺包括: 绝缘芯线押出、绞线成缆、绝缘处理、编织、屏蔽层处理、护套和成品检测。绝缘芯线押出是核心步骤,因为芯线质量直接影响后续工序。工厂根据客户要求,将多股绝缘芯线绞合成一股,确保符合设计规范和性能需求。然后进行绝缘处理,常用材料包括聚乙烯、聚氯乙烯和发泡聚乙烯。接着,编织步骤需要精确控制张力和排线;屏蔽层处理是在绝缘层上包覆铝箔或铜网,以增强抗干扰性能。之后,半成品表面覆盖塑料护套,保护内部线芯和屏蔽层。最后,进行外观检查和信号传输测试,确保质量符合要求。

DAC 线缆的成本和能耗优势。 DAC 线缆端口由简单的连接器组成,不包含光电转换模块,因此其成本仅为光模块的约九分之一。对于大规模 AI 算力集群而言,这一成本优势非常显著。在构建高性能 AI 算力集群时,铜缆的成本优势能够大幅降低总体拥有成本,这是数据中心的重要成本考量。此外,与依赖光电转换的光纤模块相比,DAC 铜缆在传输过程中功耗极低,同时还具有高传输速率。这种优势不仅有助于控制能源消耗,还有效地提升了电缆的散热能力。

DAC 线缆的高传输速率和高可靠性特性。 DAC 方案凭借简洁的设计,实现了高达 100Gbps 的数据传输速率,同时,其平均无故障时间(MTBF)通常高于光缆工业标准,这一关键可靠性指标证明了其在特定时间内稳定运行的能力。在数据中心的日常运营中,卓越的 MTBF 表现不仅减少了设备维护和停机时间,还确保了关键任务的无中断运行。此外,随着大规模数据中心的兴起,单个服务器机架的垂直布线距离显著缩短,进一步缓解了 DAC 线缆传输距离较短的限制。

高速铜缆受到更多厂商的青睐。 根据 LightCounting (LC)发布的高速线缆、LPO 和 CPO 报告,预计未来五年内,高速线缆市场规模将增长一倍以上,预计到 2028 年将达到 28 亿美元。LC 报告指出,2024 至 2028 年期间,AOC 的销售额将以 15%的复合年增长率(CAGR)增长,而 DAC和 AEC 的销售额则分别以 25%和 45%的复合年增长率增长。到 2028 年,AOC 的市场份额预计将有所下降,而 DAC 预计将凭借其高效性和成本效益,在市场中占据更大的份额。


短距传输场景下,铜连接有望成为首选方案

由于铜连接所支持的传输距离有限,本文主要聚焦数据中心网络中传输距离较短的机柜内互联,数据中心机柜可由多层托盘(或称Tray、板)构成,因此我们将其进一步划分为板外互联和板内互联,板外互联包括光模块+光纤、有源光缆(AOC)和直连铜缆(DAC)三种主要形式,板内互联包括铜缆高速跳线(Overpass)和PCB连接两种主要形式。其中,板外互联一般更为复杂、对应连接价值量更高,受到市场广泛关注;板内互联则根据客户需求、服务器内部构型的不同而灵活选择。

板外互联方面,铜连接在性价比、稳定性、功耗方面均优于光连接

板外互联方面,光连接与铜连接方案因介质、架构、设计不同而在应用场景上有所分化。分别来看: 1)光模块+光纤是目前AI集群中应用最广泛的方案,依靠光模块高带宽、低衰减和抗干扰的优势,实现长距离、高速率的数据传输,该方案光模块与光纤相互独立;2)AOC由两端的两个集成模块组成,并用光纤连接,由于其轻质紧凑的设计,可以满足在空间有限的数据中心内高密度连接的要求,目前是数据中心、HPC环境和InfiniBand交换机互连的理想选择;3)DAC方案不包含光模块,与依赖光电转换过程的光纤模块不同,DAC具有低功耗、低成本的优势,且该方案依赖于铜线介质,在电信号传输距离方面受到限制,因此更加适合短距传输。


在短距传输场景,铜连接相比光连接方案具有更低成本、更稳定、更低功耗的优势。我们以DAC、AOC作为主要的比较对象:

1)成本优势: DAC不包含光电转换器模块,结构简单,并且在布线时可有效节省光纤的使用,在BOM成本上较AOC有明显优势,根据ODCC《下一代数据中心高速铜缆白皮书》(2020)统计,单根25G DAC的价格仅为25G AOC的1/3至1/4;

2)稳定性优势: DAC是电信号直连方案,相较于AOC方案需要多次光电信号转换,DAC具有更高的运行稳定性,若用平均无故障时间(MTBF)来衡量,DAC的MTBF大约为50000万小时,通常比光缆的行业标准高出一个数量级;

3)功耗优势: 与依赖光电转换的光纤、光模块不同,DAC数据电缆传输电信号的功耗相对较低,一根25G DAC的线缆功耗在0.1W左右,而同样速率的AOC功耗则在2W左右,相差10倍以上。我们认为,对于像GB200 NVL72这样高密度、高功耗的大型机架系统,对于内部组件功耗大小更加敏感,铜缆将凭借其低功耗优势发挥重要作用。


板内互联方面,铜连接相比PCB在保障信号传输质量上更具优势

板内互联方面,我们认为铜缆连接相比PCB来说有更好的信号完整性和抗电磁干扰性,在短距传输中有更高的普适性。 市场目前较为关注“PCB连接能否代替板上高速跳线铜缆(Overpass)”,我们看到铜缆在信号完整性和抗电磁干扰性方面领先于PCB,或在大多数情形下成为板内互联的优选方案:1)铜缆具备较低的信号衰减和较少的串扰,而高速传输场景下PCB布线较为紧密,走线间的串扰比较严重(串扰:高速PCB中紧密走线之间不需要的电磁耦合),将导致信号的损耗,因此铜缆比PCB更加适合高频信号传输;2)铜缆具备屏蔽层,可以有效减少外部电磁干扰,保证传输质量,而PCB则可能受到电磁干扰导致传输效果变差。


另一方面,在一些对空间和散热要求较为苛刻的架构中,PCB连接或为更优的方案。 另一方面来看,PCB连接相比铜连接具有更小的空间占用、更低的成本和更优的散热性能,在一些对于散热要求较高但铜缆设计难以满足要求的架构中或为更合适的选择。例如,在NVL72机型的散热设计中,为了在板内塞下液冷冷却管,板内的Overpass铜缆跳线由于体积较大需要进行弯折处理,但弯折后铜缆本身的传输稳定性、信号质量均下降,无法发挥出铜缆应有的优势。而如果替换为PCB连接,PCB布线较为紧凑,可以有效节省空间,从而顺利完成NVL72液冷管的部署,此外PCB成本较低,叠加本身更多板数带来的散热性能提升,或为本场景中更优的方案。

03

高速铜连接应用广泛,机柜内三大典型场景均有分布


数据中心将根据传输距离、传输性能要求等来分别选用光连接、铜连接、PCB连接方案。我们对数据中心中各路通信网络的梳理如下: 以数据中心为分界面,数据中心与数据中心之间的互联称为DCI(Data Center Interconnect),通常使用光缆连接。数据中心内的连接包含机柜间互联与机柜内互联,其中机柜间互联主要是两个机柜架顶交换机通过光模块+光纤的方案进行互联,此外类似NVL36*2方案中NVSwitch Tray之间需要通过ACC铜缆进行互联;

机柜内互联是本文聚焦的重点,又分为板间互联和板内互联: 1)板间互联: a.架顶交换机与内部计算单元(服务器)之间通过AOC(亦可选择光模块+光纤)进行连接; b.对于英伟达这类具有额外的GPU互联方式(即NVLink)的机柜,计算单元与NVSwitch Tray进行背板互联时可选择“大型PCB板+背板连接器”方案或“高速铜缆+背板连接器”方案。 2)板内互联: 板内芯片需连接到前端和背板,以NVSwitch Tray为例,其中在连接背板时可选择铜缆连接或PCB连接,连接前端端口可使用铜缆进行连接。

我们看到,目前高速铜连接在AI/HPC数据中心中机柜内互联应用较为广泛,典型分布区域包括背板连接、外部I/O连接以及近芯片连接。我们以安费诺的产品为例,具体阐释各个部分的应用情况:

1)背板连接: 背板连接器主要用于服务器内部背板与单板的连接,以提高数据速率和缩短信号上升时间,确保数据在服务器内部高速、稳定地传输,高速背板连接器还提供灵活的架构设计及多种电缆出口选项,如直线、直角和共面,有助于导线管理、端接和布线。代表产品如安费诺的Paladin系列和ExaMAX系列背板连接器,其中Paladin HD 224Gbps或为首批搭载在英伟达GB200 NVL72服务器上的背板连接器。

2)外部I/O连接:铜缆可与外部I/O连接器进行端接,从而降低信号损耗、PCB设计复杂度及成本。 I/O连接器是通过频繁插拔的电缆与其应用之间的安全电气接触,实现高速的数据传输的电连接器。目前主流的4类高速I/O连接器分别为SFP、QSFP、QSFP-DD以及OSFP,这些高速I/O连接器采用不 同的性能方案,提供28Gbps/56Gbps/112Gbps/224Gbps的单信号速率,并支持单通道到多通道的传输,以满足在高密度、高性能的数据中心中不同的高速数据传输需求。相应的DAC电缆可以选择各种长度,从1m到10m,适配不同的网络部署。

3)近芯片连接: 主要用于GPU、ASIC芯片到背板以及前端的连接,该方案可以有效减少信号从芯片近端口传输到外部端口时的损耗,代表方案如安费诺Densilink。

04

英伟达GB200服务器新架构拉动国内外高速铜连接需求


GB200:72xGPU高密服务器方案,机柜内呈现“铜进”趋势

英伟达于今年3月在GTC大会中发布多节点、高密度、液冷型的机架级系统GB200,适用于计算密集型的工作负载。 GB200主要有GB200 NVL72和GB200 NVL36*2两种形态,它们结合了36个Grace Blackwell超级芯片,其中包括72个Blackwell GPU和36个Grace CPU,这些GPU通过双向1.8TB/s的第五代NVLink互连。与相同数量的英伟达H100 Tensor Core GPU相比,GB200 NVL72可将LLM推理工作负载的性能提高30倍,并将成本和能耗降低25倍。


本次GB200新架构的亮点在于大量采用“铜连接”设计,从DGX H100到GB200呈现明显的“铜进”趋势。 我们回顾英伟达DGX H100到GH200再到GB200的服务器架构演进史发现,随着GPU带宽和机柜密度的不断提升,机柜内铜连接的使用量也随之增长。在DGX H100阶段,H100通过NVLink 4.0进行连接,交换机与服务器、交换机与交换机之间以光连接方案作为主导;在GH200阶段,机柜密度开始提升,柜内部分互联改用铜连接,但光连接仍在机柜间互联中占据主导地位;在GB200阶段,机柜密度再次升格,B200开始通过NVLink 5.0进行连接,最明显的一处变化在于背板连接由过去的PCB整板转变到背板连接器+铜缆的形式,另外板内、机柜间的铜缆用量也显著增加。


我们认为,随着GPU单卡算力升级,对传输带宽要求也同步提升,同时机柜集成度增加、算力密度增加,也缩短了传输距离,在 机柜内短距传输场景中,铜连接能够以较低的成本实现与光连接相近的高速传输能力,且经由屏蔽设计的铜缆相比PCB连接能提供更优异的传输信号完整性和抗电磁干扰性。 此外,对于像GB200 NVL72这样的高密度、超节点架构来说,机柜对于功耗更加敏感(B200单卡功耗超过1000W),而铜连接多为无源器件,天然具备低功耗优势。综合来看,高速铜连接在现代AI集群短距传输中优势凸显,我们判断未来机柜内部铜连接应用仍将呈增长趋势,且随着集群密度的进一步提升,机柜间亦有望增加铜连接的使用。

依照前述框架,高速铜连接在数据中心机柜内中有三大典型应用场景:背板连接、近芯片连接与外部I/O连接,我们梳理GB200架构中各部位铜连接应用如下

1)背板连接: 包括计算Tray和NVSwitch Tray之间的高速连接铜缆,它们两头分别连接计算Tray和NVSwitch Tray上的Paladin背板连接器。具体来看,以GB200 NVL72为例,GB200 NVL72由18个计算Tray、9个NVSwitch Tray以及顶端的IB交换机构成,机柜背部由密集的高速铜缆实现Tray间互联。









05

英伟达GB200服务器新架构拉动国内外高速铜连接需求


关注海外链配套商以及领先的国产链生产商

产业全景:线缆与连接器供应商处在铜连接产业链中游核心环节

高速铜连接产业链包含上、中、下游: 1)上游主要为各种材料,包含金属材料、电镀材料、塑胶材料和其他陶瓷玻璃材料等,其中金属材料以铜为主,电镀材料包括镀金、镀银、镀镍等;2)中游为产业链的核心环节,我们将其分为线材&线缆和连接器两大部分,其中安费诺、莫仕、泰科为综合性国际巨头,在线缆与连接方面均具备较高的市场份额,分板块来看国内的公司,线材&线缆板块包括线材、镀银导线、PCIe线等,连接器板块按连接器类型及分工可以分为高速背板连接器厂商、高速I/O连接器厂商以及连接器组件及代工商;3)下游为终端客户,直接客户包括英伟达、华为及其他国产算力服务器供应商,间接客户包含互联网厂商、电信运营商以及政企金融、地方智算中心等。





节选部分,篇幅有限,未完待续。

如需获取完整版本PDF文档
点击关注上方蓝字“ 智车行家 ”后
回复 “铜连接 领取

当前,全球汽车正站在向新能源转型的十字路口。在转型过程中,一些传统公司陷入销量锐减、边缘化的阵痛,而另一些公司凭借前瞻的战略,及早的技术储备,实现了较为顺利的转型,长城汽车便是其中之一。

我们特举办本次“走进长城汽车——创新技术进车企活动”专场技术展示交流会。 旨在邀请 汽车零部件领域优质供应商 参与并进行深入交流。我们相信通过这次活动,能够挖掘更多供应商,将来能够和长城汽车展开各个维度的深入合作。


走进长城汽车

创新技术进车企活动

????2024年11月19日

????长城汽车哈弗技术中心

(河北省保定市莲池区朝阳南大街2276号)








限时预约已开启


关于智车行家

智车行家,专注于智能网联汽车行业智慧共享互动交流平台,组建了 10+ 行业交流群 ,定期放送线上专题直播。

诚邀您加入 智车行家汽车光电合封CPO行业微信交流群

群内包括国内500 +光电合封CPO 行业 企业负责人,主机厂模块工程师,涵盖企业总经理,研发总监,主任工程师,高校教授专家等,集合关联产业链行业精英。欢迎进群交流。

请加 小易@智车行家微信 :18512119620,申请入群 。

长按二维码关注智车行家


自动驾驶 | 激光雷达

毫米波雷达 | 汽车电子

1500+专业社群邀您加入!

后台回复“入群”加入


觉得好看,点个“在看”!


最新有关ICVIS智车行家的文章

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区中关村大街18号B座15层1530室 电话:(010)82350740 邮编:100190

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved