NVIDIA Blackwell 平台发布,赋能计算新时代

发布者:CelestialLight最新更新时间:2024-03-19 关键字:NVIDIA  AI  模型 手机看文章 扫描二维码
随时随地手机看文章


 image.png


● 全新 Blackwell GPU、NVLink 和可靠性技术赋能万亿参数规模的 AI 模型

● 全新 Tensor Core 与 TensorRT- LLM 编译器将 LLM 推理运行成本和能耗降低多达 25 倍

● 全新加速器助推数据处理、工程模拟、电子设计自动化、计算机辅助药物设计和量子计算领域实现突破

● 各大云提供商、服务器制造商和头部 AI 企业纷纷采用


美国加利福尼亚州圣何塞 —— GTC —— 太平洋时间 2024 年 3 月 18 日 —— NVIDIA 于今日宣布推出 NVIDIA Blackwell 平台以赋能计算新时代。该平台可使世界各地的机构都能够在万亿参数的大语言模型(LLM)上构建和运行实时生成式 AI,其成本和能耗较上一代产品降低多达 25 倍。


Blackwell GPU 架构搭载六项变革性的加速计算技术,这些技术将助推数据处理、工程模拟、电子设计自动化、计算机辅助药物设计、量子计算和生成式 AI 等领域实现突破,这些都是 NVIDIA 眼中的新兴行业机遇。


NVIDIA 创始人兼首席执行官黄仁勋表示: “三十年来,我们一直深耕加速计算领域,力求实现像深度学习和 AI 这样的变革性突破。生成式 AI 是我们这个时代的决定性技术,Blackwell GPU 是推动新一轮工业革命的引擎。通过与全球最具活力的企业合作,我们将实现 AI 赋能各行各业的承诺。”


许多企业都在计划采用 Blackwell,其中包括亚马逊云科技、戴尔科技、谷歌、Meta、微软、OpenAI、Oracle、特斯拉和 xAI。


Alphabet 和谷歌首席执行官 Sundar Pichai 表示: “通过扩展谷歌搜索和 Gmail 等服务以服务于数十亿用户,我们对于如何管理计算基础设施有了更加深入的了解。随着公司业务进入 AI 平台转型期,我们将继续为自身产品和服务以及云客户扩大基础设施投资。我们有幸与 NVIDIA 建立了长期合作伙伴关系,并期待着将 Blackwell GPU 的突破性功能带给我们的云客户以及包括 Google DeepMind 在内的谷歌团队,以加速未来的探索进程。”


亚马逊总裁兼首席执行官 Andy Jassy 表示: “我们与 NVIDIA 的深度合作可以追溯到 13 年前,当时我们在 AWS 上推出了全球首个 GPU 云实例。如今,我们在云端提供了最为广泛的 GPU 解决方案,以支持全球那些技术上最先进的加速工作负载。正因如此,NVIDIA Blackwell GPU 能够在 AWS 上运行得如此出色,NVIDIA 也选择与 AWS 共同开发 Project Ceiba,将 NVIDIA 新一代 Grace Blackwell 超级芯片与 AWS Nitro System 的高级虚拟化和超快速的 Elastic Fabric Adapter 网络结合,以用于 NVIDIA 自身的 AI 研发。通过 AWS 与 NVIDIA 工程师的共同努力,我们将持续创新,使 AWS 成为每一个想要在云端运行 NVIDIA GPU 的用户的最佳选择。”


戴尔科技董事会主席兼首席执行官 Michael Dell 表示: “生成式 AI 对于创建更智能、更可靠和更高效的系统至关重要。戴尔科技与 NVIDIA 将携手塑造未来科技。随着 Blackwell 的发布, 我们将继续为用户提供新一代加速产品和服务,以提供推动跨行业创新所需的工具。”


谷歌 DeepMind 联合创始人兼首席执行官 Demis Hassabis 表示:“AI 的变革潜力令人难以置信,它将帮助我们解决世界上那些最重要的科学问题。Blackwell 突破性的技术性能将提供所需的关键算力,从而帮助那些世界上最聪明的大脑绘制新的科学蓝图。”


Meta 公司创始人兼首席执行官 Mark Zuckerberg 表示: “从我们的大语言模型到内容推荐、广告和安全系统,AI 已经在赋能一切,而且 AI 在未来将会日益重要。我们期待通过 NVIDIA Blackwell 帮助训练我们的开源 Llama 模型,打造下一代 Meta AI 和消费产品。”


微软执行董事长兼首席执行官 Satya Nadella 表示: “我们致力于为客户提供最先进的基础设施,以赋能其 AI 工作负载。一直以来,我们致力于为云端优化 NVIDIA GPU,通过在我们的全球数据中心采用 GB200 Grace Blackwell 处理器,我们得以在这一进程中再进一步,助力世界各地的组织实现 AI 落地。”


OpenAI 首席执行官 Sam Altman 表示: “Blackwell 实现了巨大的性能飞跃,并将加速我们提供尖端模型的能力。我们很高兴能继续与 NVIDIA 合作,共同提升 AI 计算。”


Oracle 董事长兼首席技术官 Larry Ellison 表示: “Oracle 与 NVIDIA 的紧密合作将推动 AI、机器学习和数据分析领域实现质和量的突破。为了让用户能够获取更多具有可操作性的洞察,正需要像 Blackwell 这样专为加速计算和生成式 AI 而打造的、更强大的引擎。”


特斯拉及 xAI 首席执行官 Elon Musk 表示:“当下的 AI 领域,NVIDIA硬件无可比拟。”


新架构以纪念 David Harold Blackwell 命名,他不仅是一位专门研究博弈论和统计学的数学家,也是第一位入选美国国家科学院的黑人学者。这一新架构是继两年前推出的 NVIDIA Hopper™ 架构以来的全新架构。


Blackwell 的多项创新技术为加速计算和生成式 AI 提供助力


凭借六项变革性的技术,Blackwell 能够在拥有高达 10 万亿参数的模型上实现 AI 训练和实时 LLM 推理,这些技术包括:


● 全球最强大的芯片:Blackwell 架构 GPU 具有 2080 亿个晶体管,采用专门定制的双倍光刻极限尺寸 4NP TSMC 工艺制造,通过 10 TB/s 的片间互联,将 GPU 裸片连接成一块统一的 GPU。


● 第二代 Transformer 引擎:得益于全新微张量缩放支持,以及集成于 NVIDIA TensorRT™-LLM 和 NeMo Megatron 框架中的 NVIDIA 先进动态范围管理算法,Blackwell 将在新型 4 位浮点 AI 推理能力下实现算力和模型大小翻倍。


● 第五代 NVLink:为了提升万亿级参数模型和混合专家 AI 模型的性能,最新一代 NVIDIA NVLink® 为每块 GPU 提供突破性的 1.8TB/s 双向吞吐量,确保多达 576 块 GPU 之间的无缝高速通信,满足了当今最复杂 LLM 的需求。


● RAS 引擎:采用 Blackwell 架构的 GPU 包含一个用于保障可靠性、可用性和可维护性的专用引擎。此外,Blackwell 架构还增加了多项芯片级功能,能够利用 AI 预防性维护来运行诊断并预测可靠性相关的问题。这将最大程度地延长系统正常运行时间,提高大规模 AI 部署的弹性,使其能够连续不间断运行数周乃至数月,同时降低运营成本。


● 安全 AI:先进的机密计算功能可以在不影响性能的情况下保护 AI 模型和客户数据,并且支持全新本地接口加密协议,这对于医疗、金融服务等高度重视隐私问题的行业至关重要。


● 解压缩引擎:专用的解压缩引擎支持最新格式,通过加速数据库查询提供极其强大的数据分析和数据科学性能。未来几年,每年需要企业花费数百亿美元的数据处理将越来越多地由 GPU 加速。


一个超大规模的超级芯片


NVIDIA GB200 Grace Blackwell 超级芯片通过 900GB/s 超低功耗的片间互联,将两个 NVIDIA B200 Tensor Core GPU 与 NVIDIA Grace CPU 相连。


为了实现超高的 AI 性能,搭载 GB200 的系统可与同在今天发布的 NVIDIA Quantum-X800 InfiniBand 和 Spectrum™-X800 以太网平台连接。这两个平台均可提供速度高达 800Gb/s 的高性能网络。


GB200 是 NVIDIA GB200 NVL72 的关键组件。NVIDIA GB200 NVL72 是一套多节点液冷机架级扩展系统,适用于高度计算密集型的工作负载。它将 36 个 Grace Blackwell 超级芯片组合在一起,其中包含通过第五代 NVLink 相互连接的 72 个 Blackwell GPU 和 36 个 Grace CPU。此外,GB200 NVL72 还内置 NVIDIA BlueField®-3 数据处理器,可在超大规模 AI 云中实现云网络加速、组合式存储、零信任安全和 GPU 计算弹性。对于LLM 推理工作负载,相较于同样数量的 NVIDIA H100 Tensor Core GPU,GB200 NVL72 最高可提供 30 倍的性能提升以及多达 25 倍的成本和能耗降低。


该平台可作为一个单 GPU,具有 1.4 exaflops 的 AI 性能和 30TB 的快速内存,是组成最新一代 DGX SuperPOD 的基础模块。


NVIDIA 提供的 HGX B200 是一个通过 NVLink 连接 8 块 B200 GPU 的服务器主板,支持基于 x86 的生成式 AI 平台。基于 NVIDIA Quantum-2 InfiniBand 和 Spectrum-X 以太网网络平台,HGX B200 支持高达 400Gb/s 的网络速度。


Blackwell 的全球合作伙伴网络


合作伙伴将从今年晚些时候开始供应采用 Blackwell 架构的产品。


AWS、Google Cloud、Microsoft Azure、Oracle Cloud Infrastructure 将成为首批提供 Blackwell 驱动实例的云服务提供商。同时 NVIDIA 云合作伙伴计划的公司 Applied Digital、CoreWeave、Crusoe、IBM Cloud 和 Lambda 也将提供上述服务。Indosat Ooredoo Hutchinson、Nebius、Nexgen Cloud、Oracle EU Sovereign Cloud、Oracle US, UK, and Australian Government Clouds、Scaleway、新加坡电信、Northern Data Group 的 Taiga Cloud、Yotta Data Services 的 Shakti Cloud 和 YTL Power International 等主权 AI 云也将提供基于 Blackwell 架构的云服务和基础设施。


GB200 还将通过 NVIDIA DGX™ Cloud 提供,NVIDIA DGX™ Cloud 是一个与领先的云服务提供商共同设计的 AI 平台,可为企业开发人员提供专门的基础设施和软件访问权限,使他们能够构建并部署先进的生成式 AI 模型。AWS、Google Cloud 和 Oracle Cloud Infrastructure 计划在今年晚些时候托管采用 NVIDIA Grace Blackwell 的新实例。


Cisco、戴尔科技、慧与、联想和 Supermicro 预计将提供基于 Blackwell 产品打造的各种服务器。Aivres、永擎电子、华硕、Eviden、Foxconn、技嘉、Inventec、和硕、QCT、Wistron、纬颖和 ZT Systems 也将提供基于 Blackwell 的服务器。


此外,越来越多的软件制造商网络,包括工程仿真领域的全球领导者 Ansys、Cadence 和 Synopsys,将使用基于 Blackwell 的处理器来加速其用于设计和仿真电气、机械和制造系统及零件的软件。他们的客户可以更低成本、更高能效地使用生成式 AI 和加速计算,来加速产品上市。


NVIDIA 软件支持


Blackwell 产品组合由生产级 AI 端到端操作系统 NVIDIA AI Enterprise 支持。NVIDIA AI Enterprise 中包含同日发布的 NVIDIA NIM™ 推理微服务以及 AI 框架、程序库和工具,企业可以部署在由NVIDIA 提供加速的云、数据中心及工作站上。


了解关于 NVIDIA Blackwell 平台的更多信息,请观看 GTC 主题演讲回放并注册 GTC 以参加由 NVIDIA 和行业领导者带来的会议。本届 GTC 将持续举办至 3 月 21 日。


关键字:NVIDIA  AI  模型 引用地址:NVIDIA Blackwell 平台发布,赋能计算新时代

上一篇:行业云平台推动中国企业的业务创新
下一篇:NVIDIA 发布全新交换机,全面优化万亿参数级 GPU 计算和 AI 基础设施

推荐阅读最新更新时间:2024-11-06 20:54

Verint在Opus智能助理供应商评比中获得最高分,斩获两项大奖
Verint在智能助理成熟度、业绩记录、赋能平台及技术的评比中获得最高得分,全渠道集成功能著称业界 客户交互企业 Verint® Systems Inc. (纳斯达克股票代码:VRNT)日前宣布,在 Opus Research 《2018年企业智能助理决策者指南》中被评为智能助理(IA)解决方案供应商领导企业。共有28家来自对话式商务技术领域的创新企业入围参评,涉及智能虚拟助理和聊天机器人等解决方案。 另悉,Verint凭借其强大的客户交互自动化技术持续领跑业内,其智能自助服务解决方案近日斩获两项大奖,分别获得 AI Breakthrough 机构颁发的“最佳人工智能解决方案奖”及客户联络周刊(CCW)颁发的“年度下一代技
[物联网]
总线设备驱动模型总结
我的环境: 主机开发环境:Fedora14 开发板: TQ2440 编译器: arm-linux-gcc-4.3.2 总线设备驱动模型其实现主要是基于Kobject和sysfs等机制,对于驱动模型程序开发主要是理解三个元素:总线、设备、驱动的关系。三者之间因为一定的联系性实现对设备的控制。 首先是总线,总线是三者联系起来的基础,通过一种总线类型,将设备和驱动联系起来。总线类型中的match函数用来匹配设备和驱动。当匹配操作晚餐之后就会控制驱动程序中的probe函数。 总线设备驱动模型的设计主要包括三个元素的注册,将三个元素加载到内核中,然后通过内核的内部机制将三者联系起来。 首先,总线类型的注册,包括属性
[单片机]
AI行业人才为何工资这么高?因为缺口太大了
大卫-魏(音)所在的北京一家 人工智能 初创 企业 ,曾为吸引他跳槽而开出两倍于他原来的薪酬并持公司期权等条件。但那是8个月前,如今这名年薪40万元的27岁程序员表示后悔当时没要更多的钱,为此他正积极寻找待遇更高的下家。作为哈工大应用数学专业的研究生,魏是全世界约30万拥有先进计算机科学领域所需技能的 人才 之一,该领域是支撑从无人驾驶汽车到家庭机器人研发的基础。而相关报告显示,全球需要数百万此类人工智能(AI)人才。   被称为第四次工业革命的AI的崛起已引发担心,麦肯锡预计到2030年全球将有8亿人因此面临失业风险。但不无讽刺的是,尽管AI无处不在,这种技术却需要大量人类智力,这正是像魏这样的人才供不应求的原因。数据显示,截至
[嵌入式]
第一批被AI累死的人
一双眼睛的局部细节图出现在电脑屏幕上,小慧对着放大的眼睛,一步步地做好标记点。 一眼望过去,一排排的电脑屏幕上,都是类似的画面。也许是因为窗帘的遮光效果太好,略显昏暗的办公环境加上电脑屏幕上被放大的各种物体细节,颇为惊悚。 在某人工智能研究院看到这一幕,不觉惊叹即使是头部的AI创业公司,最关键的一环依然是从数据标注员开始的。 而这是一群被称作第一批被AI累死的人。 AI的老师:画框的这些人 伴随着AI兴起的最关键的技术莫过于深度学习,作为深度学习的基础,神经网络是一种以输入为导向的算法,其结果的准确性取决于接近“无穷”量级的数据。 所以摒除那些复杂的中间环节,深度学习最关键的就是需要大量的数据训练,这也是为什么在互联网大数据的
[机器人]
硅谷第一公民:晶体管之父威廉肖克利
HP无疑是硅谷最早的电子公司。这家成立于30年代的著名公司成了硅谷历史的源头。但是真正点燃硅谷之火,使这块土地燃起壮观的电子之光的还要等到五十年代另一位大名鼎鼎的人物驾到,这就是威廉·肖克利。是物理学家肖克利博士非凡的商业眼光,成就了硅谷,也是肖克利博士拙劣的企业才能创造了硅谷。他是硅谷的第一公民。 肖克利,1910年生于伦敦。3岁随父母举家迁往加州。从事矿业的双亲从小给他灌输科学思想,加上中学教师斯拉特的熏陶,他考入了麻省理工(MIT),获固体物理学博士学位后留校任教。不久,位于新泽西州的贝尔实验室副主任凯利来麻省“挖角”,将肖克利挖走了。 二战结束后,贝尔实验室开始研制新一代的电子管,具体由肖克利负责。1947年圣诞节前两
[焦点新闻]
“VR标准计划”获英伟达、AMD、谷歌等巨头支持
Khronos Group是由其成员所提供之基金支持的行业协会,专注于创立开放标准,免授权费的移动设备接口程序API,用以实现多样化平台及设备上的高质量动态多媒体创作和加速。 为了整合分散的虚拟现实市场,Khronos希望其建立的新标准包括用于追踪头显、控制器和其他对象的API,并方便开发者把设备集成到VR Runtime。 Khronos表示,新标准将允许开发者轻松地将其应用和游戏移植到兼容的设备,从而增强终端用户体验,增加更多的内容选择,最终促进VR的增长。 Khronos正在呼吁市场上的公司参与“VR标准计划”,而大型厂商如英伟达、AMD、Epic Games、谷歌、Oculus和Valve已经同意提供支持。
[手机便携]
物联网运算需求增 AI商机上看3,000亿美元
eeworld网消息:人工智能商机因物联网的蓬勃发展持续看涨。 在深度神经网络、绘图处理器与大数据分析三项技术的合力发展下,人工智能技术的发展速度大幅提升。 据研究机构Gartner预估,在2020年,人工智能的商机将高达3,000亿美元。 此一商机主要来自传感器的数据处理,因其有助于架构出更能满足用户特定需求的万物联网。 Gartner研究总监Angela Mclntyre表示,据Gartner预估,在2020年,人工智能商机将高达3,000亿美元,其中包括人工智能的产品与服务。 即便到去年为止,人工智能商机还只有300亿美元,不过目前许多大厂皆已投入人工智能的开发,例如微软(Microsoft)、百度、Google等,促使人工
[网络通信]
英伟达和百度合作,自动驾驶近在咫尺?
据报道,NVIDIA在CES上宣布,其于一年前推出的Xavier自主机器处理器首批样品在本季度开始交付客户。据悉,这款处理器借助AI提升驾驶体验,并为NVIDIA在自动驾驶领域的320家合作企业和机构提供未来技术路线图。Xavier将为NVIDIA DRIVE软件栈提供支持,现已扩展至NVIDIA三大AI平台。它拥有超过90亿个晶体管,NVIDIA在四年中的研发投入高达20亿美元。     早前发布的NVIDIA DRIVE AV自动驾驶车辆平台采用神经网络实现了车辆的自动驾驶。在此基础上,NVIDIA又在本次CES上推出两款全新软件平台:DRIVE IX和DRIVE AR。   DRIVE IX是一款智能体验软件开发套件,能
[嵌入式]
小广播
最新网络通信文章

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved