人形机器人迎来新突破,NVIDIA发布Project GR00T基础模型

发布者:EEWorld资讯最新更新时间:2024-03-19 来源: EEWORLD关键字:NVIDIA  GR00T 手机看文章 扫描二维码
随时随地手机看文章

工信部在2023年底发布了《人形机器人创新发展指导意见》,为我国人形机器人的未来发展制定了明确的时间表和路线图。根据《指导意见》,到2025年,我国人形机器人领域将初步建立创新体系,并在关键技术上取得重要突破,包括“大脑、小脑、肢体”等核心技术的研发。届时,我国的人形机器人整机产品有望达到国际先进水平,并实现规模化生产。


人形机器人最大的难点在于学习/训练平台,目前尚未有专门针对人形机器人所开发的产品。日前NVIDIA在2024 GTC期间发布了最新的Project GR00T,将有助于推动人形机器人方面的开发。


GR00T是一个具有广泛应用潜力的基础模型,有望彻底改变仿人机器人在模拟环境和现实场景中的学习方式。通过NVIDIA强大的GPU加速技术,GR00T在模拟训练中实现了显著提升,使得人形机器人能够通过模仿学习快速掌握新技能。同时,结合NVIDIA Isaac Lab的强化学习工具,GR00T能够从有限的人类演示中汲取知识,甚至能够根据视频数据自主生成复杂的机器人动作。


该模型设计非常先进,它能够接收多模式指令——这些指令可能包括语音、手势、文本等多种格式——以及机器人过去的交互数据作为输入信息。通过对这些信息的综合处理,GR00T能够生成精确、高效的机器人动作指令,从而指导机器人在各种任务中表现出色。


GR00T 驱动的机器人将能够理解自然语言,并通过观察人类行为来模仿动作——快速学习协调、灵活性和其它技能,以便导航、适应现实世界并与之互动。在 GTC 大会的主题演讲中,NVIDIA 创始人兼首席执行官黄仁勋展示了数台这样的机器人是如何完成各种任务的。


NVIDIA 创始人兼首席执行官黄仁勋表示:“开发通用人形机器人基础模型是当今 AI 领域中最令人兴奋的课题之一。世界各地的机器人技术领导者正在汇集各种赋能技术,致力于在人工通用机器人领域实现突破。”


Isaac 平台将对GR00T优化


GR00T所依赖的Isaac工具现已全面升级,为各类机器人打造全新基础模型,重要的工具包括Isaac Lab与OSMO。


Isaac Lab,这一全新打造的轻量级应用,专为强化学习而生。它基于Isaac Sim构建,充分利用GPU加速技术,实现性能优化,可并行运行数千个机器人学习仿真,支持真实数据和合成数据。这一创新为具身智能模型的训练提供了强大支持。


与此同时,OSMO工具的引入,为异构计算的机器人开发工作负载带来了革命性变革。它能在分布式环境中高效协调数据生成、模型训练以及软硬件在环的工作流程,从而大幅提升开发效率。


此外,NVIDIA还隆重推出了Isaac Manipulator和Isaac Perceptor等一系列预训练机器人模型、库及参考硬件。Isaac Manipulator可以为机械臂实现灵活性和模块化AI功能,其强大的基础模型和GPU加速库,实现了高达80倍的路径规划加速以及零样本感知的效率提升。这一突破使得开发者能够轻松实现更多新型机器人任务的自动化。目前,安川电机、泰瑞达旗下子公司优傲、PickNik Robotics、Solomon、READY Robotics以及Franka Robotics等业界领军企业已成为早期生态系统合作伙伴。


而Isaac Perceptor则提供了多摄像头和3D环绕视觉功能,这些先进技术正被越来越多的制造业和物流业自主移动机器人所采用。它们不仅提高了工作效率,更好地保护了工人安全,同时还显著降低了错误率和成本。ArcBest、比亚迪和凯傲集团等知名企业已选择该技术,实现将物料搬运等操作提升至全新的自主化水平。


BlackWell架构的Jetson Thor发布


另外,在GTC期间,NVIDIA 还发布了一款基于 NVIDIA Thor 系统级芯片(SoC)的新型人形机器人计算机 Jetson Thor。


Jetson Thor是一个全新的SoC计算平台,能够执行复杂的任务并安全、自然地与人和机器交互,具有针对性能、功耗和尺寸优化的模块化架构。


该 SoC 包括一个带有 transformer engine 的下一代 GPU,其采用 NVIDIA Blackwell 架构,可提供每秒 800 万亿次8位浮点运算 AI 性能,以运行 GR00T 等多模态生成式 AI 模型。凭借集成的功能安全处理器、高性能 CPU 集群和 100GB 以太网带宽,大大简化了设计和集成工作。


Blackwell 架构是2024年GTC上发布的下一代GPU,具有更强的浮点 AI 推理能力。


包括1X Technologies、Agility Robotics、Apptronik、波士顿动力公司、Figure AI、傅利叶智能、Sanctuary AI、宇树科技和小鹏鹏行等公司都表示要与NVIDIA在人形机器人上进行合作。

关键字:NVIDIA  GR00T 引用地址:人形机器人迎来新突破,NVIDIA发布Project GR00T基础模型

上一篇:2024年度盛会Embedded World: Cincoze 德承全面展示Edge AI运算解决方案
下一篇:关于京都塔冠名权协议的签署以及作为“尼得科京都塔”的正式开放

推荐阅读最新更新时间:2024-11-12 08:34

NVIDIA DRIVE 为乘用车、卡车、自动驾驶出租车和无人配送车等下一代交通工具提供助力
比亚迪、昊铂、小鹏、Plus、Nuro、Waabi 和文远知行纷纷采用 DRIVE Thor; Blackwell 架构带来全新生成式AI功能 NVIDIA DRIVE Thor 是用于安全可靠的自动驾驶汽车的下一代集中式计算平台,它可将多项智能功能整合在单个系统中,从而提高了效率,降低了整体系统成本。 美国加利福尼亚州圣何塞 —— GTC —— 太平洋时间 2024 年 3 月 18 日 —— NVIDIA于今日宣布交通运输领域的领先企业已采用NVIDIA DRIVE Thor™集中式车载计算平台为其下一代乘用车和商用车提供助力,其中包括新能源汽车(NEV)、卡车、自动驾驶出租车、自动驾驶公交车和为“最后一公里”
[物联网]
<font color='red'>NVIDIA</font> DRIVE 为乘用车、卡车、自动驾驶出租车和无人配送车等下一代交通工具提供助力
英伟达RTX 50系列显卡要推迟!需重新流片提升良率
9月3日消息,据媒体报道,供应链最新消息显示,由于需要重新流片(RTO)以提升良率,RTX 50系列显卡的上市时间将比原计划有所延后,不过并未提及会在何时发布。 NVIDIA的Blackwell采用了台积电4nm制程技术,拥有2080亿个晶体管,但复杂的封装方式导致了良率问题。 CoWoS-L封装技术虽然能提供高达10TBs的传输速度,但封装过程中的精度要求极高,任何微小的缺陷都可能导致价值不菲的芯片报废。 据透露,GPU晶粒、LSI桥接、RDL中介层和主基板之间的热膨胀系数(CTE)不匹配,可能导致芯片翘曲和系统故障。 为了解决这些问题,NVIDIA不得不重新设计GPU芯片的顶部金属层和凸点,这不仅影响了AI芯片,也波及到了即将
[家用电子]
环宇智行完成新一轮融资,域控制器受英伟达、TI“加持”
近期,武汉环宇智行科技有限公司(以下简称“环宇智行”)完成数千万元的新一轮融资,由苏州资管卓璞基金领投。融资资金将用于产品研发和量产,在武汉研发和产品中心基础上,公司总部也将落地苏州。 据悉,环宇智行成立于2014年,专注于自动驾驶产品、解决方案和技术服务,聚焦L2+到L4级自动驾驶主战场。目前公司产品有HiParking智能泊车、HiPilot智能行车、Athena自动驾驶平台软件、Titan系列自动驾驶域控制器等。可为主机厂提供智能泊车、高等级智能辅助行车、自动驾驶等量产解决方案。 目前国内市场上已经出现了多家从事自动驾驶域控制器研发的企业。 据悉,目前环宇智行的域控制器产品搭载了英伟达和德州仪器的处理器,并拿到安霸高算力芯片
[手机便携]
英特尔VS英伟达,你看好哪个?
今年3月,英特尔宣布以153亿美元收购Mobileye公司,8月8日,英特尔宣布已经完成对Mobileye 84%股权的收购,计划将在今年8月底完成剩余股份的收购,这一消息如同重磅炸弹瞬间炸开。下面就随汽车电子小编一起来了解一下相关内容吧。 据资料显示,Mobileye是以色列一家知名的高级驾驶辅助系统(ADAS)厂商,于1999年成立,致力于汽车计算机视觉算法和驾驶辅助系统芯片技术的研究开发,利用摄像头、软件和传感器探测汽车前方的障碍物,从而实现自动驾驶。 收购情况简述 虽然英特尔收购了Mobileye,但在自动驾驶的研究上,Mobileye将整合英特尔的自动驾驶部门(ADG),英特尔的ADG团队将成为Mobileye的一部
[汽车电子]
对话英伟达首席科学家:解码AI芯片战局
英伟达又涨了。 从2017年1月底以来,英伟达的股价又从108美元一路飙升至240多美元,翻了一倍有多。而英伟达股价一飞冲天的背后,正是人工智能技术不断兴盛崛起、发展壮大的缩影。 英伟达成功的原因有很多,及时布局CUDA、积极推进人工智能、不断完善打造软硬件生态等,这些一个个具体业务的背后,核心是对世界科技进展的战略性前瞻与决策;只有及时预判到了下一个技术热点,才能在所有人反应过来之前积极抢占先机,乃至最终引领行业。 这一切的背后,英伟达CEO黄仁勋自然是一个重要决策者;而除了他之外,另一个角色也扮演着至关重要的位置——英伟达首席科学家兼NVIDIA Research高级副总裁,Bill Dally博士。 在EmT
[半导体设计/制造]
英伟达推出新款GPU:适合人工智能 售价2999美元
网易科技讯 12月8日消息,据VentureBeat报道,芯片巨头英伟达今天推出了一款新的桌面GPU,它的设计初衷是为那些致力于开发机器学习应用的人们提供支持。新的Titan V将为客户提供Nvidia Volta芯片,它们可以插入桌面电脑中。 英伟达在新闻稿中称,Titan V承诺在其前身“泰坦X”基础上提供更高性能,同时保持同样的功率需求。Titan V支持110teraflops的原始计算能力,是其前身的9倍。这是个适合机器学习研究人员、开发人员和数据科学家使用的芯片,他们希望能够在桌面计算机上构建和测试机器学习系统。 GPU擅长于执行训练机器学习系统所需的计算类型,而英伟达的Volta架构旨在为这些任务提供进一步的性能提
[半导体设计/制造]
台积电CoWoS产能被NVIDIA、Google AI芯片塞爆 启动龙潭厂大扩产
台积电旗下已坐冷板凳许久的高价CoWoS(Chip on Wafer on Substrate)封测产能,近期传出受惠于NVIDIA人工智能(AI)芯片订单涌入,加上Google第二代AI芯片TPU2助阵,台积电内部已感受到CoWoS产能将供不应求,计划在龙潭封测三厂启动有史以来的首次CoWoS大扩产,凸显半导体产业逐步走向AI、机器学习的新应用时代,台积电全面启动相关布局。台积电对此则表示不便评论,但客户若有需要就会扩产。 台积电面对演算法精进与大数据加速普及,决定全力押宝高速运算(HPC)应用前景,共同执行长刘德音曾指出,深度学习是近50年来AI架构最大突破,高速运算技术已发酵至各应用层面,AI时代全面来临,台积电将以高速
[半导体设计/制造]
拼上最后一块“CPU拼图” 集齐“三芯”的英伟达想召唤什么
芯点评──以最快的速度了解产业时事新闻,以最独到的角度点评产业发展趋势。 集微网报道,以GPU见长的英伟达发布了首款基于Arm架构的数据中心CPU,或许令不少人惊讶。今年的GTC 21上,皮衣教主黄仁勋又一次在自家厨房进行他的重磅主题演讲,介绍了英伟达AI、汽车、机器人、5G、实时图形、协作和数据中心等领域的最新进展。 随着CPU拼图的凑齐,英伟达进入了CPU、GPU和DPU“三芯”组合拳时代。 而面向未来AI、自动驾驶、5G更智能的时代,巨头们似乎都做出了相似的选择——去年以CPU见长的英特尔发布了自研GPU;AMD也在拥有CPU和GPU的基础上要收购FPGA。 芯片融合时代不断深入,这也意味着芯片行业的竞争已经进入了新的阶段
[手机便携]
小广播
最新工业控制文章

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved