历史上的今天

今天是:2024年09月29日(星期日)

正在发生

2021年09月29日 | 面向ROS开发者的NVIDIA AI Perception

发布者:诚信与爱 来源: 厂商供稿作者: Lemontree 手机看文章 扫描二维码
随时随地手机看文章

所有移动的事物都将变得自主化。 所有自主化的事物都需要先进的实时感知。

NVIDIA这一最新宣布,向ROS开发者社区提供整套感知技术。对于寻求将先进视觉和/ML功能纳入基于ROS的机器人应用程序的开发人员来说,这将缩短开发时间并提高性能。

 

Open Robocs将扩展用于NVIDIA AI的ROS

Open RoboTIcs首席执行官Brian Gerkey表示:“随着越来越多的ROS开发人员利用硬件平台,这些平台包含额外的计算功能,旨在减轻主机的负担,ROS正在发展,以更容易有效地利用这些先进的硬件资源。我们与NVIDIA这样的算领导者合作,以及其在人工智能和机器人技术创新方面的丰富经验,将为整个ROS社区带来很大益处。”

NVIDIA和Open RoboTIcs已达成协议,将在NVIDIA Jetson边缘AI平台和基于的系统上加速ROS 2性能,并在 Omniverse 上实现 Open RoboTIcs 的 Ignition Gazebo 和 NVIDIA Isaac Sim 之间的无缝模拟互操作性。

NVIDIA Jetson 平台在很多应用领域中被机器人专家广泛采用。它旨在为机器人提供高性能、低延迟的处理,使其具有响应性、安全性和协作性。Open Robotics将通过升级ROS 2来高效管理位于NVIDIA Jetson平台上的GPU和其他处理器之间的数据流并共享内存,使负责实时处理摄像头和等高带宽数据的应用性能得到大幅提升。

除了增强机器人应用在Jetson上的部署,Open Robotics和NVIDIA正在制定整合 Ignition Gazebo 和 NVIDIA Isaac Sim 的计划。NVIDIA Isaac Sim已支持开箱即用的ROS 1和2,并通过连接Blender和Unreal Engine 4等流行应用来创建一个至关重要的3D内容生态系统。

Ignition Gazebo数十年来在整个机器人界,包括在正在进行的DARPA Subrranean Challenge等高知名度比赛中创造了许多纪录。

通过连接这两个模拟器,ROS开发者可以轻松地在Ignition Gazebo和Isaac Sim之间移动他们的机器人和环境以运行大型模拟,还可以使用高保真动力学、精确传感器模型和逼真渲染等两个模拟器的先进功能来生成用于训练和AI模型的数据。

此次合作所产生的预计将于2022年春季发布。

为ROS发布的Isaac GEM速度显著加快

用于ROS的Isaac GEM是一款使ROS开发者更容易在Jetson平台上构建高性能解决方案的硬件加速包。这些GEM专注于提高图像处理和基于DNN的感知模型的吞吐量,而后者对机器人专家而言正变得日益重要。这些软件包减少了主机CPU的负载,同时显著提升了性能。

用于ROS的全新Isaac GEM包含:

● SGM Stereo Disparity和 Point Cloud

● Color Space Conversion和Lens Distortion Correction

● AprilTags Detection

图1 ROS对立体相机的支持,在ROS的Rviz中可以看到左侧和右侧相机视图。Rviz能显示RGB和深度图像。

Isaac Sim的新功能为ROS开发者提供便利

本的Isaac Sim包含对ROS开发者社区的重要支持,其中比较引人注目的是ROS2导航栈和MoveIt运动规划框架。这些示例今天即开放使用,并可在Isaac Sim文档中找到:

Isaac Sim中的ROS示例列表

● ROS April Tag

● ROS Stereo Camera

● ROS Navigation

● ROS TurtleBot3 Sample

● ROS Manipulation和Camera Sample

● ROS Services

● MoveIt Motion Planning Framework

● Native ROS Usage

● ROS2 Navigation

图2 Isaac Sim on Omniverse功能模块图,包含机器人模型、环境模型和3D输入。

Isaac Sim生成用于训练感知的合成数据集

除了作为一个机器人模拟器之外,Isaac Sim还具备一套强大的功能,可以生成合成数据来训练和测试感知模型。随着机器人专家将更多的感知功能集成到他们的平台,这些功能将变得更加重要。显然,机器人对环境的感知能力越强,它的自主性就越强,所需的人为干预就越少。

一旦Isaac Sim生成了合成数据集,就可以将它们直接输入NVIDIA TAO(一个AI模型自适应平台),从而根据机器人的具体工作环境调整感知模型。在从目标环境中采集任何实际数据之前,就可以确保机器人的感知栈在特定工作环境中的表现。

长期以来,机器人专家在连接和集成经典机器人任务(如导航)和AI感知栈方面一直面临着各种挑战。Isaac Sim通过同时作为机器人和合成数据生成工具并与TAO训练平台进行集成解决了这一工作流程挑战。

https://www.ixigua.com/7010968939471569416?utm_source=xiguastudio

更多精彩内容,敬请期待 ROS World和2021年GTC大会

NVIDIA正在为2021年10月21日至22日的ROS World做准备。我们计划为Jetson开发者发布更多新的GEM,包括多个常用的DNN。我们还将发布多项支持ROS开发者社区的Isaac Sim功能。欢迎莅临我们的虚拟展台,参加NVIDIA ROS圆桌会议,观看关于Isaac Sim的技术演示等精彩内容。

在即将于11月8日至11日举行的GTC大会上,NVIDIA将为大家带来精彩纷呈的演讲、讲座和内容。我们专为机器人开发者准备了一个通道,其中包含Open Robotics首席执行官兼联合创始人Brian Gerkey的演讲。此外,我们还将举办涵盖NVIDIA Jetson、Isaac ROS、Isaac Sim、Isaac GYM等主题的讲座。

即刻启程

即刻体验NVIDIA AI Perception,请使用以下链接:

点击此处用于ROS 的Isaac GEM

点击此处进一步了解Isaac Sim

点击此处获取关于使用Isaac Sim生成合成数据的教程

点击此处进一步了解使用Tao工具包加速训练

引用地址:面向ROS开发者的NVIDIA AI Perception

上一篇:瓴盛科技迎新战略投资者 携手小米赋能产业发展
下一篇:使用莱迪思Automate解决方案集合实现具有预测性维护功能的电机控制

推荐阅读

   雷蛇公司去年推出的游戏手机 Razer Phone 在市场上收到非常不错的反响,所以近日他们又准备推出后续机型 Razer Phone 2 。Razer Phone 2 将会采用夏普 IGZO 的 2K 屏幕,搭载高通骁龙 845 处理器,配备 8GB 内存以及 512GB 存储空间,但看配置就知道它是为游戏而生。日前,知名爆料人 evleaks 更是直接曝出雷蛇 Razer Phone...
在上篇中,车叔盘点了一些近年来汽车上比较新奇的功能,有车载无人机、全息挡风玻璃、狗狗模式等新功能,下篇将会更加精彩。废话不多说,直接开始盘点。OTA更新OTA即Over-the-Air,直译为通过空气,说文雅点便是云更新。在过去,汽车的车机系统更新都需要去当地的4S店,现在有OTA升级就不需要了,直接通过网络就可以随时随地为汽车软件进行更新。像是特斯...
设计任何芯片的关键步骤之一就是在获得第一批芯片后进行的测试。在测试中,您终于可以看到全部悉心工作的成果,并确定芯片是否按照设计和仿真运行。这称为IC验证。验证的重点是功能测试 - 检查硅芯片是否符合最初要求。这通常涉及一系列表征以及基本功能的测试,以确保设计中没有漏洞。 验证步骤与生产测试是分开的,生产测试的重点是快速准确地找到存在制...
#include "stm32f0xx.h"#include "stm32_lib/inc/stm32f0xx_rcc.h"#include "stm32_lib/inc/stm32f0xx_gpio.h"#include "stm32_lib/inc/stm32f0xx_usart.h"#include "stm32_lib/inc/stm32f0xx_misc.h" #include "delay.h" int main(void){ //1、使能时钟 RCC_AHBPeriphClockCmd(RCC_AHBPeriph_GPIOA, ENABLE); RCC_APB2PeriphClockCmd(RCC_APB2Per...

史海拾趣

问答坊 | AI 解惑

吕东风:联合才能做强,适时进军行业企业市场

[OPENVOIP.CN讯] VOIP在经历了2005年的快速发展和2005年底的“封杀”风波之后,进入了崭新的2006年,从各种渠道传出的消息可以看出,2006年应该是VOIP行业的关键一年,政策的逐步开放及行业市场的渐渐成熟,都使我们面临着新的局面和新的选择。   ...…

查看全部问答∨

ShellExecuteEx 大家分析一下为什么没有在指定的窗口里显示?

//  窗体的创建:         m_hHtmlWnd = ::CreateWindow (DISPLAYCLASS,                 NULL,                 dwStyle, &nb ...…

查看全部问答∨

LED接口实验不会做……

实验要求: 利用8255并行接口控制的原理。 TPC-H实验向上有两个七段的LED数码显示管,要求用其做秒表显示(从00~59循环计数),每分钟误差不大于1秒。 利用8255的A口作LED数码显示的段驱动,C口输出作为位驱动(显示刷新频率不低于30次每秒) T ...…

查看全部问答∨

单片机控制步进电机代码求解

uchar code ffw[8]={0xfe,0xfc,0xfd,0xf9,0xfb,0xf3,0xf7,0xf6}; //反转uchar code rfw[8]={0xf6,0xf7,0xf3,0xfb,0xf9,0xfd,0xfc,0xfe}; //正转看到C语言写控制程序的时候都写类似的一些语句,很想知道为什么是里面的那些数,是随便想的还是有根据 ...…

查看全部问答∨

msp430f2002

我用msp430f2002做开发板。在JTAG接口接到6.7.8.9.11管脚后。这几个管脚便无法使用了。这个问题怎么解决的啊~ 我是个新手,才学430不久。…

查看全部问答∨

LAUNCHPAD上的U5 CAT24FC32UI能被我们利用吗

板上这个EEPROM能不能让我们通过P1.6和P1.7利用I2C读写数据?…

查看全部问答∨

DMA传输数据的具体分析

#include "msp430x54x.h" //*********************************************************** const char testconst[6] = { 0x0, 0x3, 0x0, 0x3, 0x0, 0x3 }; void main(void) {       WDTCTL = WDTPW + WDTHOLD;  ...…

查看全部问答∨

ATmega16a 芯片端口相关操作的库封装

AVR与STC等一些不跑操作系统的单片机,我们要想对其进行编程,首先需要了解其内部寄存器的配置,例如:做串口通信时,需要了解串口波特率、字长、校验位等相关信息的寄存器配置。芯片中各个寄存器所代表的信息不要求你能背下来,只需要你能理解,当 ...…

查看全部问答∨
小广播
最新机器人文章

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关:

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区中关村大街18号B座15层1530室 电话:(010)82350740 邮编:100190

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved