尽管全球的ROS开发者在技术深度上各不相同，但他们却都有一个共同的诉求：拥有一套便捷且高效率的开发工具。一个好消息是，NVIDIA最新宣布，将为ROS开发者社区提供整套感知技术。这一决定，可以说为全球ROS开发者架起了一道美丽的彩虹。

这套感知技术，主要包括基于Omniverse的NVIDIA Isaac Sim（机器人模拟应用与数据生成工具），和在Jetson平台上构建高性能解决方案的NVIDIA Isaac GEM硬件加速包等。所有移动的事物都将变得自主化。所有自主化的事物都需要先进的实时感知。对于寻求将先进计算机视觉和AI/ML功能纳入基于ROS的机器人应用程序的开发人员来说，NVIDIA的整套感知技术将大幅缩短开发时间并提高性能。

Open Robotics将扩展用于NVIDIA AI的ROS

Open Robotics首席执行官Brian Gerkey表示：“随着越来越多的ROS开发人员利用硬件平台，这些平台包含额外的计算功能，旨在减轻主机CPU的负担，ROS正在发展，以更容易有效地利用这些先进的硬件资源。我们与NVIDIA这样的加速计算领导者合作，以及其在人工智能和机器人技术创新方面的丰富经验，将为整个ROS社区带来很大益处。”

NVIDIA和Open Robotics已达成协议，将在NVIDIA Jetson边缘AI平台和基于GPU的系统上加速ROS 2性能，并在 Omniverse 上实现 Open Robotics 的 Ignition Gazebo 和 NVIDIA Isaac Sim 之间的无缝模拟互操作性。

NVIDIA Jetson 平台在很多应用领域中被机器人专家广泛采用。它旨在为机器人提供高性能、低延迟的处理，使其具有响应性、安全性和协作性。Open Robotics将通过升级ROS 2来高效管理位于NVIDIA Jetson平台上的GPU和其他处理器之间的数据流并共享内存，使负责实时处理摄像头和激光雷达等传感器高带宽数据的应用性能得到大幅提升。

除了增强机器人应用在Jetson上的部署，Open Robotics和NVIDIA正在制定整合 Ignition Gazebo 和 NVIDIA Isaac Sim 的计划。NVIDIA Isaac Sim已支持开箱即用的ROS 1和2，并通过连接Blender和Unreal Engine 4等流行应用来创建一个至关重要的3D内容生态系统。

Ignition Gazebo数十年来在整个机器人界，包括在正在进行的DARPA Subterranean Challenge等高知名度比赛中创造了许多纪录。

通过连接这两个模拟器，ROS开发者可以轻松地在Ignition Gazebo和Isaac Sim之间移动他们的机器人和环境以运行大型模拟，还可以使用高保真动力学、精确传感器模型和逼真渲染等两个模拟器的先进功能来生成用于训练和测试AI模型的合成数据。

此次合作所产生的软件预计将于2022年春季发布。

为ROS发布的Isaac GEM速度显著加快

用于ROS的Isaac GEM是一款使ROS开发者更容易在Jetson平台上构建高性能解决方案的硬件加速包。这些GEM专注于提高图像处理和基于DNN的感知模型的吞吐量，而后者对机器人专家而言正变得日益重要。这些软件包减少了主机CPU的负载，同时显著提升了性能。

用于ROS的全新Isaac GEM包含：

• SGM Stereo Disparity和 Point Cloud
• Color Space Conversion和Lens Distortion Correction
• AprilTags Detection

ROS对立体相机的支持，在ROS的Rviz工具中可以看到左侧和右侧相机视图，Rviz能显示RGB和深度图像

Isaac Sim的新功能为ROS开发者提供便利

最新版本的Isaac Sim包含对ROS开发者社区的重要支持，其中比较引人注目的是ROS2导航栈和MoveIt运动规划框架。这些示例今天即开放使用，并可在Isaac Sim文档中找到：

• Isaac Sim中的ROS示例列表
• ROS April Tag
• ROS Stereo Camera
• ROS Navigation
• ROS TurtleBot3 Sample
• ROS Manipulation和Camera Sample
• ROS Services
• MoveIt Motion Planning Framework
• Native Python ROS Usage
• ROS2 Navigation

Isaac Sim on Omniverse功能模块图，包含机器人模型、环境模型和3D资料输入

Isaac Sim生成用于训练感知的合成数据集

除了作为一个机器人模拟器之外，Isaac Sim还具备一套强大的功能，可以生成合成数据来训练和测试感知模型。随着机器人专家将更多的感知功能集成到他们的平台，这些功能将变得更加重要。显然，机器人对环境的感知能力越强，它的自主性就越强，所需的人为干预就越少。

一旦Isaac Sim生成了合成数据集，就可以将它们直接输入NVIDIA TAO（一个AI模型自适应平台），从而根据机器人的具体工作环境调整感知模型。在从目标环境中采集任何实际数据之前，就可以确保机器人的感知栈在特定工作环境中的表现。

长期以来，机器人专家在连接和集成经典机器人任务（如导航）和AI感知栈方面一直面临着各种挑战。Isaac Sim通过同时作为机器人和合成数据生成工具并与TAO训练平台进行集成解决了这一工作流程挑战。