“AI的下一波浪潮是机器人，其中最令人兴奋的发展之一是人形机器人。我们正在推进整个NVIDIA机器人堆栈的发展，面向全球人形机器人开发者和公司开放访问，让他们能够使用最符合其需求的平台、加速库和AI模型。”当地时间 2024年7月29日，NVIDIA创始人兼CEO黄仁勋，在美国科罗拉多州丹佛市举行的国际计算机图形顶级会议ACM SIGGRAPH 2024上表示。

与此同时，NVIDIA宣布为了帮助全世界机器人制造商、AI 模型开发者和软件制造商更好地构建和训练下一代人形机器人，该公司将为其提供包括服务、模型以及计算平台在内的整套产品。

（来源：资料图）

据介绍，全套产品包含全新NVIDIA NIM™微服务和框架、NVIDIA OSMO编排服务，以及支持AI和仿真的远程操作工作流。

NVIDIA认为，模拟不仅可以帮助构建机器人及其工作环境，还能够应用于培训生产系统。

所推出的NIM微服务，是使用NVIDIA推理软件预构建的容器，现在则能以服务的形式提供，帮助开发者将模型部署时间从原来的数周时间降低至几分钟。

NVIDIA生成式AI软件产品管理副总裁Kari Briski表示，“企业需要一条快速的途径来实现投资回报。这促使NVIDIA NIM标准化了AI模型的部署，并且基于计算统一设备架构（CUDA，Compute Unified Device Architecture）实现开箱即用。”

该公司表示，这一服务包含两种新型AI微服务，分别是MimicGen NIM微服务和Robocasa NIM 微服务，可以帮助机器人开发者在NVIDIA Isaac Sim™中增强生成式物理AI的模拟工作流程。

其中，前者能够基于空间计算设备（如Apple Vision Pro等）记录的数据，实现合成运动数据的生成；后者可以在通用场景描述（OpenUSD，Universal Scene Description）中，生成机器人任务和仿真就绪环境。

需要说明的是，NVIDIA Isaac Sim™是在NVIDIA Omniverse™平台上构建的一款参考应用程序，可以让开发者在基于物理的虚拟环境中设计、模拟、测试和训练由AI驱动的机器人和自主机器[1]。

而NVIDIA OSMO编排服务，则是一项云原生托管服务。不管是在云上还是在本地，它都可以帮助机器人开发者跨越分布式计算资源，能针对难度和复杂度都比较高的机器人开发工作流，进行有效协调和扩展。

NVIDIA指出，该服务能够在很大程度上简化机器人训练和仿真工作流，将部署和开发的周期从数月减少到一周内。

对于开发者而言，他们也可以对包括模型训练、合成数据生成、自主移动机器人测试等在内的各种任务，进行可视化管理。

大量数据，在训练人形机器人或其他机器人的基础模型时必不可少。此前，开发者多采用远程操作的方式，来获取人类演示数据，但成本高昂且耗时。

基于此，NVIDIA提出了一种使用AI和Omniverse的工作流程，能帮助开发者使用比以前少得多的人类演示数据，生成大量合成运动和感知数据。

具体来说，开发者可以先用空间计算设备获取少数远程操作演示数据，然后在NVIDIA Isaac Sim™中模拟录像，并使用MimicGen NIM微服务从录像中生成合成数据集。

接着，开发者可以基于全部数据，训练人形机器人基础模型，从而降低所花费的时间和成本。最后，再基于Robocasa NIM 微服务，再一次对机器人模型进行训练。

NVIDIA指出，在整个工作流中，NVIDIA OSMO可以将计算任务妥帖地分配给不同的资源，这能为开发者减少数周的管理工作量。

对此，通用机器人平台公司傅利叶公司的CEO Alex Gu表示：“人形机器人的开发极其复杂，这项工作需要从现实世界中繁琐地获取大量真实数据。NVIDIA的全新仿真和生成式AI开发者工具，将有助于引导和加速我们的模型开发工作流。”

为降低人形机器人的开发复杂度，NVIDIA提供了如下平台，而开发者可以根据具体需求使用全部产品或其中的任何一部分。

其一，用于训练模型的NVIDIA AI超级计算机；其二，NVIDIA Isaac Sim；其三，用于运行模型的NVIDIA Jetson™ Thor人形机器人计算机。

借助新的NVIDIA人形机器人开发者计划，开发者可以及时获取上述新产品，以及最新版本的 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor和Project GR00T通用人形机器人基础模型等。

据了解，目前1x、波士顿动力公司、字节跳动ByteDance Research、Field AI、Figure、傅利叶、银河通用等企业，已经成为首批加入早期访问计划的公司。

在当前的生成式AI浪潮中，NVIDIA极大助力了各种大模型的研发。而在接下来的AI机器人浪潮中，NVIDIA也将继续发挥力量，助力AI进入千家百户。

文章来源：DeepTech深科技，版权属于原作者，本网站仅用于公益宣传，转载请注明文章作者及来源。如有侵权请联系我们及时删除。