NVIDIA连甩多项NIM微服务！把生成式AI与USD打通了

智东西7月30日报道，在国际顶级计算机图形学会议SIGGRAPH 2024上，NVIDIA今日发布了通用场景描述（OpenUSD）的重大成果，以扩大其在机器人、工业设计和工程领域的应用，有助于帮助开发者提高构建高精度虚拟世界的能力，这对AI后续发展很是重要。

今天NVIDIA新发布的内容包括适用于AI模型的NVIDIA NIM微服务，可生成回答用户查询的OpenUSD语言、生成OpenUSD Python代码、将材质应用于3D物体、理解3D空间和物理学以帮助加快数字孪生的开发等。全球首个用于OpenUSD开发的生成式AI模型将以NVIDIA NIM微服务的形式提供。

其他还包括可用于机器人和工业仿真数据格式的全新USD连接器，以及各种开发者工具，用户可通过它们将海量NVIDIA RTX全光线追踪数据集传输到苹果Vision Pro。

通过基于OpenUSD的全新生成式AI，以及在NVIDIA Omniverse平台构建的NVIDIA加速的开发框架，越来越多的行业现在能够开发出用于可视化工业设计和工程项目的应用，以及用于构建新一代物理AI和机器人的环境仿真的应用。

一、新NIM微服务：将生成式AI应用于USD

OpenUSD是一个通用3D数据交换框架。NVIDIA去年与皮克斯、Adobe、苹果、Autodesk共同创立了OpenUSD联盟，并通过该联盟与其他伙伴一起发布了 OpenUSD的新版本、OpenUSD核心规范的进展以及新成员的加入情况。

NVIDIA开发的全球首个用于OpenUSD开发的生成式AI模型将以NVIDIA NIM微服务的形式提供。这些模型使得开发者能将生成式AI copilot和agents整合到USD工作流中，拓宽3D世界的可能性，帮助加快USD在制造业、汽车行业和机器人等新工业领域的应用。

预览版中的微服务包括：

USD Code NIM微服务：回答常识性OpenUSD问题，并基于文本提示自动生成 OpenUSD-Python代码，然后将其输入到OpenUSD查看应用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的应用，以实现相应3D数据的可视化。 USD Search NIM微服务：使开发者能够使用自然语言或图像输入，在海量OpenUSD、3D和图像数据库中进行搜索。 USD Validate NIM微服务：检查上传文件与OpenUSD发布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（应用编程接口）驱动的RTX渲染路径追踪图像。

即将提供的新微服务包括：

USD Layout NIM微服务：使用户能够基于空间智能，根据一系列文本提示组装出基于OpenUSD的场景。 USD SmartMaterial NIM微服务：预测并将逼真的材料应用于计算机辅助设计对象。 fVDB Mesh Generation NIM微服务：根据点云数据生成基于OpenUSD的网络，并通过 Omniverse Cloud API进行渲染。 fVDB Physics Super-Res NIM微服务：对帧或帧序列执行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。 fVDB NeRF-XL NIM微服务：使用Omniverse Cloud API在OpenUSD中生成大规模神经辐射场。

全球制造业巨头富士康受益于NVIDIA的计算平台，利用NIM 微服务和Omniverse为一家正在开发中的工厂创建了数字孪生。

全球领先的营销与传播服务公司WPP是USD Search和USD Code NIM微服务的早期用户之一，将这些微服务用于其基于NVIDIA Omniverse构建的生成式AI内容创建管线中，为可口可乐公司等客户提供服务。

富士康首席数字官兼智能制造平台负责人史喆认为，NVIDIA Omniverse和全新的NIM微服务将使数字孪生的开发变得更加普及，并帮助富士康的团队以前所未有的速度构建基于物理的虚拟工厂。

二、新USD连接器：加速数据无缝导入，助攻机器人开发

除了微服务外，NVIDIA还推出了多款适用于机器人数据格式和苹果Vision Pro流式传输的全新USD连接器。这些连接器将为更多行业带来OpenUSD互操作性与高级创作能力。

NVIDIA与工业巨头西门子正在扩大合作，将把OpenUSD流水线与西门子Simcenter仿真技术组合集成，以支持基于证据的决策和关键利益相关方之间的协作，实现复杂仿真数据的高保真、实时、逼真可视化，让企业能够更加深入地了解产品在实际操作环境中的性能。西门子将把Omniverse纳入到其Teamcenter产品生命周期管理软件组合中，为这项工作打好基础。

NVIDIA还发布了一个从统一机器人描述格式到OpenUSD的连接器，以便机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。

为了推动OpenUSD生态系统的扩张，NVIDIA发布了OpenUSD Exchange软件开发套件，帮助开发者创建出自己的强大OpenUSD数据连接器。

新的开发者工具和API可通过NVIDIA Graphics Delivery Network（GDN），将大规模OpenUSD场景从基于Omniverse平台构建的应用流式传输到 。目前，这些新工具和API提供抢先体验版本。

NVIDIA API目录现在提供USD Search、USD Code和USD Validate NIM微服务的预览版。OpenUSD – URDF连接器与NVIDIA Isaac Sim一起提供。

开发者可使用全新Omniverse开发者工具和参考工作流，将生成式AI集成到OpenUSD工作流中，使用OpenUSD构建生成式AI赋能的合成数据管线。

重工业的生成式AI潮已经到来

“重工业的生成式AI潮已经到来。”NVIDIA Omniverse与仿真技术副总裁Rev Lebaredian说，“直到最近，数字世界的主要用户还是创意行业；而现在，借助NVIDIA NIM微服务为OpenUSD带来的增强功能和可访问性，各个行业都可以创建基于物理学的虚拟世界和数字孪生，在加快创新的同时，为机器人这次新一轮AI技术热潮做好准备。”

NVIDIA不仅在AI领域持续领先，也是推动工业元宇宙发展的积极贡献者。今日的新发布则是NVIDIA为改变3D内容创作和交互方式所提供的新利器，也反映了这家计算巨头为推动USD发展所做出的最新努力。

数字孪生将为加速新一波工业制造和自主机器的发展提供助力。生成式AI模型则有望提供更高效、更准确的模拟，进而提高工业应用的性能和可靠性。在工业数字化和内容创作领域，越来越多的企业开始利用OpenUSD和生成式AI技术来突破工业元宇宙、数字孪生、3D内容创作等解决方案的边界。随着NVIDIA持续推出更多好用的NIM微服务和USD连接器，该公司将在这股浪潮中处于有利地位。