今早，加速机器在美国丹佛举行的人形人增第51届siggraph图形大会上，nvidia宣布，布扩将为全球领先的展微支持机器人制造商、ai模型开发者和软件制造商提供一套支持、加速机器模型以及计算平台，人形人增以开发、布扩训练和构建下一代人形机器人。展微支持
nvidia带来了适用于openusd语言、几何体、布扩物理学和材质的展微支持生成式ai模型与nim微支持。这一新支持将加速基于通用场景描述的加速机器工作流以及工业数字孪生和机器人的开发。
nvidia 创始人兼 ceo 黄仁勋表示，人形人增“ai 的布扩下一波浪潮是机器人，其中最令人兴奋的增长之一是人形机器人。我们正在推进整个 nvidia 机器人堆栈的增长，面向全球人形机器人开发者和公司开放访问，让他们能够使用最符合其需求的平台、加速库和 ai 模型。”
值得一提的是，黄仁勋还同 meta 创始人兼 ceo 马克·扎克伯格进行了炉边谈话。二人一同探讨了基础研究如何推动ai突破性进展，以及生成式ai和开源工艺如何为开发者和创作者赋能。
将生成式ai引入openusd
在本次大会上，nvidia发布了通用场景描述（openusd）的重大成果。据介绍，nvidia将扩大这一通用3d信息交换框架在机器人、工业设计和工程领域的应用，提高开发者为ai新一轮增长构建高精度虚拟世界的能力。
本次新推出的内容包括，适用于ai模型的nvidia nim™微支持。
这些微支持可生成回答客户查询的openusd语言、生成openusd python代码、将材质应用于3d物体、理解3d空间和物理学以帮助加快数字孪生的开发等。
此外，还包括可用于机器人和工业仿真信息格式的全新usd连接器，以及各种开发者工具，客户可通过它们将海量nvidia rtx™全光线追踪信息集传输到apple vision pro。
公开资料介绍，nim 全称为 nvidia inference microservice，即英伟达推理微支持，是 nvidia ai enterprise 的一部分，可以帮助客户快速部署产物级 ai 大模型应用。
全球首个用于openusd开发的生成式ai模型也将以nvidia nim微支持的形式提供。借助这些模型，开发者能够将生成式ai copilot和智能体整合到usd工作流中，拓宽3d世界的可能性，帮助加快usd在制造业、汽车行业和机器人等新工业领域的应用。
预览版中的微支持包括：
· usd code nim微支持：回答常识性openusd问题，并基于文本提示自动生成 openusd-python代码，然后将其输入到openusd查看应用程序（例如皮克斯的usdview）或基于nvidia omniverse kit的应用，以实现相应3d信息的可视化。
· usd search nim微支持：使开发者能够使用自然语言或图像输入，在海量openusd、3d和图像信息库中进行搜索。
· usd validate nim微支持：检查上传文件与openusd发布版本的兼容性，并生成完全由nvidia omniverse cloud api（应用编程接口）驱动的rtx渲染路径追踪图像。
即将提供的新微支持包括：
· usd layout nim微支持：使客户能够基于空间智能，根据一系列文本提示组装出基于 openusd的场景。
· usd smartmaterial nim微支持：预测并将逼真的材料应用于计算机辅助设计对象。
· fvdb mesh generation nim微支持：根据点云信息生成基于openusd的网络，并通过 omniverse cloud api进行渲染。
· fvdb physics super-res nim微支持：对帧或帧序列执行ai超分辨率 ，生成基于openusd的高分辨率物理仿真。
· fvdb nerf-xl nim微支持：使用 omniverse cloud api 在 openusd中生成大规模神经辐射场。
加速人形机器人增长
开发者还可以通过访问新的 nvidia nim 微支持，用于 isaac lab 和 isaac sim 中的机器人仿真、osmo 机器人云端服务编排支持和远程操作信息捕获工作流等。
nim 微支持提供了由 nvidia 推理软件提供支持的预构建容器，使开发者能够将部署时间从数周缩短到几分钟。
机器人专家则将能够通过两项新的 ai 微支持，在 nvidia isaac sim™（基于 nvidia omniverse™ 平台构建的机器人仿真参考应用）中增强生成式物理 ai 仿真工作流：
mimicgen nim 微支持可根据 apple vision pro 等空间计算设备记录的远程操作信息，生成合成运动信息。robocasa nim 微支持可在 openusd（一个用于在 3d 世界中进行开发和协作的通用框架）中生成机器人任务和仿真就绪环境。
现已推出的 nvidia osmo 是一项云原生托管支持，允许客户跨分布式计算资源来协调和扩展复杂的机器人开发工作流，无论是在本地还是在云端。
osmo 大大简化了机器人训练和仿真工作流，将部署和开发周期从数月缩短到一周内。客户可以对各种任务进行可视化运营，包括合成信息生成、模型训练、强化学习以及大规模的人形机器人、自主移动机器人和工业机械臂软件在环测试。
同时，nvidia 还提供了三个计算平台来简化人形机器人的开发，分别是：用于训练模型的 nvidia ai 超级计算机；基于 omniverse 构建的 nvidia isaac sim，使机器人可以在仿真世界中学习和完善技能；以及用于运行模型的 nvidia jetson™ thor 人形机器人计算机。开发者可以根据具体需求来访问和使用全部平台或其中的任何部分。雷峰网(公众号：雷峰网)
usd连接器赋能千行百业
多款适用于机器人信息格式和apple vision pro流式传输的全新usd连接器将为更多行业带来 openusd 互操作性与高级创作能力。
据介绍，当前，为帮助更多使用 openusd的工业工作负载，nvidia与西门子正在扩大合作，西门子将把openusd 流水线与其simcenter仿真工艺组合集成，以支持基于证据的决策和关键利益相关方之间的协作。这一集成可以实现复杂仿真信息的高保真、实时、逼真可视化，让企业能够更加深入地了解产物在实际操作环境中的性能。为打好基础，西门子还将把omniverse纳入到其teamcenter 产物生命周期运营软件组合中。
nvidia还发布了一个从统一机器人描述格式（unified robotics description format）到openusd的连接器，让机器人专家能够将他们的机器人信息无缝导入到用于设计、仿真和强化学习等用途的各种应用中。
除此之外，为了进一步推动openusd生态系统的扩张，nvidia发布了openusd exchange软件开发套件，帮助开发者创建出自己的openusd信息连接器。
新的开发者工具和api可通过nvidia graphics delivery network（gdn），将大规模openusd场景从基于omniverse平台构建的应用流式传输到 apple vision pro。目前，这些新工具和api提供抢先体验版本。
目前，nvidia api目录提供有usd search、usd code 和 usd validate nim微支持的预览版，openusd - urdf连接器也已与 nvidia isaac sim™一起提供。雷峰网雷峰网
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
