游戏、创作之外,NVIDIA将生成式AI推向机器人领域

2024-01-09 11:52:28 来源: 半导体行业观察

生成式 AI 正在重塑价值数万亿美元的产业。过去一年,生成式AI的爆火让NVIDIA在整个AI领域大放异彩,GPU一时敌手难逢。从一开始,NVIDIA 就一直是这场生成式 AI 变革的核心。2024年伊始,AI浪潮正在席卷近日召开的CES 2024。而在此次大会上,NVIDIA展示了其在生成式 AI 技术方面的最新进展,并推出了一系列面向游戏玩家和内容创作者的新产品和服务。
 
其中包括:
 1)Chat with RTX:使用检索增强生成技术连接 RTX 加速的大语言模型和用户的数据,以创建逼真的文本、图像和视频。
2) NVIDIA ACE:一个使用生成式 AI 让虚拟数字人物变得栩栩如生的技术平台。
3)Getty Images iStock:基于 NVIDIA Picasso 开发的生成式 AI 服务,可用于创建 4K 图像。
4)NVIDIA 还推出了全新的 GeForce RTX 40 SUPER 系列 GPU,性能比前代产品大幅提升。该系列 GPU 支持 4K 全景光线追踪游戏,并可用于加速生成式 AI 应用。
5)NVIDIA 推出了 RTX Remix 应用,可用于使用生成式 AI 纹理工具重制经典游戏。 

除了游戏和内容创作者领域,生成式AI的影响远不止于此。因此NVIDIA还将目光放到了机器人身上。NVIDIA 机器人和边缘计算副总裁 Deepu Talla 预测,生成式 AI 的影响将超越文本和图像生成,进入到家庭和办公室、农场和工厂、医院和实验室中。
 
 
 
生成式AI为何适合于机器人?
 
在 CES 上的特别演讲中,Talla详细介绍了 NVIDIA 及合作伙伴是如何将生成式 AI 与机器人技术相结合的。Talla 表示:“由 AI 驱动的自主机器人越来越多地应用于提高效率、降低成本和解决劳动力短缺问题。”
 
其关键在于,类似于人类大脑语言中心的大语言模型(LLM),使机器人能够更自然地理解和响应人类指令。这些机器能够不断地向人类、彼此和周围的世界学习。Talla 表示:“鉴于这些特性,生成式 AI 非常适合用于机器人技术。”LLM 可以将普通用户变成技术艺术家,能够创建复杂机器人工作单元或整个仓库仿真。
 
以前的机器人是为特定任务而专门制造的,而根据不同任务来修改机器人十分耗时。而LLM 和视觉语言模型领域的进步正在消除这一瓶颈,使我们能够通过自然语言与机器人进行更直观的交互。
 
NVIDIA Isaac 平台助力机器人实现智能化转型
 
在机器人领域,NVIDIA Isaac 和 Jetson 平台等NVIDIA技术能够为 AI 机器人的开发和部署提供助力,而且据NVIDIA透露,这些机器人平台已经被超过120万名开发人员和 10,000 名客户和合作伙伴所使用。其中包括亚德诺半导体、Aurora Labs、Canonical、追觅创新科技、DriveU、e-con Systems 、Ecotron、Enchanted Tools、GlüxKind、禾赛科技、Leopard Imaging、九号公司(未岚大陆(北京)科技有限公司)、Nodar、奥比中光、QT Group、速腾聚创、Spartan Radar、TDK、Telit、宇树科技、Voyant Photonics 和一径科技等。
 
借助 NVIDIA Picasso 等生成式 AI 工具,用户可以根据简单的文字提示来生成逼真的 3D 资产,并将其添加到数字场景中,以实现动态、全面的机器人训练环境。这一功能还可扩展到在 Omniverse 中创建多样化且符合物理学的场景,从而加强机器人的测试和训练,保证机器人在现实世界中的适用性。这与生成式 AI 在重新构建机器人部署方式上的变革潜力不谋而合。
 
Talla 在演讲中展示了将 AI 部署到机器人技术中所必需的双计算机模型(如下),展现出 NVIDIA 在 AI 开发和应用方面的全面性。
  
 
第一台计算机被称为“AI 工厂”,是创建和不断改进 AI 模型的核心。AI 工厂使用了 NVIDIA 数据中心计算基础设施以及 NVIDIA AI 和 NVIDIA Omniverse 平台,可以仿真和训练 AI 模型。
 
第二台计算机代表机器人的运行环境:运行环境根据应用的不同而有所变化,比如可以是云或数据中心;对于半导体制造中的缺陷检测等任务则是本地服务器;配备多个传感器和摄像头的自主机器也可能成为运行环境。
 
Agility Robotics、NTT 和其他公司正在将生成式 AI 整合到他们的机器人中,以帮助理解文本或语音命令。追觅科技的机器人吸尘器,正在由生成式 AI 模型创建的模拟生活空间中接受训练。同时,Electric Sheep 也正在开发一种自动割草的全球范式。
 
结语
 
在 NVIDIA 的 Isaac 平台等技术的支持下,生成式 AI 正在被越来越多地应用于机器人领域。随着技术的不断发展,生成式 AI 将在未来发挥更加重要的作用,推动机器人技术的不断创新。
 
责任编辑:sophie

相关文章

半导体行业观察
摩尔芯闻

热门评论