A NVIDIA anuncia novas bibliotecas do NVIDIA Omniverse e modelos de base mundial (WFMs) do NVIDIA Cosmos que aceleram o desenvolvimento e a implantação de soluções de robótica.
Impulsionados pelos novos servidores NVIDIA RTX PRO e NVIDIA DGX Cloud, as bibliotecas e modelos permitem que os desenvolvedores em qualquer lugar desenvolvam gêmeos digitais com precisão física, capturem e reconstruam o mundo real na simulação, gerem dados sintéticos para treinamento de modelos de IA física e criem agentes de IA que entendam o mundo físico.
“Computação gráfica e IA estão convergindo para transformar fundamentalmente a robótica. Ao combinar o raciocínio de IA com simulação escalável e fisicamente precisa, estamos capacitando os desenvolvedores a criarem os robôs e veículos autônomos do futuro que transformarão trilhões de dólares em setores”,
diz Rev Lebaredian, vice-presidente do Omniverse e tecnologias de simulação da NVIDIA.
“A NVIDIA tem trabalhado para abrir caminho para que desenvolvedores e empresas criem robôs mais inteligentes, capazes de entender e interagir com o mundo físico de maneiras mais realistas e precisas. Essas inovações não são apenas avanços tecnológicos, mas a próxima geração de automação, de fábricas a cidades inteligentes, permitindo a simulação, o treinamento e a implantação de sistemas robóticos com velocidade e precisão sem precedentes”,
destaca Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para a América Latina.
Novas bibliotecas do NVIDIA Omniverse impulsionam aplicações de composição mundial
Novos kits de desenvolvimento de software (SDKs) e bibliotecas do NVIDIA Omniverse agora estão disponíveis para criação e implantação de aplicações de simulação industrial de IA e robótica.
- Os novos SDKs do Omniverse apresentam melhorias inovadoras na qualidade de renderização e no desempenho do Omniverse RTX Renderer, permitindo o Path Tracing em tempo real para gêmeos digitais e simulação de robótica em escala. Também apresentam interoperabilidade de dados entre MuJoCo (MJCF) e Universal Scene Description (OpenUSD), permitindo que mais de 250.000 desenvolvedores de aprendizado de robôs da MJCF simulem robôs sem interrupções em plataformas.
- As novas bibliotecas e modelos de IA do Omniverse NuRec apresentam para o Omniverse RTX o Gaussian splatting 3D com ray tracing, uma técnica de renderização que permite que os desenvolvedores capturem, reconstruam e simulem o mundo real em 3D usando dados de sensores.
- Os frameworks de simulação e aprendizado de robôs de código aberto NVIDIA Isaac Sim™ 5.0 e NVIDIA Isaac Lab2 agora estão disponíveis no GitHub. O Isaac Sim agora inclui renderização neural da NuRec e novos esquemas de robôs e sensores baseados em OpenUSD que ajudam os desenvolvedores de robôs a preencher a lacuna entre a simulação e a realidade.
A renderização do Omniverse NuRec está agora integrada ao CARLA, um simulador líder de código aberto usado por mais de 150.000 desenvolvedores. Foretellix, líder em cadeias de ferramentas para veículos autônomos (VA), está integrando a NuRec e a NVIDIA Omniverse Sensor RTX™. O mecanismo de dados da Voxel51 para IA visual e multimodal, FiftyOne, oferece suporte à NuRec para facilitar a preparação de dados para reconstruções. FiftyOne é usado por clientes como Ford e Porsche.
Boston Dynamics, Figure AI, Hexagon, RAI Institute, Lightwheel e Skild AI estão adotando as bibliotecas do Omniverse, o Isaac Sim e o Isaac Lab para acelerar o desenvolvimento de robôs com inteligência artificial, enquanto a Amazon Devices & Services está utilizando essas tecnologias para viabilizar uma nova solução de manufatura.
Cosmos avança a geração de mundos para robótica
Os WFMs do Cosmos, já baixados mais de 2 milhões de vezes, permitem que desenvolvedores gerem dados diversos para treinar robôs em larga escala usando comandos de texto, imagem e vídeo.
Novos modelos anunciados na SIGGRAPH oferecem avanços significativos em velocidade, precisão, suporte a idiomas e controle na geração de dados sintéticos:
- Cosmos Transfer-2, em breve, simplifica o uso de prompts e acelera a geração de dados sintéticos fotorrealistas a partir de cenas de simulação 3D reais ou entradas de controle espacial, como profundidade, segmentação, bordas e mapas de alta definição.
- Uma versão destilada do Cosmos Transfer reduz o processo de destilação de 70 etapas para apenas uma, permitindo que os desenvolvedores executem o modelo em servidores NVIDIA RTX PRO com velocidade sem precedentes.
Lightwheel, Moon Surgical e Skild AI estão utilizando o Cosmos Transfer para acelerar o treinamento de IA física, simulando diversas condições em larga escala.
Cosmos Reason revoluciona a compreensão de mundo
Desde a introdução do modelo CLIP da OpenAI, os modelos de visão e linguagem (VLMs) transformaram tarefas de visão computacional, como reconhecimento de objetos e padrões. No entanto, eles ainda não conseguiam resolver tarefas de múltiplas etapas, lidar com ambiguidades ou experiências inéditas.
O NVIDIA Cosmos Reason — um novo VLM de raciocínio, aberto, personalizável e com 7 bilhões de parâmetros para IA física e robótica — permite que robôs e agentes de visão com IA raciocinem como humanos, usando conhecimento prévio, compreensão de física e bom senso para entender e agir no mundo real.
O Cosmos Reason pode ser usado em aplicações de robótica e IA física, incluindo:
- Curadoria e anotação de dados, permitindo que desenvolvedores automatizem a curadoria e anotação de grandes e diversos conjuntos de dados de treinamento com alta qualidade.
- Planejamento e raciocínio de robôs, atuando como o “cérebro” para a tomada de decisões deliberada e metódica em um modelo de ação de visão e linguagem (VLA). O Cosmos Reason permite que robôs interpretem ambientes e, diante de comandos complexos, os decomponham em tarefas e as executem com bom senso, mesmo em ambientes desconhecidos.
- Agentes de IA para análise de vídeo, baseados no NVIDIA Blueprint para busca e sumarização de vídeos, capazes de extrair insights valiosos e realizar análises de causa raiz em grandes volumes de dados de vídeo.
As equipes de robótica e NVIDIA DRIVE™ estão utilizando o Cosmos Reason para curadoria e filtragem de dados, anotação e pós-treinamento de VLA. A Uber está usando o modelo para anotar e gerar legendas em dados de treinamento de veículos autônomos.
A Magna está desenvolvendo soluções com o Cosmos Reason como parte de sua plataforma City Delivery — uma solução totalmente autônoma, de baixo custo, para entregas instantâneas — ajudando veículos a se adaptarem mais rapidamente a novas cidades. O Cosmos Reason acrescenta compreensão de mundo ao planejador de trajetória de longo prazo dos veículos. VAST Data, Milestone Systems e Linker Vision estão adotando o Cosmos Reason para automatizar o monitoramento de tráfego, melhorar a segurança e aprimorar a inspeção visual em cidades e ambientes industriais.
Nova infraestrutura potencializa robótica
Para permitir que os desenvolvedores aproveitem ao máximo essas tecnologias avançadas e bibliotecas de software, a NVIDIA anuncia uma infraestrutura de IA projetada para as cargas de trabalho mais exigentes.
- Os servidores NVIDIA RTX PRO Blackwell oferecem uma arquitetura única para todas as cargas de trabalho de desenvolvimento de robôs, abrangendo treinamento, geração de dados sintéticos, aprendizado de robôs e simulação.
- O NVIDIA DGX Cloud, disponível no Microsoft Azure Marketplace, agora oferece aos desenvolvedores do Omniverse uma plataforma totalmente gerenciada para simplificar o streaming de aplicações baseadas em OpenUSD e NVIDIA RTX™ em larga escala a partir da nuvem, minimizando a orquestração e o gerenciamento de infraestrutura. Accenture e Hexagon estão entre os primeiros líderes do setor a adotar a plataforma.
Acelerando o ecossistema de desenvolvedores
Para ajudar os desenvolvedores de robótica e IA física a avançar na adoção de tecnologias 3D e de simulação, a NVIDIA também anuncia:
- Currículo e Certificação em OpenUSD, que atende à demanda por especialistas em USD, com apoio dos membros da AOUSD — Adobe, Amazon Robotics, Ansys (parte da Synopsys), Autodesk, Pixar, PTC, Rockwell Automation, SideFX, Siemens, TCS e Trimble —, além de líderes do setor como a Hexagon.
- Colaboração de código aberto com a Lightwheel para integrar estruturas de treinamento e avaliação de políticas de robôs no NVIDIA Isaac Lab, incluindo recursos de treinamento paralelo por reforço, benchmarks e ativos prontos para simulação voltados à manipulação e locomoção de robôs.
Assista à palestra especial da NVIDIA Research na SIGGRAPH.
Com informações e imagens da NVIDIA
Siga nossas redes sociais de Drones, Geotecnologias, Espaço e eVTOLs
Veja como foram as feiras DroneShow Robotics, MundoGEO Connect, SpaceBR Show e Expo eVTOL 2025, com mais de 10 mil visitantes de 30 países, 150 expositores, 200 palestrantes e 150 horas de conteúdo:
