A NVIDIA anunciou recentemente um novo serviço de controle que visa a ajudar desenvolvedores em projetos envolvendo robôs humanoides. Os dispositivos podem ser manuseados e monitorados usando o Apple Vision Pro ou outro aparelho de computação espacial, marcando mais uma possível utilização do headset da Maçã.
Haja vista a complexidade do desenvolvimento de robôs, a NVIDIA conta com uma série de serviços, modelos e plataformas para treinar e construir os humanoides. Eles incluem os microsserviços NIM, frameworks para simulações robóticas, assim como do serviço de orquestração e escala OSMO, para rodar fluxos de dados com o objetivo de treinar os robôs, inclusive com uso de inteligência artificial.
Esses microsserviços contam com ferramentas que usam o software de inferência da companhia, de modo a reduzir tempos de emprego dos robôs de semanas para minutos! Outros dois com IA permitirão, por sua vez, melhorar simulações de IA generativa física em uma aplicação da empresa.
É justamente com um desses microsserviços, o MimicGen NIM, que dispositivos de computação espacial (como o Vision Pro) podem ser usados. A ferramenta gera dados sobre movimento sintético com base em dados teleoperados gravados no headset, traduzindo movimentos do aparelho para o robô fazer.
Assim, movimentos e gestos são gravados e usados a partir dos sensores do Vision Pro — mais do que apenas mover uma câmera de acordo com os movimentos. Por meio do headset, é possível ver os passos do robô e controlar diretamente as suas mãos e os seus braços, tudo isso usando o dispositivo de computação espacial.
Além de fazer os robôs imitarem o movimento do usuário — o que pode ser perigoso, dada a ausência de feedback tátil sobre o que o robô está segurando —, os sistemas poderiam inferir o que o usuário quer fazer. Desenvolvedores também podem criar grandes quantidades de dados sobre percepção e movimento — necessárias para treinar robôs —, a partir de um pequeno número de demonstrações humanas remotamente capturadas.
O Vision Pro foi usado, nessas demonstrações, para capturar os movimentos das mãos de uma pessoa. Eles, então, serviram para simular gravações com o MimicGen NIM e o NVIDIA Isaac Sim, que gerou conjuntos de dados sintéticos. Com a mistura de diferentes tipos de dados, a ideia é cortar custos e facilitar/acelerar o processo de desenvolvimento de robôs.
O CEO 1Chief executive officer, ou diretor executivo. da NVIDIA, Jensen Huang, declarou que “a próxima onda da IA é a robótica”, assim como a animação com robôs humanoides. Ele ressaltou, ainda, os avanços da empresa na área, incluindo plataformas, modelos de IA e bibliotecas de aceleração.
Os microsserviços e demais soluções são parte do NVIDIA Humanoid Robot Developer Program. O acesso é oferecido apenas a fabricantes e desenvolvedoras de software, hardware e/ou dos próprios robôs. Empresas como Boston Dynamics e ByteDance são algumas das que já estão no programa.
Você já imaginou algo assim para o Vision Pro?
NOTA DE TRANSPARÊNCIA: O MacMagazine recebe uma pequena comissão sobre vendas concluídas por meio de links deste post, mas você, como consumidor, não paga nada mais pelos produtos comprando pelos nossos links de afiliado.
via AppleInsider
Notas de rodapé
- 1Chief executive officer, ou diretor executivo.
