Um novo estudo [PDF] da Apple, em parceria com instituições renomadas (como o MIT e a Universidade de Washington), investiga uma maneira mais eficiente de ensinar robôs humanoides a manipular objetos.
Denominada “Humanoid Policy ∼ Human Policy”, a pesquisa trabalha com a ideia de usar vídeos em primeira pessoa de humanos realizando tarefas para o treinamento, uma grande mudança em relação aos métodos mais atuais.
Isso porque, geralmente, se treina robôs humanoides usando um método chamado “teleoperação”, que consiste no controle manual e individual dos robôs para gerar exemplos — um trabalho caro, demorado e difícil de escalar.
Com o Physical Human-Humanoid Data (PH2D), foram usados para treinamento um conjunto de dados de 26.000 demonstrações humanas em primeira pessoa e outro de 1.500 demonstrações com robôs usando teleoperação.
Os dados humanos foram capturados com a ajuda de dispositivos como câmeras GoPro ou headsets como o Meta Quest 3 e o Apple Vision Pro — neste último, com rastreamento 3D da cabeça e mãos usando o ARKit.
Esses dados são treinados com o modelo Human Action Transformer (HAT), que tem como diferencial o uso de um único formato unificado de ações, com uma política generalizada tanto para robôs quanto para corpos humanos.
Com esse treinamento, que une os dois tipos de dados, os robôs conseguem realizar tarefas mesmo em cenários não vistos anteriormente — principalmente em atividades comumente executadas por humanos no mundo real.
Os dados e alguns dos vídeos usados para o treinamento podem ser conferidos nessa página.
via 9to5Mac
