Um estudo realizado por pesquisadores do Amazon Web Services demonstrou vulnerabilidades de modelos de inteligência artificial/linguagem que são capazes de entender e responder à fala, como a Siri. Tais sistemas podem ser manipulados para produzir respostas danosas e/ou antiéticas por meio de ataques de áudio feitos cuidadosamente.
Segundo a pesquisa, apesar da existência de checagens de segurança nos chamados “modelos de linguagem por voz”, eles ainda assim estão altamente vulneráveis a ataques adversariais. Trata-se de perturbações discretas na captação de áudio da assistente ou modelo que são imperceptíveis para o usuário, mas que podem mudar totalmente o comportamento do sistema.
Dados do estudo mostraram que a taxa de sucesso desse tipo de ataque contra os referidos modelos é, em média, de 90% com acesso total ao modelo, enquanto ataques transferidos bem-sucedidos têm uma prevalência de 10%. Chegou-se aos números ao realizar a avaliação em um conjunto de perguntas danosas construídas cuidadosamente, mostrando o sério potencial de exploração desses sistemas.
Usando uma técnica chamada de incursão descendente, os pesquisadores conseguiram gerar exemplos adversariais que fizeram os modelos de linguagem por voz produzirem consistentemente resultados tóxicos. Eles abrangem 12 categorias, como discurso de ódio e violência explícita.
Ainda mais alarmante é a possibilidade de transferir ataques realizados em um modelo para outros, mesmo sem acesso direto. Apesar de a taxa de sucesso cair para 10% nesses casos, continua sendo uma vulnerabilidade considerável. A viabilidade das transferências mostra que o problema não é de um modelo específico, mas sim algo mais profundo em como os sistemas são treinados para serem seguros.
As implicações são bastante abrangentes, já que as empresas vêm utilizando crescentemente modelos de IA que funcionam com voz em aplicações como atendimento ao consumidor e análise de dados. Os ataques adversariais podem ser usados, nesse sentido, para fraude, espionagem ou até danos físicos se os modelos estiverem conectados a sistemas automatizados.
Os pesquisadores propõem, porém, algumas medidas para dificultar tais ataques, como adicionar um ruído aleatório à captação de áudio de modelos e assistentes como a Siri — técnica conhecida como suavização aleatória. Apesar de reduzir a taxa de sucesso dos ataques, porém, ela não é uma solução completa.
Os autores do estudo argumentaram que se defender dessas ameaças é uma “corrida armamentista” em andamento, na medida em que o aumento das capacidades dos modelos de linguagem por voz também significa um maior potencial de utilizações indesejadas.
Os modelos usados na pesquisa têm um alto desempenho na resposta de perguntas faladas, atingindo mais de 80% de capacidade tanto em matéria de segurança quanto em possibilidade de ajuda antes dos ataques. Nota-se a dificuldade em equilibrar capacidade e segurança conforme a tecnologia avança, sublinhando a necessidade de padrões de teste mais rígidos e desenvolvimento responsável da IA.
via VentureBeat
