Os esforços da Apple na área de inteligência artificial não são inéditos: a empresa já apresentou um ferramenta de animação de imagens e um modelo de edição de fotos por comandos, além de estar supostamente desenvolvendo recursos de IA para os seus sistemas.
Mais recentemente, pesquisadores da empresa publicaram um artigo que descreve um método de inferência de largos modelos de linguagem (LLMs, na sigla em inglês) mais rápido e sem o uso de modelos auxiliares. Tal tecnologia utiliza uma técnica chamada de transmissão especulativa, que integra a decodificação especulativa — usada para acelerar a geração de texto em LLMs — em apenas um modelo.
A principal novidade desse método é, assim, a capacidade de realizar o processamento de múltiplos tokens/respostas de forma paralela, com apenas um LLM selecionando informações. Atualmente, há um modelo menor que faz a parte da especulação e outro que é responsável pela checagem, de modo que a criação da Apple combinou esses trabalhos em apenas um, aumentando a eficiência.
De acordo com o artigo, a chamada transmissão especulativa acelera entre 1,8 e 3,1 vezes a decodificação/geração sem perdas de qualidade. Isso vale para diversas tarefas, como resumir textos, perguntas/pedidos estruturados e representações significantes.
O modelo também conta com eficiência de parâmetros, com velocidades equivalentes ou superiores às de arquiteturas Medusa e usando cerca de 10 mil vezes menos parâmetros extras. Esse aspecto torna o sistema adequado para dispositivos com limitação de recursos, o que pode ser um indicativo de que o desenvolvimento da ferramenta foi realizado pensando na sua implementação em iPhones e outros aparelhos da empresa.
Um ponto interessante é que, nesse caso, o modelo não é de código aberto, como ocorreu com as ferramentas de edição de imagens anteriormente apresentadas/publicadas pela Maçã. Tal diferença pode ser um sinal de que a empresa tenha planos um pouco mais concretos de implementar o modelo — não há, contudo, certezas quanto a isso, na medida em que se trata apenas de um artigo científico.
De todo modo, a publicação da pesquisa é mais um sinal dos esforços da Apple em IA, desta vez de forma mais próxima a uma possível implementação em dispositivos da empresa. Nos próximos meses, a companhia deverá apresentar novidades em matéria de IA, embora não necessariamente incluindo as novidades em transmissão especulativa.
