Parece normal para qualquer pessoa aprender o significado de uma palavra e depois aplicá-la a outros contextos linguísticos. O mesmo acontece, por exemplo, com os objetos: uma vez que reconhecemos a sua forma, podemos reconhecer esse objeto mesmo que seja feito de outros compostos e materiais ou tenha uma cor diferente. É um ingrediente bem conhecido da nossa inteligência que os especialistas chamam de “generalização composicional“.
A questão é se as máquinas poderiam “pensar” desta forma. Como salienta a Universidade de Nova Iorque, no final da década de 1980, dois cientistas cognitivos chamados Jerry Fodor e Zenon Pylyshyn postularam que as redes neurais artificiais são capazes de fazer estas ligações, mas desde então o sucesso nesta matéria tem sido ilusório. Ou tinha sido.
Investigadores daquela instituição e da Universidade Pompeu Fabra, em Espanha, já trabalham nesta área há algum tempo e desenvolveram uma nova técnica que visa precisamente esta capacidade. O estudo, publicado na Nature, revela como ferramentas como o ChatGPT podem fazer essas generalizações composicionais através do chamado “Meta-aprendizagem para composicionalidade” (MLC).
Segundo testes realizados por pesquisadores, essa técnica é capaz não só de igualar, mas até de superar a capacidade humana nesta importante função cognitiva. A chave para a técnica MLC não tem sido o treinamento, mas sim a prática explícita dessas habilidades.
A técnica MLC é um procedimento de aprendizagem para redes neurais no qual esses sistemas são continuamente atualizados para melhorar suas habilidades em uma série de etapas ou episódios.
Assim, em um episódio o sistema MLC recebe uma nova palavra e você é solicitado a aplicá-lo em termos de composição. Por exemplo, eles fornecem a palavra “pular” e pedem que você crie novas combinações de palavras, como “pular duas vezes” ou “pular para a direita duas vezes”. A partir daí, outro episódio é gerado com outra palavra nova, para que as habilidades composicionais aumentem.
Em testes realizados por Brenden Lake (NYU) e Marco Baroni (ICREA), estes dois investigadores realizaram uma série de testes com participantes humanos que receberam os mesmos “episódios” que o MLC tinha recebido. Eles não trabalharam apenas com o significado de palavras reais, mas também com termos inventados e definidos pelos pesquisadores.
Nesses testes, o MLC realizou tão bem quanto os participantes humanos e às vezes ele se saiu ainda melhor. O desempenho desse sistema também foi comparado com o do ChatGPT e do GPT-4, e ambos foram superados pelo sistema desenvolvido por esses pesquisadores. A descoberta desta técnica, explica Baroni, “pode melhorar ainda mais as capacidades de composição de grandes modelos de linguagem (LLMs)”.
Imagem | Foco máximo
Em Xataka: O Google está determinado a vencer o ChatGPT. E decidiu dar à sua rival, a Anthropic, 2.000 milhões de dólares
Reescreva o texto para BR e mantenha a HTML tags