ChatGPT não entende uma palavra do que está lhe dizendo. Nenhuma. Quando gera texto, fá-lo graças a um complexo sistema de probabilidades: se escolher esta palavra ao lado desta outra, é porque o modelo lhe diz que tem (muitas) probabilidades de fazer sentido.
É por isso que esses chatbots Eles também são conhecidos como “papagaios estocásticos”, termo cunhado em março de 2021, quando nem havíamos testemunhado o nascimento do ChatGPT. Grandes modelos de linguagem (LLMs) são poderosos na geração de texto, mas isso não significa que não possam cometer erros.
Probabilidades e números
Foi exatamente isso que aconteceu no dia 20 de fevereiro com o ChatGPT. O chatbot da OpenAI foi difícil, com vários usuários comentando como suas respostas se transformaram em um jargão completo.
A empresa logo reconheceu que o problema existia e começou a investigá-lo, e horas depois interrompeu e monitorou a situação, embora não tenha dado detalhes sobre os motivos da ocorrência.
Agora já sabemos o que aconteceu. A página de status do OpenAI revelou há algumas horas que “uma otimização da experiência do usuário” acabou causando o problema. Como?
Segundo essa afirmação, o conflito estava justamente na forma como os LLMs funcionam, que “geram respostas por meio de amostragem aleatória de palavras baseadas em parte em probabilidades. Sua “linguagem” consiste em números que são atribuídos a tokens”:
“Nesse caso, o erro estava na etapa em que o modelo escolhe esses números. Como se tivesse se perdido na tradução, o modelo escolheu números ligeiramente errados, que produziu sequências de palavras sem sentido. De um ponto de vista mais técnico, os núcleos de inferência produziram resultados incorretos quando usados em determinadas configurações de GPU.”
Após identificar a causa do problema, a OpenAI aplicou uma série de correções para evitar aquelas escolhas erradas de números, o que permitiu que aquelas respostas sem sentido parassem de ocorrer. A modificação do modelo demonstrou se comportar de forma adequada, confirmando que o problema foi resolvido.
Ele papel da discórdia
Este evento destaca os problemas já conhecidos dos modelos generativos de IA: eles cometem erros, inventam coisas e “alucinam”. É algo que os pesquisadores já alertaram que Eles falaram sobre os perigos dos “papagaios estocásticos” naquele estudo de 2021.
Um dos principais autores desse estudo, intitulado “Sobre os perigos dos papagaios estocásticos: os modelos linguísticos podem ser grandes demais?” É Timnit Gebru. Este engenheiro especialista na área de inteligência artificial trabalhou na Apple, Stanford e Microsoft antes de trabalhar na divisão de ética em inteligência artificial do Google em 2018.
Em dezembro de 2020, antes da publicação do referido estudo, seus chefes no Google lhe perguntaram não publicá-lo ou remover os nomes dos funcionários do Google que participaram (cinco dos seis). Após recusar, ela foi imediatamente demitida da empresa, mas o estudo acabou sendo publicado.
Precisamente nesse estudo Gebru e seus colegas levantaram as limitações desta base probabilística do modelo. Primeiro, as previsões repetem os dados com ruído adicional. Em segundo lugar, o algoritmo não compreende o problema e não pode saber se repetiu dados incorretos, fora de contexto ou socialmente inapropriados.
Isso, alertaram esses pesquisadores, poderia tornar os resultados gerados por esses modelos de IA estavam “perigosamente errados”. O que aconteceu com o ChatGPT não pode ser considerado perigoso, mas os avisos do estudo estão certamente a tornar-se cada vez mais óbvios.
Especialmente ao tentar aplicar o ChatGPT em áreas onde esses erros poderiam ter um impacto muito mais perturbador. Já vimos no passado casos singulares como o do sistema de IA que analisava dados para decidir se uma pessoa deveria ir para a prisão e errou.
O mesmo se pode dizer das empresas que utilizam IA nos seus processos de recursos humanos para contratar e despedir funcionários, algo que também pode terminar em desastre se esses modelos não forem bem desenhados ou as suas conclusões não forem analisadas em profundidade.
Imagem | Sanket Mishra