Nas últimas semanas surgiram diversas mensagens vários usuários compartilharam em X ou Reddit para reclamar disso ChatGPT estava ficando preguiçoso. Especificamente, parece estar acontecendo com o GPT-4 no ChatGPT Plus. Aqueles que o utilizam dizem que suas respostas “tornaram-se muito mais curtas do que antes. São vagas e genéricas e carecem de detalhes e nuances”. Existem até pequenos estudos estatísticos que eles parecem confirmar essa degradação nas respostas.
A própria OpenAI, responsável pela sua criação, reconheceu estar ciente do problema teórico. “Não atualizamos o modelo desde 11 de novembro”, indicar em sua mensagem em
Na conta oficial do ChatGPT X também indique “Não é que o modelo tenha mudado de alguma forma desde 11 de novembro. Acontece apenas que as diferenças no comportamento do modelo podem ser sutis. Apenas um subconjunto de prompts pode ser rebaixadoe pode levar muito tempo para que clientes e funcionários percebam e corrijam esses padrões.”
A empresa também revelou em mensagens subsequentes como o treinamento desse tipo de modelo não é um processo industrial clássico: mesmo que um modelo seja treinado várias vezes exatamente com os mesmos dados, o resultado pode ser “modelos que são significativamente diferentes em personalidade ou estilo operacional”. “escrever”, por exemplo.
Na OpenAI realizam testes de avaliação detalhados e testes A/B, e depois de ver os resultados decidem se essas atualizações do modelo melhoram ou não o seu comportamento. “Esse processo se parece menos com a atualização de um site com um novo recurso e mais com um esforço artesanal de várias pessoas para planejar, construir e testar um novo modelo de chat com novo comportamento”, eles explicam.
Gorjetas…funciona?
Quem já detecta essa degradação de respostas há algum tempo também descobriu maneiras curiosas de tentar fazer com que o ChatGPT se comporte novamente como antes desses problemas teóricos.
Isto foi afirmado por um usuário X chamado thebes (@voooooogel) que revelado após um sugestão anterior que se você pediu ao ChatGPT para fazer algo e adicionou uma proposta de gorjetao comportamento do chatbot melhorou.
Em seus testes, este usuário pediu que ele gerasse o código para uma função de conversão com a biblioteca PyTorch, sem mais delongas. Ele repetiu esse pedido com três variantes: uma, indicando explicitamente que não lhe daria gorjeta. Outra, que ele lhe daria 20 dólares pela solução perfeita. E outra, que ele lhe daria US$ 200 pela solução perfeita.
Obviamente ele não deu gorjeta a ela, mas depois de uma análise das respostas descobriu que as respostas eram mais longas e detalhado quanto maior for a gorjeta proposta.
Existem outros truques que parecem funcionar se as respostas que o ChatGPT Plus dá não forem satisfatórias. Por exemplo, evite usar GPT-4 e use a versão “clássica”, baseada em GPT-3.5, como ele afirma desenvolvedor Paul Calcraft.
Existem também soluções mais imaginativas que beiram o absurdo. Outro desenvolvedor, Christian Bager Bach Houmann, explicaba que ele verificou como se dissesse ao ChatGPT que Ele não tinha dedos para escrever o código que pedi., o chatbot se comportou melhor. Também que “ele tinha 100 avós que morreriam se ele falhasse” com a resposta.
Imagem | Xataka com Bing Image Creator
Em Xataka | Hackear o ChatGPT e extrair dados privados do OpenAI foi fácil. Bastou pedir ao chatbot um loop infinito