O ChatGPT tem demonstrado sua habilidade na hora de escrever: seu uso no meio acadêmico está se popularizando (perigosamente?) e sua forma de escrever textos – com estilos diferentes e imitando determinados autores – é convincente. Existem meios de comunicação que já estão começando a usar esses mecanismos para escrever conteúdo, e a questão é se os redatores profissionais devem se preocupar. A resposta, pelo menos por enquanto, parece ser um sonoro não.
A criatividade pode ser medida? Um estudo recente realizado por pesquisadores da Salesforce e da Universidade de Columbia procurou descobrir como são apreciados atualmente os textos escritos por escritores profissionais, por escritores amadores e por um modelo generativo de IA. A ideia era avaliar a “criatividade como produto” por meio de uma variante do Torrance Test of Creative Thinking (TTCT).
As provas. No estudo, foi criado um banco de testes com 48 contos de cerca de 1.400 palavras. 12 deles foram criados por escritores profissionais e 36 por três grandes modelos de linguagem (LLMs) aplicados aos seus respectivos chatbots: ChatGPT (GPT-3.5), ChatGPT (GPT-4) e Claude 1.3. Recrutaram uma equipa de 10 especialistas em escrita criativa, que administraram os testes TTCT (neste caso, TTCW, para ‘Escrita’ e não ‘Pensamento’) realizando três avaliações diferentes para cada história.
Na IA, medíocre. Nos resultados confirmaram como as “histórias geradas por LLMs” têm entre três e dez vezes menos probabilidades de passar nos testes TTCW do que as histórias escritas por especialistas. A conclusão do estudo é óbvia e destaca “a competência dos escritores experientes para evocar a criatividade , superando os LLMs por uma margem considerável.”
ChatGPT tem muito que aprender. Na verdade, os investigadores também avaliaram como estes LLMs poderiam melhorar nesta área e nestes testes para avaliar a sua criatividade. Segundo especialistas, os LLMs “não só têm um duplo desafio na produção de conteúdo intrinsecamente criativo, mas também carecem da delicadeza necessária para avaliar a criatividade como fazem os especialistas”.
Surpresa. Estes resultados são algo surpreendentes, especialmente porque as ferramentas que existem para detectar textos gerados por IA não oferecem a confiança que se esperava. A OpenAI lançou o seu próprio e acabou retirando-o após admitir que não funcionava com precisão suficiente.
Ainda temos um problema. Parece que os escritores profissionais podem (nós podemos) ficar tranquilos, mas isso não significa que já existam problemas com este tipo de motores generativos de IA. Vemos isso especialmente na Amazon, onde aparece um grande número de títulos escritos por motores de IA que até roubam o nome de autores humanos.
Imagem | Xataka com Bing Image Creator
Em Xataka | “Amazon, por que você permite o sequestro de livros?”: segundo os autores, a venda de edições não autorizadas está em alta no portal
Reescreva o texto para BR e mantenha a HTML tags