Você se lembra qual foi a sensação quando usou o ChatGPT pela primeira vez? Para muitas pessoas era como olhar para o futuro através de uma janela, e elas tinham razão. O lançamento disso bot de bate-papo baseado no GPT-3.5 desencadeou uma verdadeira corrida entre as empresas de tecnologia mais importantes do planeta para liderar o desenvolvimento da inteligência artificial.
Aproximadamente 15 meses se passaram desde então, e esta indústria nascente evoluiu aos trancos e barrancos. A OpenAI surpreendeu o mundo novamente em março de 2023 com o GPT-4, um modelo avançado que alimenta o ChatGPT Plus e o Microsoft Copilot. Mas os concorrentes da empresa liderada por Sam Altman não pararam de crescer e surgiram outros modelos.
OpenAI, GPT-5 e o desafio de continuar liderando
Nos últimos tempos temos assistido à apresentação de alternativas como Claude 3 da Anthropic, Llama 2 da Meta e Gemini 1.5 do Google. Não é nenhum segredo que esta tendência pode manchar a liderança do OpenAI, mas tudo parece indicar que a empresa americana se prepara para avançar mais uma vez. A resposta para esse cenário seria um modelo denominado GPT-5.
OpenAI não deu sinais de seu próximo grande lançamento, embora algumas informações do projeto pareçam estar vazando. Segundo fontes consultadas pelo Business Insider, o GPT-5 é uma realidade, embora ainda não esteja pronto para ser divulgado ao público. A empresa por trás do modelo ainda precisa concluir algumas tarefas antes que ele esteja disponível, mas isso pode acontecer muito em breve.
Atualmente, alguns clientes empresariais receberam amostras do GPT-5, bem como uma versão melhorada do ChatGPT baseada neste modelo, para avaliação. Paralelamente, a OpenAI continua com o treinamento do modelo. Se tudo correr como esperado, segundo fontes, o GPT-5 poderá aparecer em cena em meados deste ano, ou seja, no verão.
Não há muitos detalhes vazados sobre as possíveis melhorias do GPT-5, embora se acredite que esta nova versão do modelo será capaz de melhorar muitas das deficiências do GPT-4. Lembremos que a versão atual apresentou problemas de desempenho e, em alguns casos, a qualidade das suas respostas foi degradada. Por outro lado, ele também continua tendo problemas de alucinações.
O possível tamanho do GPT-5 também não foi revelado, embora esta semana tenham surgido dados do GPT-4 que podem nos ajudar a entender para onde os tiros podem ir. A OpenAI, que nasceu como uma empresa sem fins lucrativos, adotou uma abordagem comercial, o que fez com que os seus projetos passassem a ter segredo comercial. Portanto, sabemos pouco sobre os detalhes técnicos do GPT-4.
GPT-4 é um enorme modelo de linguagem de parâmetros de 1,8 trilhão
Na GTC 2024 Developer Conference, a NVIDIA anunciou seus mais recentes avanços em inteligência artificial. Um dos slides, curiosamente, revelou um dos dados que a OpenAI manteve em segredo: o tamanho do GPT-4. Segundo a empresa de hardware, o GPT-4 é um modelo com 1,8 trilhão de parâmetros, ou seja, cerca de 10 vezes maior que o GPT-3 e seus 175 bilhões de parâmetros.
Agora, havia rumores de que o GPT-4 poderia ser tão grande, mas se usasse a mesma arquitetura do GPT-3, isso resultaria em mais problemas do que soluções. Suspeitava-se que a OpenAI poderia ter usado uma arquitetura conhecida como MoE (Mistura de Especialistas) que resolve esse problema com a distribuição da carga computacional em diferentes módulos “especialistas” e melhora o desempenho do modelo.
Como dizemos, não sabemos quão grande (ou pequeno?) será o GPT-5, mas o fato de a OpenAI estar trabalhando com o MoE remove uma das principais barreiras para a criação de modelos enormes. Certamente, a empresa terá muitos outros desafios, que provavelmente descobriremos ao longo dos meses. Uma coisa que sabemos é que a Microsoft está gastando milhões de dólares em seus data centers.
Imagens | Rolf van Raiz | OpenAI
Em Xataka | O líder da NVIDIA se molha: ele definiu com muita precisão a data em que a inteligência artificial geral estará pronta