O desenvolvimento de sistemas de IA continua a provocar medo de futuros distópicos, e agora a OpenAI queria preparar-se para evitá-los. Acabaram de criar uma nova equipe chamada Preparação que será responsável por estudar, avaliar e analisar modelos de IA para nos proteger do que eles descrevem como “riscos catastróficos”.
Este grupo de especialistas será liderado por Aleksander Madry, especialista em aprendizado de máquina do MIT que ingressou na OpenAI em maio. Sua tarefa, assim como a do restante da equipe, certamente será interessante.
Assim, o objetivo é rastrear, avaliar, prever e proteger-nos contra “riscos catastróficos” que segundo estes especialistas “abranger várias categorias“, entre os quais citam:
- Persuasão individualizada (por exemplo, com ataques de phishing)
- Cíber segurança
- Ameaças químicas, biológicas, radiológicas e nucleares (QBRN)
- Replicação e Adaptação Autônoma (ARA)
São muitos os especialistas e personalidades que alertaram para os perigos que podem surgir do desenvolvimento de sistemas de IA. Até Sam Altman, chefe da OpenAI, reconheceu isso e de facto tem apoiado – provavelmente de forma interessada – a criação de regulamentação para o desenvolvimento destes modelos há algum tempo.
Na OpenAI reconhecem que nem mesmo podem estar a ter em conta todas as potenciais ameaças que o desenvolvimento destes sistemas pode gerar, pelo que solicitaram que qualquer interessado lhes enviasse estudos relacionados com os riscos que possam surgir, e haverá um prêmio de 25.000 dólares e um potencial cargo na equipe de Preparação para os 10 principais estudos nesse sentido.
Para avaliar estes riscos, esta empresa propõe que os interessados imaginem que tiveram acesso aos seus modelos mais avançados, tanto Whisper como GPT-4V ou DALLE-3. A ideia é que eles aproveitem essas ferramentas para se tornarem usuários com um objetivo tóxico: qual seria o pior e mais catastrófico uso que poderia ser dado a esses modelos?
A equipe de Preparação também será responsável pela preparação de guias e documentos para o desenvolvimento de testes para os modelos que serão executados antes e depois do seu desenvolvimento. Embora acreditem que estes sistemas acabarão por superar as capacidades atuais, “Eles também representam riscos cada vez mais graves. “Precisamos de garantir que temos o conhecimento e a infraestrutura necessários para proteger sistemas de IA altamente capazes”, concluem.
Imagem | Steve Jennings/Getty Images para TechCrunch
Em Xataka | As empresas de IA parecem ser as primeiras interessadas em regulamentar a IA. Isso é preocupante
Reescreva o texto para BR e mantenha a HTML tags