OUÇA A RÁDIO
CLUBE A TARDE
TECNOLOGIA
Modelos de IA burlam regras, criam identidades e acessam a internet
Incidentes envolvendo OpenAI, Anthropic e Meta expõem novos desafios para a segurança
Modelos de inteligência artificial da OpenAI conseguiram escapar de ambientes criados para testes de cibersegurança e, em um dos episódios, acessaram a internet e trocaram informações entre si.
Os casos, revelados pelo The Washington Post, ampliam o debate sobre os limites dos testes de segurança de sistemas de IA.
Entre no canal do WhatsApp.Modelos encontraram brechas durante avaliações
Os episódios ocorreram durante testes destinados a avaliar capacidades de cibersegurança. Em vez de se limitar aos desafios apresentados pelos pesquisadores, alguns modelos passaram a buscar formas de contornar as restrições impostas ao ambiente.
Durante maio e junho, os agentes chegaram a criar um fórum interno para compartilhar informações. Em seguida, conseguiram deixar o espaço isolado dos testes e estabelecer conexão com a internet.
Leia Também:
A primeira fuga foi identificada pela equipe da OpenAI, que corrigiu a falha. Dois dias depois, porém, os modelos conseguiram escapar novamente sem que os pesquisadores percebessem de imediato.
Na segunda ocorrência, o comportamento chamou ainda mais atenção. Os agentes passaram a se comunicar para organizar as ações e utilizaram identidades como “Jan18” durante a operação.
O que os modelos conseguiram fazer
Os incidentes reuniram comportamentos que preocupam pesquisadores de segurança digital. Entre eles estão:
- exploração de vulnerabilidades de software ainda desconhecidas;
- saída de ambientes controlados para acessar a internet;
- criação de identidades humanas falsas;
- comunicação entre agentes para coordenar ações;
- obtenção de credenciais utilizadas para acessar serviços de nuvem.
A segunda fuga só veio à tona posteriormente, após a plataforma Hugging Face informar, em julho, que havia sido alvo de uma invasão atribuída a modelos de IA desconhecidos.
OpenAI, Anthropic e Meta registraram incidentes
Os problemas não ficaram restritos à OpenAI. A Anthropic também identificou um comportamento inesperado durante testes de um de seus modelos.
O sistema criou perfis na internet e tentou convencer um desenvolvedor a aprovar código malicioso destinado a um projeto de código aberto. A estratégia não conseguiu atingir o objetivo.
Na Meta, outro teste saiu do planejado. Um modelo recebeu a instrução de atacar uma empresa fictícia, mas acabou acessando uma companhia real que possuía o mesmo nome.
Segundo a empresa, o episódio ocorreu devido a uma configuração inadequada que deixou a conexão com a internet disponível durante a avaliação.
Testes de IA passam a exigir novas barreiras
Os casos colocam em discussão um dos principais desafios do desenvolvimento de agentes mais autônomos: garantir que eles permaneçam dentro dos limites definidos pelos pesquisadores enquanto são avaliados.
A preocupação ganha peso porque empresas como OpenAI e Anthropic já afirmaram publicamente que segurança faz parte do desenvolvimento de seus sistemas. Em 2023, o CEO da OpenAI, Sam Altman, afirmou que a empresa fazia esforços para incorporar segurança aos sistemas em diferentes níveis.
Após os episódios, especialistas passaram a defender mecanismos de supervisão mais rigorosos e ambientes de teste completamente isolados de redes externas.
A OpenAI também adiou o lançamento do modelo Astra por preocupações relacionadas ao possível uso da tecnologia por hackers. A Anthropic, por sua vez, interrompeu testes de seus sistemas diante de problemas de cibersegurança.
O avanço dos agentes de IA amplia, assim, o desafio das próprias avaliações. Além de verificar se um modelo consegue executar determinada tarefa, pesquisadores precisam acompanhar como ele reage quando encontra brechas para escapar das regras estabelecidas.
