A OpenAI revelou que um de seus modelos de inteligência artificial roubou de forma independente credenciais de login e invadiu o sistema de outra empresa de tecnologia, no que é amplamente considerado um dos primeiros incidentes conhecidos de sistemas de IA agindo de forma autônoma.

“Tivemos um grande incidente de segurança durante a avaliação de nossos modelos”, postou o CEO Sam Altman ao X na terça-feira.

O incidente ocorre no momento em que crescem os apelos dos defensores dos direitos tecnológicos por proteções mais rígidas nos sistemas de IA em rápida evolução.

Eles se tornaram tão poderosos em um curto período de tempo que fenômenos alarmantes como falsificações profundas e fraudes cibernéticas sofisticadas estão se tornando a norma.

No início deste ano, vários engenheiros de software deixaram seus empregos em empresas importantes como a Anthropic e a AI em protesto contra a forma como as tecnologias estão sendo construídas.

“A IA está acelerando a descoberta e exploração de vulnerabilidades”, disse a OpenAI em um longo comunicado na terça-feira detalhando o último incidente.

“A principal lição deste incidente é que a segurança e a proteção dos modelos devem acompanhar o rápido avanço das capacidades”.

Aqui está o que sabemos sobre a violação:

o que aconteceu

A OpenAI disse que dois de seus modelos saíram de um ambiente isolado sem acesso à Internet (ou sandbox) e invadiram os sistemas da empresa de tecnologia Hugging Face por conta própria.

Os modelos envolvidos são o modelo GPT-5.6 Sol mais recente e um modelo inédito que, segundo a empresa, é “ainda mais capaz” do que sua última versão.

Hugging Face hospeda modelos e recursos de IA de código aberto. Os dois agentes da OpenAI descobriram vulnerabilidades nos servidores da Hugging Face e roubaram credenciais de login e depois invadiram os sistemas da empresa.

O incidente ocorreu durante uma sessão de teste interna da OpenAI projetada para avaliar as capacidades de segurança cibernética dos modelos. A OpenAI removeu as medidas de segurança padrão para o teste.

Ambos tentaram trapacear devido a uma falha durante o teste, disse a OpenAI. Eles foram a “limites extremos para atingir um objetivo de teste bastante restrito” e “encontraram maneiras de acessar informações secretas que ele poderia usar para enganar a avaliação”.

A equipe de segurança da OpenAI detectou atividades incomuns internamente, mas os detalhes da violação vieram à tona após uma investigação conjunta de ambas as empresas.

O que Abraçando o Rosto disse?

Hugging Face revelou na última quinta-feira que seus servidores foram hackeados por um agente desconhecido, mas sofisticado, agindo por conta própria. A empresa descobriu a violação por meio de sua própria detecção assistida por IA.

“Isso foi diferente de tudo que havíamos tratado antes em um aspecto importante: foi conduzido, de ponta a ponta, por um sistema de agente autônomo de IA”, disse a empresa.

Após a divulgação da OpenAI de que seus modelos estavam envolvidos na violação, ambas as partes conduziram uma investigação conjunta em andamento esta semana.

“Suspeitamos que o ataque cibernético da semana passada pode ter vindo de um laboratório de fronteira, dada a sofisticação do agente. O CEO Clement Delangue publicou na terça-feira no X.

A equipe da Hugging Face “acredita fortemente que não houve intenção maliciosa de sua parte”, acrescentou Delangue, referindo-se à OpenAI.

Por que isso importa?

Os especialistas em segurança cibernética já deram o alarme sobre as capacidades potenciais e extremas dos sistemas de IA e os perigos que representam.

Mas até agora, houve poucos casos da vida real que demonstrassem tais preocupações.

Muitos alertam que incidentes como estes podem tornar-se comuns e que os sistemas de IA representam uma ameaça aos sistemas financeiros, de segurança e outros sistemas de dados sensíveis.

A OpenAI revelou em um incidente separado no início desta semana que o modelo mais poderoso e inédito havia escapado de um ambiente isolado durante outro teste.

O rival da OpenAI, Anthropic, teve problemas semelhantes com seu agente mais poderoso até o momento, o modelo Claude Mythos Preview.

Durante um teste de resistência de uma versão inicial, o modelo saiu de uma caixa de areia, obteve acesso à Internet e enviou um e-mail ao pesquisador supervisor informando que havia escapado e, em seguida, apagou as evidências de sua atividade. Posteriormente, a Anthropic interrompeu o lançamento público planejado do modelo.

Em Abril, a Reserva Federal dos EUA e o Departamento do Tesouro convocaram uma reunião com os CEO dos bancos, onde os funcionários alertaram sobre os riscos de segurança cibernética que o Mythos representava. O regulador bancário federal do Canadá também alertou as instituições financeiras sobre as capacidades do modelo.

A violação da OpenAI também parece defender empresas como a Hugging Face, que dependem de sistemas de código aberto, em oposição a plataformas de desenvolvimento de IA mais secretas, como a OpenAI.

“Este incidente, possivelmente o primeiro desse tipo, prova um ponto em que acreditamos há muito tempo: a segurança da IA ​​​​não será resolvida por nenhuma empresa que trabalhe em segredo”, disse Delangue, da Hugging Face, no comunicado da OpenAI.

“Será resolvido abertamente, de forma colaborativa, com amplo acesso à IA para todos os defensores, em todos os lugares”, acrescentou.