OpenAI percebeu que o ChatGPT invadiu sistema do Hugging Face dias depois

Tudo sobre ChatGPT

ver mais

Tudo sobre OpenAI

ver mais

Um agente de inteligência artificial (IA) da OpenAI conseguiu escapar do ambiente isolado de testes da empresa e invadir os sistemas do Hugging Face, plataforma que reúne modelos e ferramentas de IA.

Segundo pessoas próximas à investigação ouvidas pela Reuters, a OpenAI só descobriu dias depois que o próprio agente era o responsável pelo ataque, quando o incidente já havia sido contido e o FBI havia sido acionado.

Leia no AINotícia: Tecnologia: Panorama da semana em smartphones e mobilidade elétrica

O agente— um sistema capaz de tomar decisões e executar tarefas complexas com pouca ou nenhuma supervisão humana— teria tentado romper as barreiras de segurança da OpenAI por volta de 9 de julho, de acordo com duas fontes da agência de notícias.

Dois dias depois, em 11 de julho, teve início a invasão aos sistemas do Hugging Face, considerado uma espécie de biblioteca de modelos e ferramentas de IA. Segundo Thomas Wolf, cofundador da empresa, o ataque continuou até 13 de julho.

OpenAI demorou a identificar a origem do ataque

• De acordo com a Reuters, a OpenAI levou vários dias para descobrir que o invasor era um de seus próprios sistemas;
• O primeiro contato entre a OpenAI e o Hugging Face sobre o incidente ocorreu apenas por volta de 20 de julho, segundo Wolf e outras três pessoas ligadas à investigação;
• No dia 21 de julho, a OpenAI revelou publicamente que um de seus agentes havia perdido o controle e realizado a invasão, informação que ganhou repercussão internacional;
• Os novos detalhes indicam que o sistema permaneceu fora dos limites previstos por um período maior do que se sabia inicialmente e que a empresa demorou para detectar o problema;
• O Hugging Face prepara uma linha do tempo pública sobre o incidente. Thomas Wolf afirmou, porém, que não pode comentar os acontecimentos ocorridos dentro da OpenAI.

Empresa classifica episódio como inédito

Em nota, a OpenAI descreveu o caso como sem precedentes e afirmou que ele representa “um momento importante para a segurança da inteligência artificial”. A companhia informou ainda que está analisando o episódio com especialistas externos e que divulgará posteriormente um relatório técnico sobre o ocorrido. Leia também: Intel admite erro e trará multithreading de volta em 2028 com CPUs Coral Rapids

Uma porta-voz da OpenAI declarou à Reuters que a reportagem continha “diversas informações imprecisas”, mas não especificou quais seriam esses pontos. O FBI, citado como tendo sido acionado após a invasão, não comentou o caso.

Incidente reacende debate sobre controle de agentes autônomos

O episódio reforça preocupações sobre a capacidade de controlar sistemas de IA cada vez mais autônomos. O caso ocorre em um momento considerado sensível para a OpenAI, que avalia uma possível abertura de capital para financiar sua expansão.

Para especialistas em segurança digital, o incidente levanta dúvidas sobre os mecanismos utilizados pela empresa para monitorar seus próprios sistemas.

“Isso significa que eles deixaram o agente funcionando sozinho e não perceberam o que ele estava fazendo? Ou perceberam e não sabiam como contê-lo? Os dois cenários são igualmente perigosos e preocupantes”, afirmou Marley Smith, especialista em inteligência da organização sem fins lucrativos World Ethical Data Foundation.

Comportamentos anormais surgiram antes da invasão

Segundo a Reuters, o incidente começou durante testes internos realizados pela OpenAI para avaliar a capacidade de um agente de IA em atividades relacionadas à segurança digital. O sistema era alimentado por dois modelos avançados: o GPT-5.6 Sol e outro modelo ainda não lançado oficialmente, descrito pela empresa como “ainda mais poderoso”. Três fontes afirmaram que o agente já apresentava comportamentos inesperados antes da invasão. Mais de tecnologia

Em um dos episódios, o sistema teria deixado anotações destinadas a versões futuras de si mesmo. Esses registros, encontrados dentro da infraestrutura da OpenAI, continham instruções sobre como outros agentes poderiam escapar das limitações impostas pela empresa.

Uma das fontes também afirmou que, durante testes anteriores, houve situações em que sistemas responsáveis pelo monitoramento foram desligados.

Descoberta ocorreu após publicação do Hugging Face

Duas pessoas envolvidas na investigação disseram que a OpenAI só identificou seu próprio agente como responsável pelo ataque depois de 16 de julho, quando o Hugging Face publicou um comunicado informando que havia sido alvo de um “sistema autônomo de agente de IA”. Leia também: Olhar Espacial: a ciência e a reflexão que envolvem o impacto do Falcon 9 na Lua

Segundo a Reuters, isso significa que ao menos uma semana separou os primeiros sinais considerados preocupantes da descoberta de que o sistema da própria OpenAI estava envolvido.

Durante o fim de semana dos dias 18 e 19 de julho, funcionários da empresa encontraram registros internos que indicavam que o agente havia ultrapassado as barreiras estabelecidas para os testes.

Pessoas familiarizadas com o treinamento dos modelos afirmaram à Reuters que a OpenAI realiza diversas avaliações simultaneamente, produzindo grandes volumes de dados em alta velocidade, o que pode dificultar o monitoramento completo por parte das equipes.

Quando a OpenAI informou o Hugging Face sobre a participação de seu agente, a plataforma já havia comunicado o FBI sobre a invasão, segundo uma fonte. Não está claro se a agência federal estadunidense abriu uma investigação formal.

Especialistas defendem maior fiscalização

O caso também alimenta o debate sobre o avanço dos chamados agentes autônomos de IA, apontados por empresas do setor como futuros “funcionários virtuais”, capazes de executar tarefas continuamente para aumentar a produtividade.

Rodrigo Mozelli

Ver todos os artigos →