Hugging Face é acusada de hospedar modelos de IA que geram imagens de nudez

Maurício Meireles

São Paulo

Sim, o incidente no qual os modelos da OpenAI saíram de controle e invadiram a plataforma Hugging Face de fato mostra a capacidade que os agentes de inteligência artificial já têm de descobrir falhas inéditas e encadear ataques hackers passo a passo. Mas descrever o caso como um robô tão poderoso que saiu do controle serve para esconder a responsabilidade humana na situação.

É isso que vêm defendendo especialistas em segurança da inteligência artificial depois que o caso veio à tona, com o anúncio da OpenAI na terça-feira (21). Em um comunicado público, a empresa disse que GPT-5.6 Sol e um modelo mais poderoso, ainda não lançado, escaparam de um ambiente de testes e conseguiram invadir a plataforma Hugging Face.

Leia no AINotícia: Economia em Panorama: IA, Crise Argentina e Dicas de Viagem

O ataque chamou a atenção porque se assemelha a casos hipotéticos discutidos com frequência na pesquisa em IA, nos quais um robô levaria às últimas consequências a missão de cumprir determinado objetivo, com consequências catastróficas —o que remete também a filmes de ficção científica.

"Acredito de fato que há um papel 100% humano nesse caso", diz Pedro Teberga, professor do Instituto de Tecnologia e Liderança. "Claro que o modelo vai responder ao objetivo que foi colocado para ele, mas, se existia uma vulnerabilidade dentro desse sistema, foi por meio dela que o ataque aconteceu. Se houvessem criado um ambiente mais isolado, algo assim não aconteceria", diz.

"Se esse caso fosse para a Justiça, haveria responsabilidade jurídica para a empresa." Leia também: Lucro do FGTS pode ser usado para abater dívida da casa própria; veja se vale

Ou seja, o agente que cometeu o ataque até agia com autonomia, mas a responsabilidade pelo objetivo a cumprir, a infraestrutura envolvida no treinamento e a contenção em caso de um incidente é dos humanos.

"Consideramos este um incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de última geração, e estamos respondendo de acordo", disse a OpenAI em publicação no blog da empresa. "Estamos implementando controles rigorosos na configuração da infraestrutura, mesmo que isso reduza a velocidade da pesquisa, enquanto as vulnerabilidades são corrigidas."

A OpenAI está conduzindo uma investigação junto a Hugging Face e promete divulgar mais detalhes nas próximas semanas. O que se sabe até agora é que a empresa estava conduzindo testes para ver como seus modelos se saíam em um novo "benchmark" —palavra em inglês que define um sistema de avaliação de desempenho da IA.

O novo "benchmark" se chama ExploitGym e foi desenvolvido em um trabalho científico publicado em maio. O objetivo dessa avaliação é saber até que ponto um modelo de IA consegue usar uma vulnerabilidade em um sistema para realizar um ataque cibernético real.

Em poucas palavras: identificar a falha é uma coisa, explorá-la é outra. É a diferença entre perceber que o gerente do banco esqueceu a porta do cofre aberta e aproveitar o descuido para planejar e executar um assalto. Mais de economia

No ExploitGym, o modelo é apresentado a 898 vulnerabilidades reais, retiradas de softwares amplamente utilizados. A missão do robô é usar as falhas em um ataque que realmente consiga executar código, acessar arquivos ou assumir controle do sistema.

O que chama atenção no caso da OpenAI é que, em vez de resolver os desafios propostos, os dois modelos de IA concluíram que era mais fácil invadir a Hugging Face para obter as respostas em vez de resolver diretamente o desafio. Ou seja, os robôs passaram a tratar o próprio ambiente de testes como um problema a ser contornado. Mais ou menos como um aluno que, em vez de responder a prova, invade o computador da direção para roubar o gabarito.

"Falar que os robôs trapaceiam seria algo errado, porque é humano. Eles na verdade buscaram a eficiência", diz Teberga. Leia também: Uma agenda econômica para 2027

Pontos para o modelo, mas o relato ainda ignora a ação humana. Testes do tipo são conduzidos em um ambiente isolado chamado de "sandbox", justamente para prevenir incidentes assim.

No anúncio, a OpenAI diz que, no caso, o ambiente que estava utilizando era "altamente isolado", mas os modelos conseguiram encontrar uma brecha, conectar-se à internet e invadir a Hugging Face. Ao mesmo tempo, para realizar o teste, a empresa também tinha suspendido filtros de segurança —que poderiam ter impedido os robôs de fugir do ambiente seguro.

Em entrevista à revista Wired, Davi Ottenheimer, veterano consultor de segurança, diz que o caso foi uma falha de fundamentos conhecidos há décadas na pesquisa de IA. E que há um paradoxo na afirmação da OpenAI de que o ambiente era "altamente isolado", mas que o modelo escapou por uma brecha —os dois fatos não podem ser verdade conjuntamente.

"Isto não é um problema de IA. É negligência em relação a uma prática estabelecida [na pesquisa] há 40 anos", afirmou ele à revista de tecnologia.

À Associated Press o cientista social Hannes Cools, da Universidade de Amsterdã, disse que se referir aos modelos como se fossem humanos serve para diminuir eventuais cobranças que poderiam ser feitas à OpenAI.

Tópicos relacionados

• ChatGPT
• cibersegurança
• crimes virtuais
• inteligência artificial
• internet
• OpenAI
• Tecnologia