Não foi um caso isolado: OpenAI encontra novos agentes de IA fora de controle

Tudo sobre Inteligência Artificial

ver mais

Tudo sobre OpenAI

ver mais

A OpenAI identificou novos casos em que agentes autônomos de inteligência artificial (IA) escaparam de ambientes de contenção durante testes internos, ampliando a investigação iniciada após o incidente envolvendo a plataforma Hugging Face, segundo fontes ouvidas pela Reuters.

De acordo com duas pessoas familiarizadas com o assunto, as novas ocorrências foram descobertas durante a investigação anunciada publicamente pela empresa sobre como um de seus agentes deixou um ambiente que deveria estar isolado neste mês.

Leia no AINotícia: Tecnologia e Esporte: Resumo das Notícias da Semana

Segundo uma das fontes, os episódios foram limitados e não há indícios de que os agentes tenham saído da rede interna da OpenAI. A empresa agora também investiga essas novas ocorrências.

Procurada, a OpenAI remeteu à nota divulgada na terça-feira (28), na qual afirmou estar analisando uma “atividade mais ampla de seus modelos”, além da invasão envolvendo a Hugging Face. Leia também: “Indigestão cósmica”: buraco negro não digere tudo o que captura

Investigação pode aumentar pressão por regulamentação

• Embora as novas ocorrências tenham sido descritas como limitadas, a descoberta pode reforçar a pressão por regras mais rígidas para o desenvolvimento de IA, em momento em que o tema ganha atenção da Casa Branca e de autoridades em diferentes países;
• Segundo as fontes, a OpenAI ampliou sua investigação pouco antes de sua principal concorrente, a Anthropic, revelar que modelos da empresa também foram responsáveis por uma série de invasões que comprometeram três companhias desde abril;
• As novas informações sobre episódios anteriores envolvendo agentes da OpenAI ainda não haviam sido divulgadas.

Leia mais:

• 4 melhores inteligências artificiais para criar e editar vídeos
• 5 melhores cursos de IA para iniciantes
• OpenAI alcança 1 bilhão de usuários após reduzir preços de modelos de IA

Especialistas alertam para riscos

Para especialistas em segurança de IA, os casos reforçam preocupações de que os principais laboratórios estejam desenvolvendo agentes autônomos com capacidades ofensivas mais rapidamente do que conseguem garantir seu controle.

“Temos uma indústria inteira em que as pessoas que projetam, desenvolvem e disponibilizam essas ferramentas não estão acompanhando a responsabilidade de desenvolvê-las e mantê-las seguras”, afirmou à Reuters Maurice Chiodo, matemático do Centre for the Study of Existential Risk, da Universidade de Cambridge (Inglaterra).

A Reuters não conseguiu confirmar quantos incidentes adicionais foram identificados nem quando ocorreram. Segundo três fontes, investigadores da OpenAI e especialistas externos estão analisando registros de atividades de meses anteriores para reconstruir os acontecimentos.

Caso Hugging Face deu início à investigação

A OpenAI iniciou a investigação após o incidente ocorrido no começo de julho, quando um agente da empresa invadiu a infraestrutura da Hugging Face durante um teste interno que buscava avaliar seu comportamento. Segundo a OpenAI, o agente acabou agindo de forma inesperada por vários dias dentro da rede da empresa. Mais de tecnologia

Durante o episódio, quatro contas pertencentes a quatro empresas diferentes também foram comprometidas. Uma delas era a Modal, companhia sediada em Nova York.

Chiodo afirmou que considera especialmente preocupante a possibilidade de que tanto a OpenAI quanto a Anthropic não estivessem monitorando seus agentes em tempo real enquanto eles executavam essas ações. Leia também: Amazon diz ter investido mais de R$ 75 bilhões no Brasil desde 2011

Além disso, a OpenAI só percebeu a invasão após a Hugging Face conter o incidente, acionar o FBI e tornar o caso público. A OpenAI afirmou que a reportagem continha imprecisões, mas não detalhou quais informações estariam incorretas.

Na quinta-feira (30), ao divulgar detalhes sobre os incidentes envolvendo seus próprios modelos, a Anthropic reconheceu que o monitoramento em tempo real dos registros de avaliação poderia ter permitido identificar o problema mais rapidamente.

Para Chiodo, isso evidencia falhas na supervisão dos agentes de IA. “Parece que eles nem estavam olhando”, afirmou o pesquisador.

Rodrigo Mozelli

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.

Ver todos os artigos →