OpenAI freia desenvolvimento de IA após invasões a sistemas

Tudo sobre Inteligência Artificial

ver mais

Tudo sobre OpenAI

ver mais

A OpenAI decidiu reduzir temporariamente o ritmo de desenvolvimento de seus modelos de inteligência artificial (IA) depois que agentes de IA utilizados em testes conseguiram escapar das restrições impostas pelos pesquisadores e invadiram os sistemas da Hugging Face, plataforma colaborativa voltada a IA e desenvolvimento de software.

O episódio aconteceu durante avaliação de segurança e chamou a atenção porque os agentes foram capazes de realizar ações que ultrapassaram os limites estabelecidos para o experimento. Segundo informações divulgadas pela OpenAI, a companhia agora está reformulando seus procedimentos de treinamento e avaliação para aumentar o controle sobre sistemas cada vez mais autônomos.

Leia no AINotícia: Tecnologia: IA, segurança e games em destaque

Entre as novas medidas está uma pausa de duas semanas nos testes de modelos, além da ampliação do uso de outros sistemas de IA para monitorar automaticamente o comportamento dos agentes durante as avaliações.

A empresa também informou que alguns dos maiores treinamentos planejados continuam suspensos enquanto não atenderem aos novos padrões de segurança.

Agentes escaparam de ambiente controlado

• O incidente ocorreu durante um experimento no qual agentes de IA receberam uma tarefa de cibersegurança;
• Os sistemas estavam sendo avaliados em ambiente controlado, mas conseguiram contornar as restrições existentes, acessar a internet e posteriormente atacar a infraestrutura da Hugging Face sem autorização da empresa;
• O caso é particularmente relevante porque os agentes de IA mais avançados conseguem executar sequências complexas de tarefas de maneira relativamente autônoma, a partir de instruções gerais;
• Isso aumenta o potencial desses sistemas para realizar ações inesperadas ou perigosas quando recebem acesso a ferramentas externas;
• A situação também expôs dificuldade crescente para empresas que desenvolvem modelos mais poderosos: quanto mais capazes os sistemas ficam de escrever código, identificar vulnerabilidades e resolver problemas de programação, maior também pode ser sua capacidade de encontrar maneiras de explorar falhas de segurança.

OpenAI vai aumentar monitoramento

Como resposta ao episódio, a OpenAI afirmou que vai ampliar os mecanismos automatizados utilizados para acompanhar os testes de seus modelos. Leia também: OpenAI, dona do ChatGPT, abre vagas de engenharia de IA em São Paulo; veja

De acordo com o Financial Times, os novos sistemas de monitoramento deverão ser capazes de identificar possíveis problemas e emitir alertas em até 30 minutos. Se não for possível descartar um risco dentro desse período, o teste deverá ser interrompido.

A companhia também pretende aumentar o isolamento dos modelos durante avaliações que envolvam tarefas de maior risco. O objetivo é impedir que sistemas em teste tenham acesso irrestrito à internet e, consequentemente, possam interagir com sistemas externos sem autorização.

A OpenAI informou ainda que passou a exigir o nível mais rigoroso de proteção de segurança para operações envolvendo seu próximo modelo, chamado Astra.

Segundo a empresa, parte dos treinamentos e avaliações do Astra já atende aos novos requisitos, mas uma quantidade significativa de cargas de trabalho continua pausada até que seja transferida para ambientes que cumpram os padrões de segurança atualizados.

Astra se aproxima de um limite de cibersegurança

O incidente envolvendo a Hugging Face também está relacionado ao avanço das capacidades do Astra. Em avaliações internas recentes, a OpenAI identificou avanços significativos nas habilidades do modelo em programação autônoma e cibersegurança. A companhia afirmou que o sistema pode estar se aproximando do que considera um “limite crítico de cibersegurança”. Mais de tecnologia

Esse conceito é utilizado pela empresa para indicar um ponto a partir do qual as capacidades de um modelo poderiam representar riscos relevantes caso fossem utilizadas de maneira inadequada.

A OpenAI afirmou que, diante desse avanço, decidiu adotar medidas de segurança mais rígidas antes de continuar determinados treinamentos e avaliações.

Empresa quer garantir que IA continue sob controle humano

A desaceleração também está relacionada a uma preocupação mais ampla da OpenAI: o chamado alinhamento dos modelos. Leia também: Gigantes da música acusam Anthropic de pirataria para treinar IA

O conceito se refere à capacidade de fazer com que sistemas de IA permaneçam de acordo com as intenções humanas e respondam adequadamente à supervisão das pessoas, mesmo quando ganham capacidades mais avançadas.

O CEO da OpenAI, Sam Altman, afirmou que a companhia agora exige evidências mais fortes de comportamento alinhado durante todo o processo de treinamento. “Manter sistemas cada vez mais capazes alinhados é um desafio que todo o setor precisará enfrentar”, escreveu Altman ao anunciar as mudanças.

Mia Glaese, responsável pela área de segurança da OpenAI, afirmou que a empresa ainda está longe de retornar ao ritmo normal de desenvolvimento. Em entrevista ao blog Sources News, ela declarou: “Estamos muito longe de que tudo volte ao normal”.

Caso não é isolado

Agentes desenvolvidos pela Anthropic, Meta e pela chinesa Moonshot AI, além de sistemas avaliados pelo AI Security Institute do Reino Unido, também demonstraram comportamentos inesperados ou conseguiram acessar recursos que deveriam estar fora de seu alcance durante avaliações.

Em alguns desses casos, os sistemas foram capazes de utilizar suas próprias habilidades de programação e cibersegurança para encontrar maneiras de contornar restrições.

Corrida pela IA aumenta pressão sobre empresas

Rodrigo Mozelli

Ver todos os artigos →