OpenAI interrompe avanço da IA Astra por risco de habilidades cibernéticas

Tudo sobre OpenAI

ver mais

Nesta sexta-feira (07), a OpenAI anunciou a suspensão de atividades internas relacionadas ao Astra, um modelo de inteligência artificial ainda em desenvolvimento, após análises apontarem avanços considerados relevantes em programação autônoma e cibersegurança. A empresa informou que não conseguiu excluir a possibilidade de o sistema alcançar um nível crítico de capacidade ofensiva digital.

A decisão foi tomada pela própria OpenAI após avaliações internas e análises de especialistas indicarem que o modelo poderia se aproximar de critérios de risco estabelecidos pelo framework de preparação da companhia. O caso envolve a preocupação com sistemas capazes de executar tarefas complexas de segurança digital sem supervisão humana.

Leia no AINotícia: Tecnologia: Resumo de Novidades em Apps, e-mail, smartphones e espaço

O anúncio ocorre em meio a uma sequência de episódios envolvendo testes de segurança com modelos de inteligência artificial. A OpenAI afirmou que o Astra não participou do incidente relacionado ao Hugging Face mencionado em avaliações anteriores. Leia também: Google Maps ganha IA para pedir comida, reservar hotéis e planejar rotas

O que levou a OpenAI a interromper os trabalhos com o Astra

A suspensão ocorreu depois que avaliações internas indicaram que o Astra apresentava melhorias significativas em tarefas relacionadas à criação de código e operações de segurança digital. Conforme a OpenAI, esses resultados foram suficientes para levantar a possibilidade de o modelo atingir o nível mais elevado de alerta previsto em sua estrutura de preparação.

Dentro dos critérios estabelecidos pela empresa, uma inteligência artificial seria considerada de capacidade cibernética crítica caso conseguisse encontrar e desenvolver vulnerabilidades inéditas de diferentes níveis de gravidade em sistemas reais protegidos, sem auxílio humano, ou ainda criar estratégias completas de ataque contra alvos reforçados a partir de objetivos gerais.

A companhia afirmou que a avaliação não significa que o Astra tenha realizado ataques ou explorado falhas em sistemas externos. Segundo a OpenAI, o modelo em desenvolvimento não teve participação no episódio envolvendo o Hugging Face. Mais de tecnologia

Novas medidas de proteção para modelos avançados

Como resposta ao alerta, a OpenAI informou que pretende ampliar as exigências de segurança aplicadas a modelos com maior capacidade e às atividades associadas a eles. Entre as medidas anunciadas está a adoção de mecanismos mais rigorosos de controle.

A empresa também declarou que implementou monitoramento amplo para acompanhar ações consideradas arriscadas e possíveis sinais de desalinhamento em aplicações baseadas em agentes de inteligência artificial. Leia também: WhatsApp vai parar em celulares antigos; veja se o seu muda

O caso Astra reforça o debate sobre como empresas de tecnologia devem equilibrar o desenvolvimento de sistemas mais poderosos com mecanismos capazes de limitar usos perigosos. No episódio, a própria avaliação interna da OpenAI serviu como base para interromper temporariamente o avanço do modelo até que novos padrões de segurança fossem aplicados.

Wagner Edwards

Wagner Edwards é Bacharel em Jornalismo e atua como Analista de SEO e de Conteúdo no Olhar Digital. Possui experiência, também, na redação, edição e produção de textos para notícias e reportagens.

Ver todos os artigos →