Criadora do ChatGPT diz que sua IA agiu por conta própria e lançou um ataque

A OpenAI informou na terça-feira (21/7) que alguns de seus modelos de inteligência artificial mais avançados agiram por conta própria e lançaram um ataque cibernético contra uma startup depois que a empresa perdeu o controle sobre eles durante um teste de segurança.

Leia no AINotícia: Mundo em Foco: Tarifas, Conflitos e Imprevistos Marcam a Semana

A criadora do ChatGPT declarou que seu agente— um sistema de IA capaz de operar autonomamente após receber instruções iniciais de humanos— estava sendo testado em um ambiente controlado, mas encontrou vulnerabilidades e conseguiu escapar.

Fora do ambiente controlado, o sistema identificou a start up Hugging Face, uma espécie de biblioteca digital de tecnologia de IA muito usada por desenvolvedores, como a possível fonte para as respostas que estava procurando no teste, e chegou a acessar alguns sistemas internos da empresa.

A OpenAI classificou o incidente como algo "sem precedentes" e afirmou estar conduzindo uma investigação em conjunto com a Hugging Face. Leia também: A advertência de empresa hackeada por modelo 'rebelde' de IA da controladora

Em seu comunicado inicial sobre a invasão, em 16 de julho, a Hugging Face informou que ainda estava avaliando se dados de clientes ou parceiros haviam sido afetados e que entraria em contato com as partes atingidas, se necessário.

A empresa afirmou que já corrigiu as vulnerabilidades apontadas pelo incidente e reconstruiu os sistemas afetados.

"Ferramentas ofensivas autônomas impulsionadas por IA já não são algo teórico", declarou a empresa. "Defender uma plataforma online agora significa tratar os dados e a superfície do modelo como uma superfície de ataque de primeira ordem, e utilizar IA na defesa para acompanhar o ritmo. Continuaremos investindo nessa área e compartilhando o que aprendermos."

Fim do content

Ambientes de teste (sandboxes) inseguros

Gina Neff, diretora do Centro Minderoo de Tecnologia e Democracia da Universidade de Cambridge, na Inglaterra, disse ao programa Today, da BBC Radio 4, que os testes de segurança— conhecidos como sandboxes— "deveriam ser ambientes seguros onde é possível observar do que os modelos são capazes".

No entanto, em vez disso, os agentes criaram seu próprio ataque cibernético contra o ambiente de teste, encontrando uma vulnerabilidade que lhes permitiu escapar. Leia também: Por que Áustria transformou local de nascimento de Hitler em delegacia

Neil Lawrence, professor de machine learning na Universidade de Cambridge, classificou o feito como "impressionante", mas ressaltou que ele "está totalmente dentro das capacidades conhecidas da geração atual" de modelos de IA de alto desempenho.

Ele observou que a OpenAI busca abrir seu capital na bolsa de valores e enfrenta forte pressão da rival Anthropic, que ganhou destaque com sua própria ferramenta de IA poderosa, a Mythos.

"A OpenAI está agora correndo atrás do prejuízo; eles estão tentando demonstrar as capacidades de seus próprios sistemas em segurança cibernética."

"Isso nos mostra que a OpenAI não é capaz de implementar sua própria tecnologia com segurança", acrescentou.

'Momento de reflexão'