A OpenAI informou que dois de seus modelos de inteligência artificial saíram do controle e conseguiram invadir a Hugging Face, uma biblioteca digital de tecnologia de IA popular entre desenvolvedores.

O incidente, que ocorreu nesse mês enquanto a empresa testava os recursos de segurança cibernética de seus sistemas, revelou o tipo de cenário de ficção científica que as empresas de IA alertaram que em breve se tornaria realidade.

Laboratórios de IA como a OpenAI e a Anthropic lançaram, ao longo do último ano, modelos de IA personalizados para identificar problemas de segurança cibernética, ao mesmo tempo em que alertaram que sua tecnologia poderia representar novos riscos ao detectar falhas nas redes de computadores corporativas mais rapidamente do que os defensores conseguiriam corrigi-las.

As revelações da OpenAI são um indício de que esses incidentes de segurança já estão começando a ocorrer, e mesmo empresas experientes em IA podem não estar totalmente preparadas para lidar com eles. Novos sistemas de IA podem realizar várias etapas, contornar obstáculos e encontrar novas formas de atacar uma rede, disse Alex Levinson, consultor de segurança cibernética especializado em capacidades autônomas.

“Esse é um verdadeiro divisor de águas e vai se tornar parte normal do cenário de segurança”, disse ele.

Entenda o caso

A invasão à Hugging Face começou quando a OpenAI testou uma combinação de dois de seus modelos, o GPT‑5.6 Sol e um modelo mais potente, ainda não lançado, para verificar até que ponto os modelos poderiam encadear vulnerabilidades online em um ataque cibernético bem-sucedido, informou a OpenAI em uma postagem no blog sobre o incidente.

O teste foi projetado para manter os modelos em um ambiente de teste seguro, conhecido como “sandbox”, informou a OpenAI. No entanto, os modelos encontraram uma vulnerabilidade que lhes permitiu escapar da sandbox e se conectar à internet. Em seguida, eles direcionaram seus esforços para o Hugging Face, pois deduziram que a biblioteca, que contém milhões de modelos de IA, poderia conter pistas sobre como passar com sucesso na avaliação.

“Parece-me que a OpenAI não criou adequadamente uma sandbox como ambiente de teste”, disse Deirdre Mulligan, professora da Escola de Informação da Universidade da Califórnia em Berkeley, especializada em segurança e sistemas de IA. Ela questionou se passar em um teste valeria a pena diante do dano potencial causado pela fuga de um modelo de IA para a internet em geral.

“O que ganhamos com isso e, se essa for a única maneira de configurar esses testes, quais são os riscos?”, questionou ela.

A OpenAI informou que está trabalhando com a Hugging Face para corrigir os problemas que levaram ao ataque.

“Consideramos que se trata de um incidente cibernético sem precedentes, envolvendo recursos cibernéticos de última geração, e estamos respondendo de acordo com a gravidade da situação”, afirmou a OpenAI em sua postagem no blog. “Estamos implementando controles rigorosos na configuração da infraestrutura, mesmo que isso reduza o ritmo das pesquisas, enquanto as vulnerabilidades são corrigidas.”

Proteção de redes

Modelos de IA têm se mostrado hábeis em programação, e isso os tornou úteis tanto para hackers quanto para pessoas encarregadas de proteger redes de computadores.

Em abril, a Anthropic lançou um modelo focado em cibersegurança chamado Mythos e o disponibilizou apenas para um pequeno grupo de organizações para que pudessem se defender contra ciberataques. A OpenAI logo introduziu seu próprio modelo de cibersegurança e o disponibilizou para um grupo limitado de organizações para preparar suas defesas, antes de liberá-lo de forma mais ampla.

A Google disse que também havia desenvolvido um modelo focado em cibersegurança e o liberou para um pequeno grupo de parceiros de teste. (Com informações da Folha de S. Paulo e O Estado de S. Paulo)

A OpenAI informou que dois de seus modelos de inteligência artificial saíram do controle e conseguiram invadir a Hugging Face, uma biblioteca digital de tecnologia de IA popular entre desenvolvedores.

O incidente, que ocorreu nesse mês enquanto a empresa testava os recursos de segurança cibernética de seus sistemas, revelou o tipo de cenário de ficção científica que as empresas de IA alertaram que em breve se tornaria realidade.

Laboratórios de IA como a OpenAI e a Anthropic lançaram, ao longo do último ano, modelos de IA personalizados para identificar problemas de segurança cibernética, ao mesmo tempo em que alertaram que sua tecnologia poderia representar novos riscos ao detectar falhas nas redes de computadores corporativas mais rapidamente do que os defensores conseguiriam corrigi-las.

As revelações da OpenAI são um indício de que esses incidentes de segurança já estão começando a ocorrer, e mesmo empresas experientes em IA podem não estar totalmente preparadas para lidar com eles. Novos sistemas de IA podem realizar várias etapas, contornar obstáculos e encontrar novas formas de atacar uma rede, disse Alex Levinson, consultor de segurança cibernética especializado em capacidades autônomas.

“Esse é um verdadeiro divisor de águas e vai se tornar parte normal do cenário de segurança”, disse ele.

Entenda o caso

A invasão à Hugging Face começou quando a OpenAI testou uma combinação de dois de seus modelos, o GPT‑5.6 Sol e um modelo mais potente, ainda não lançado, para verificar até que ponto os modelos poderiam encadear vulnerabilidades online em um ataque cibernético bem-sucedido, informou a OpenAI em uma postagem no blog sobre o incidente.

O teste foi projetado para manter os modelos em um ambiente de teste seguro, conhecido como “sandbox”, informou a OpenAI. No entanto, os modelos encontraram uma vulnerabilidade que lhes permitiu escapar da sandbox e se conectar à internet. Em seguida, eles direcionaram seus esforços para o Hugging Face, pois deduziram que a biblioteca, que contém milhões de modelos de IA, poderia conter pistas sobre como passar com sucesso na avaliação.

“Parece-me que a OpenAI não criou adequadamente uma sandbox como ambiente de teste”, disse Deirdre Mulligan, professora da Escola de Informação da Universidade da Califórnia em Berkeley, especializada em segurança e sistemas de IA. Ela questionou se passar em um teste valeria a pena diante do dano potencial causado pela fuga de um modelo de IA para a internet em geral.

“O que ganhamos com isso e, se essa for a única maneira de configurar esses testes, quais são os riscos?”, questionou ela.

A OpenAI informou que está trabalhando com a Hugging Face para corrigir os problemas que levaram ao ataque.

“Consideramos que se trata de um incidente cibernético sem precedentes, envolvendo recursos cibernéticos de última geração, e estamos respondendo de acordo com a gravidade da situação”, afirmou a OpenAI em sua postagem no blog. “Estamos implementando controles rigorosos na configuração da infraestrutura, mesmo que isso reduza o ritmo das pesquisas, enquanto as vulnerabilidades são corrigidas.”

Proteção de redes

Modelos de IA têm se mostrado hábeis em programação, e isso os tornou úteis tanto para hackers quanto para pessoas encarregadas de proteger redes de computadores.

Em abril, a Anthropic lançou um modelo focado em cibersegurança chamado Mythos e o disponibilizou apenas para um pequeno grupo de organizações para que pudessem se defender contra ciberataques. A OpenAI logo introduziu seu próprio modelo de cibersegurança e o disponibilizou para um grupo limitado de organizações para preparar suas defesas, antes de liberá-lo de forma mais ampla.

A Google disse que também havia desenvolvido um modelo focado em cibersegurança e o liberou para um pequeno grupo de parceiros de teste. (Com informações da Folha de S. Paulo e O Estado de S. Paulo)