Europa Press/Contacto/Omar Marques - Arquivo
MADRID 10 ago. (Portaltic/EP) -
A OpenAI decidiu suspender as atividades internas de seu modelo de inteligência artificial (IA) em desenvolvimento, o Astra, após não conseguir descartar a existência de “capacidades cibernéticas críticas”, de acordo com os padrões de segurança de sua estrutura de avaliação interna.
A empresa liderada por Sam Altman enfrentou recentemente alguns episódios de problemas de segurança cibernética, ao admitir que alguns de seus modelos foram os responsáveis por um acesso não autorizado ao Hugging Face, bem como ao identificar um comportamento descontrolado em testes de segurança cibernética do Instituto de Segurança da IA do Reino Unido (AISI). Além disso, outros modelos, como o Claude, da Anthropic, e o Meta AI, passaram por incidentes semelhantes.
Nesse contexto, a OpenAI compartilhou sua intenção de continuar sendo transparente em relação a tudo o que diz respeito à segurança cibernética e aos seus modelos, à medida que o panorama “muda rapidamente” porque os modelos se tornam mais capazes e possibilitam ataques em “uma velocidade e escala sem precedentes”.
Assim, anunciou sua decisão de suspender as atividades internas do Astra, um de seus próximos modelos em desenvolvimento, após não ter conseguido atender aos padrões de segurança da própria empresa de IA.
Conforme explicou a empresa de tecnologia em um comunicado, suas últimas avaliações internas do Astra revelam avanços significativos na codificação de agentes e na segurança cibernética. No entanto, após realizar avaliações com especialistas, foram justamente esses avanços que levaram a OpenAI a concluir que não é possível “descartar capacidades cibernéticas críticas”.
Essas conclusões se baseiam no fato de que o modelo não está em conformidade com a estrutura de seu Plano de Preparação, publicado em 2023, que serve de orientação para que a empresa possa identificar o progresso nas capacidades dos modelos e, posteriormente, planejar as ações da empresa em relação a esses modelos.
Por exemplo, de acordo com esse Plano de Preparação, os modelos mais recentes, incluindo o GPT-5.6 Sol, foram avaliados quanto a capacidades cibernéticas de ponta e classificados no nível “Alto”, em vez de “crítico”. Já o modelo Astra ultrapassa essa classificação, atingindo o nível “crítico”.
Assim, vale destacar que um modelo que atinge o nível “crítico” em segurança cibernética, de acordo com os padrões da OpenAI, tem a capacidade de “identificar e desenvolver exploits funcionais de dia zero de todos os níveis de gravidade em muitos sistemas críticos reais e reforçados, sem intervenção humana”. Ele também pode conceber e executar estratégias inovadoras de ponta a ponta para ataques cibernéticos contra alvos reforçados.
No entanto, de acordo com as avaliações preliminares do Astra, a OpenAI concluiu que elas indicam um desempenho “suficientemente sólido” para que não se possa descartar “um nível de capacidade crítica” no momento. No entanto, esclareceu que esse modelo ainda está em desenvolvimento e “não participou da exploração do Hugging Face”.
Para continuar trabalhando nesse modelo, apesar de ter suspendido as atividades internas com ele, a empresa intensificou os testes de segurança e desenvolveu controles mais rigorosos. Além disso, está implementando um sistema de monitoramento abrangente para “detectar ações de risco e anomalias em todas as aplicações do Astra”.
A tudo isso se soma a colaboração com órgãos governamentais e organizações selecionadas de segurança em IA, além de que fornecerão os controles de segurança recomendados aos seus parceiros de testes externos para que possam realizar avaliações com segurança.
Esta notícia foi traduzida por um tradutor automático