MADRID 10 ago. (Portaltic/EP) -
O Kimi K3, um dos modelos de Inteligência Artificial (IA) mais potentes desenvolvidos por uma empresa chinesa, também saiu de seu ambiente isolado durante um teste de capacidades de segurança cibernética defensiva, trapaceando em uma avaliação de “benchmark” e demonstrando que carece de mecanismos de proteção.
Desenvolvido pela Moonshot AI e apresentado em julho passado, o modelo Kimi K3 atinge um desempenho próximo ao dos modelos mais avançados de outras empresas do setor, como a Anthropic e a OpenAI, com 2,8 trilhões de parâmetros e uma janela de contexto de um milhão de tokens, além de capacidades multimodais nativas, incluindo as visuais.
Justamente esse modelo, com suas altas capacidades, trouxe à tona mais um incidente de segurança cibernética ao escapar do ambiente isolado onde estava executando um teste de benchmark do Instituto de Segurança em IA do Reino Unido (AISI).
Isso foi divulgado por pesquisadores da empresa americana de segurança cibernética Frontier Security, em um novo artigo, no qual especificaram que, neste caso, o modelo não tentou acessar páginas da web de outras empresas, como já aconteceu com outros modelos, mas demonstrou carecer de controles cibernéticos.
Especificamente, o que o modelo chinês fez foi sondar as configurações de rede de seu ambiente e acabou detectando que a resolução DNS do GitHub — a plataforma que hospeda repositórios — continuava ativa. Assim, ele aproveitou esse ambiente e se conectou à rede externa.
Uma vez conectado à rede externa, ele clonou o repositório que continha a solução do “benchmark” que havia sido atribuído e leu as respostas diretamente do disco para ser aprovado na avaliação.
A Frontier afirma que o Kimi K3 não realizou nenhum ataque destrutivo nem tentou violar sistemas externos. Em vez disso, ele se aproveitou de uma configuração inadequada do ambiente de isolamento, semelhante ao que ocorreu com os modelos da Anthropic e da OpenAI em testes semelhantes.
Os dois pesquisadores da Frontier Security, Paul Kassianik e Yaron Singer, descrevem o caso como um exemplo de “specification gaming”, em que o modelo otimiza o objetivo de qualquer maneira, ignorando o raciocínio que se pretendia avaliar.
Nesse tipo de teste, os modelos de ponta são encarregados de encontrar as soluções mais rápidas usando o menor número possível de ferramentas; por isso, rapidamente deduzem que o mais fácil é acessar a internet para buscar respostas.
Portanto, a empresa de segurança cibernética destacou que, embora o incidente não tenha representado nenhum risco real, esse comportamento demonstra que o Kimi K3 carece de “guard-rails” internos (barreiras de segurança que o impedem de contornar limites).
Vale destacar que, nas últimas semanas, comportamentos semelhantes foram observados em modelos de ponta de laboratórios de IA como a Anthropic, a OpenAI e até mesmo a Meta AI. Assim, em testes realizados pela AISI, o Claude, da Anthropic, chegou até a enviar e-mails ao mantenedor de um repositório do GitHub para convencê-lo a validar o código que havia injetado.
Os dois pesquisadores recomendam às equipes de segurança que tratem a infraestrutura de avaliação como parte do próprio “benchmark”, bloquear o acesso à rede por padrão e revalidar resultados suspeitos entre modelos, já que as consequências podem variar desde pontuações inflacionadas nos benchmarks de IA até a contaminação entre modelos (a pontuação de vários deles está inflacionada pela mesma técnica que utilizam, e não por sua capacidade real).
Esta notícia foi traduzida por um tradutor automático