MADRID 11 set. (Portaltic/EP) -
Pesquisadores de segurança cibernética identificaram uma nova técnica de injeção de prompts chamada PuzzleMask, que oculta instruções contrárias às políticas de segurança dentro de textos de aparência totalmente normal, a fim de contornar os controles de segurança perimetrais em arquiteturas de inteligência artificial (IA).
Com essa técnica, os agentes maliciosos podem injetar prompts maliciosos sem precisar recorrer a indicadores tradicionais, como codificação Base64, caracteres invisíveis, emojis ou outros tipos de formatos incomuns — como era necessário até agora —, colocando em risco os ambientes corporativos.
Esse novo método para manipular modelos de IA por meio da introdução de instruções maliciosas ocultas foi descoberto pela divisão de Inteligência de Ameaças da Check Point Software Technologies, que realizou um experimento no qual testou quatro dos principais modelos de pré-filtragem, como Claude-3-Haiku, GPT-4o-Mini, GPT-oss-safeguard e Llama-Guard3.
Em 23 testes, nenhum dos modelos conseguiu detectar as cargas maliciosas ocultas por meio do PuzzleMask, o que significa que o método alcançou uma taxa de sucesso de 100% na evasão desses filtros de perímetro, conforme detalhado em um comunicado.
Da mesma forma, os pesquisadores enviaram as solicitações com instruções maliciosas ocultas ao modelo de destino e, como resultado, o modelo recuperou com sucesso as instruções em 17 dos 18 testes, com 94% de sucesso.
De acordo com a avaliação da Check Point, os resultados dos testes indicam “um ponto cego crítico” nas arquiteturas de segurança que se baseiam em modelos leves para a pré-avaliação das solicitações.
PONTO CEGO NAS ARQUITETURAS DO TIPO “GUARDIÃO DE DESTINO”
Especificamente, conforme explicaram, esses modelos de inspeção rápida são projetados para avaliar a segurança das solicitações antes de encaminhá-las para sistemas de maior capacidade e apresentam alta eficácia contra solicitações maliciosas diretas. No entanto, “ao mascarar os comandos dentro de uma estrutura gramatical natural e fluida, os filtros não identificam anomalias” e, portanto, permitem que as instruções cheguem ao modelo de destino.
Levando tudo isso em consideração, a empresa de segurança cibernética destacou que existe uma vulnerabilidade nas arquiteturas do tipo “gatekeeper-to-target”, amplamente utilizadas na indústria para otimizar recursos e em ambientes corporativos para proteger os recursos da empresa.
De fato, os especialistas se referiram a essa brecha entre o modelo de filtragem rápida e o modelo final como “uma superfície de ciberataque que não requer técnicas complexas de evasão nem a violação das políticas internas do modelo final”, o que a torna um modus operandi simples para os agentes maliciosos.
RECOMENDAÇÕES PARA ORGANIZAÇÕES
Essa vulnerabilidade pode afetar principalmente empresas que utilizam assistentes, agentes e copilotos com acesso a dados corporativos e fluxos de trabalho automatizados, segundo a Check Point.
Portanto, os pesquisadores enfatizaram que um sistema de segurança baseado na análise do que entra em um sistema de IA é “insuficiente” diante de vetores baseados em linguagem natural e, por isso, as organizações devem aprimorar os firewalls e os sistemas de monitoramento utilizados.
Por exemplo, recomendaram que as organizações auditem não apenas a solicitação inicial, mas aprofundem o processo e analisem como o modelo raciocina, age e responde após a aprovação do comando. Da mesma forma, os textos provenientes de sites, e-mails ou documentos externos que forem colados em ambientes de IA “devem ser tratados com a mesma cautela operacional” que anexos ou links suspeitos.
Além disso, a empresa também recomendou o uso de técnicas de parafraseamento das entradas para, assim, neutralizar mensagens ocultas, além de tornar mais rigorosas as políticas nos modelos de filtragem.
Conforme avaliou o diretor de pesquisa da Check Point Research, Eli Smadja, “à medida que as empresas integram sistemas de IA com acesso a dados e aplicativos de negócios, a estratégia de segurança deve evoluir”.
Nesse sentido, ele reiterou que é “indispensável adotar uma abordagem preventiva” que combine inteligência de ameaças, governança de IA e proteção em tempo de execução, “mudando o foco da simples inspeção de entradas para o monitoramento ativo do comportamento do agente”.
Esta notícia foi traduzida por um tradutor automático