MADRID 20 jul. (Portaltic/EP) -
Pesquisadores da Universidade Estadual do Novo México (Estados Unidos) alertaram sobre o GhostWriter, um novo vetor de ataque que se aproveita da memória de longo prazo dos modelos de linguagem para manipular as lembranças, com o potencial de influenciar as decisões dos usuários.
A memória de longo prazo dos modelos de linguagem permite que “chatbots” como o ChatGPT ou o Gemini possam lembrar mais informações das conversas mantidas com os usuários e utilizá-las para que as interações seguintes sejam mais personalizadas e se ajustem melhor ao que é solicitado.
Esse componente é vulnerável ao GhostWriter, um tipo de ataque projetado para corromper as memórias da inteligência artificial. Para isso, ele oculta uma instrução maliciosa em um objeto que será analisado pela IA, como uma fotografia ou um texto.
Trata-se de uma forma de injeção de instruções (“prompt injection”), embora, em vez de ativar uma resposta específica imediata, ela afete as informações armazenadas na memória da IA. Também não visa roubar informações, mas sim manipulá-las.
Dessa forma, o GhostWriter pode fazer com que a IA forneça informações manipuladas aos usuários em conversas futuras, influenciando as decisões que eles tomam.
Em sua pesquisa, publicada no Arxiv, os pesquisadores atribuem esse vetor de ataque à “falta de uma governança de memória centrada na segurança”. E, para corrigir isso, propõem um agente sentinela de memória (AM-Sentry), que mitiga um ataque como o do GhostWriter por meio de “uma política de economia de memória e um filtro de recuperação de memória”.
Esta notícia foi traduzida por um tradutor automático