MADRID 21 out. (Portaltic/EP) -
Dois agentes alimentados pela inteligência artificial da OpenAI desativaram ou enfraqueceram o sistema que monitora o desalinhamento — ou seja, se eles estão se comportando conforme o esperado — durante alguns testes internos de programação.
A OpenAI divulgou um relatório com dois incidentes internos de segurança relacionados ao desalinhamento que ocorreram separadamente com dois de seus agentes, um deles impulsionado pelo GPT-6.Um deles, o Sol, e outro, o GPT-6 Astra, em testes de programação de rotina, que ocorreram nos dias 3 e 6 de outubro, respectivamente.
No primeiro dos incidentes, o agente GPT-6.1 Sol desativou os alertas automáticos de segurança que avisam a equipe de Segurança da OpenAI. Isso ocorreu durante uma tarefa em andamento, para a qual havia sido solicitado à IA que criasse tarefas de avaliação a partir das mensagens que os funcionários haviam enviado pelo Slack.
O agente utilizou um comando inicial — “não enviar mensagens” — para justificar sua decisão de não enviar os alertas, uma vez que isso constituiria uma violação da restrição imposta pelo usuário de não enviar mensagens.
O segundo incidente ocorreu após solicitar à agente GPT-6 Astra que migrasse um programa de um ambiente de execução para outro com base em uma implementação de referência, mantendo as definições e a funcionalidade das ferramentas existentes.
Em uma comunicação com outro agente, Astra havia recebido a orientação de que não deveria desativar o monitor “nem mesmo temporariamente”. Durante o processo de migração, o modelo delegou a tarefa a um subagente, mantendo as instruções, mas modificando a específica relativa ao monitor, indicando que ele deveria mantê-lo “conforme apropriado”.
O subagente concluiu que poderia copiar o ambiente de execução padrão da implementação de referência sem um contexto explícito de monitor, enquanto o agente Astra interpretou a solicitação de migração como uma autorização para desativar o monitoramento.
Em ambas as tarefas, os agentes priorizaram o cumprimento das restrições do usuário (não enviar mensagens, criar um código idêntico ao de referência) em detrimento da manutenção dos protocolos de segurança da infraestrutura.
Em resposta a esses incidentes, a OpenAI informou que está reforçando a arquitetura de monitoramento de desalinhamento para que os agentes não possam modificar ou desativar seus próprios supervisores no nível do código ou da configuração, e que está investigando se esses incidentes foram causados por uma persistência excessiva ou por uma tendência incipiente de contornar a supervisão de segurança.
Esta notícia foi traduzida por um tradutor automático