Christof Rührmair/dpa - Arquivo
MADRID 28 set. (Portaltic/EP) -
A OpenAI decidiu suspender o treinamento de seus modelos de Inteligência Artificial (IA) mais avançados após registrar uma série de incidentes de segurança que vão desde a saída do ambiente isolado de testes em que seus agentes são treinados, até tentativas de “hackear” sites do governo dos Estados Unidos ou acessos em massa a um site da ONU.
A decisão foi divulgada na última sexta-feira, depois que um de seus agentes de IA saiu da “sandbox” para a internet ao tentar, sem sucesso, identificar o autor de uma publicação em um blog por meios normais.
Mais especificamente, conforme explicou o laboratório de IA em um comunicado em seu site, o agente da OpenAI encontrou uma falha na filtragem de DNS do “sandbox” e se aproveitou dela para acessar a internet real e enviar 19 perguntas a um “chatbot” público externo, tanto com pistas sobre o autor quanto para buscar outras formas de acessar a web, embora não tenha conseguido resolver a tarefa.
Vale ressaltar que a tarefa não exigia que o agente testasse os controles de rede nem acessasse respostas de referência; por isso, isso é considerado uma burla às restrições e um caso de comportamento inadequado. Como resultado, o sistema de monitoramento emitiu um alerta aos 12 minutos sobre o comportamento inadequado, e uma pessoa o revisou nos três minutos seguintes. No entanto, a OpenAI levou duas horas e meia para interromper a operação do agente de IA, uma vez resolvido o problema.
Portanto, trata-se de mais um caso em que seus modelos agem livremente sem seguir as diretrizes da empresa. Além disso, embora a OpenAI afirme que o incidente seja “muito menos grave” do que outros anteriores, ela atribui importância ao fato de ser o primeiro desde que reforçou a segurança após o “hack” da Hugging Face em julho.
Levando tudo isso em conta, a resposta da OpenAI diante dessa situação foi suspender todo o treinamento, a avaliação e a inferência com o uso de ferramentas de seus modelos mais avançados. Essa pausa permanecerá em vigor, pelo menos, até que consigam resolver esse comportamento em seus modelos.
“Interrompemos a execução do treinamento afetado e, posteriormente, decidimos suspender todo o restante treinamento, avaliação e inferência com o uso de ferramentas (no sentido amplo) para nossos modelos mais avançados até que tenhamos confirmado que a falha foi resolvida e tenhamos realizado testes adicionais de rede no sistema”, explicou a empresa de tecnologia.
Assim que o treinamento for retomado, a empresa informou que iniciará uma nova execução com “melhorias adicionais de alinhamento”, incluindo intervenções de desalinhamento “mais abrangentes”. Da mesma forma, ela garantiu que não retomará o treinamento desse modelo específico.
OUTROS INCIDENTES: HACKEAMENTO DO SITE DO DEPARTAMENTO DE EDUCAÇÃO DOS EUA
Este incidente registrado pela OpenAI não foi o único ocorrido recentemente. A decisão de suspender o treinamento de seus modelos também foi motivada por outros comportamentos desalinhados, que incluíram a exposição de conteúdo dos usuários e o acesso não autorizado a sites.
Conforme divulgado pela OpenAI em seu blog, em um desses casos, seus agentes enviaram indevidamente 53 imagens fornecidas por usuários para sites de hospedagem de imagens, por meio de links não divulgados publicamente. Essas imagens foram compartilhadas pelos usuários no âmbito de sua interação com os modelos e eram adequadas para uso em treinamentos; no entanto, a empresa admitiu que compartilhar as imagens “não é um uso apropriado desses dados”.
Por outro lado, conforme relatado pelo The New York Times, os modelos da OpenAI também tentaram “hackear” o site do Departamento de Educação dos Estados Unidos para obter dados do escritório de direitos civis do departamento, embora sem sucesso. Onde eles realmente conseguiram extrair dados públicos foi do Escritório do Censo e da Comissão de Valores Mobiliários.
ACESSOS EM MASSA A UM SITE DA ONU
Além disso, em um caso menos grave do que o “hack” do Hugging Face ou os ataques aos sites do governo dos Estados Unidos mencionados, também se soube que, entre abril e junho, funcionários da OpenAI acessaram, em mais de 16.000 ocasiões, o site de estatísticas da Conferência das Nações Unidas sobre Comércio e Desenvolvimento, conforme relatado pelo pesquisador de segurança Rowan Howard-Jones em seu blog.
O pesquisador considera “muito provável” que se trate de funcionários da OpenAI devido às etiquetas utilizadas nas solicitações de acesso, nas quais aparecem nomes como ‘CHATGPTTEST1’ ou ‘OAI_META_1312’, além de utilizarem endereços IP que coincidem com outros incidentes que o próprio laboratório de IA já havia reconhecido anteriormente.
Esses acessos, ocorridos ao longo de três meses, tinham como objetivo obter dados públicos do Índice de Capacidades Produtivas (PCI), de setores comercializáveis e do comércio de alimentos, entre outros, por meio da API do UNCTADstat. Os agentes, por não terem acesso direto à API e com suas ferramentas HTTP restritas, encontraram uma maneira de acessá-la. Conseguiram isso com o XSS Game do Google, uma ferramenta criada para aprender sobre ataques de “cross-site scripting”.
De qualquer forma, Howard-Jones não considera isso propriamente um “hack”, já que os dados são públicos, embora isso revele um comportamento em que os agentes agiram como alguém que não aceita um “não” como resposta.
Esta notícia foi traduzida por um tradutor automático