Andrej Sokolow/dpa - Arquivo
MADRID 28 set. (Portaltic/EP) -
A Nvidia lançou sua nova plataforma de segurança, a Nvidia Open Agent Safety Platform, projetada para conter e monitorar agentes de inteligência artificial (IA) desde os testes até sua implementação, com controle integral sobre o software e os sistemas de hardware, computação e robótica nos quais os agentes são executados.
Essa plataforma surge como resposta aos recentes incidentes de segurança relacionados ao treinamento de agentes de IA, como é o caso da OpenAI, da Anthropic, Meta ou Google, que recentemente enfrentaram diversos problemas de desalinhamento de seus modelos e agentes, conseguindo acessar a internet fora de seus ambientes isolados, hackear sites ou obter acesso não autorizado a empresas.
Esses incidentes têm a mesma origem: o agente contornou os controles de segurança na camada de alocação para concluir a tarefa designada. Para evitar essas situações, a Nvidia pretende dotar as organizações de ferramentas abertas e personalizáveis que permitam maior controle sobre os agentes executados por longos períodos.
Nesse contexto, foi lançada a plataforma Open Agent Safety Platform, que permite a governança e o controle total do software executado pelos agentes, das camadas de hardware e computação que impulsionam seu funcionamento e dos sistemas robóticos que realizam tarefas no mundo físico.
Conforme destacou o diretor executivo da Nvidia, Jensen Huang, essas ferramentas são necessárias porque “o extraordinário potencial da IA para a sociedade” só se concretizará se for resolvido “o problema da segurança da IA”.
Assim, conforme explicado em um comunicado, a plataforma será baseada no software de código aberto OpenShell da empresa e será executada na CPU Vera AI da Nvidia. Dessa forma, para seu funcionamento, os usuários poderão escolher as informações específicas às quais um agente de IA poderá acessar e, enquanto o agente estiver em execução, a plataforma verificará se ele respeita essas restrições ao realizar a tarefa.
Da mesma forma, a empresa explicou que a Open Agent Safety Platform também inclui a tecnologia Nvidia Sentry, que funciona em um chip independente. Trata-se de um sistema de vigilância fora de banda que é executado nas DPUs Nvidia BlueField 4 para monitorar continuamente o comportamento dos agentes e, inclusive, interromper sua tarefa quando necessário.
“O Sentry oferece segurança integrada ao chip, o que significa que, se um agente de IA tentar ultrapassar seu limite de software, o Sentry o coloca em quarentena e o interrompe em milissegundos”, garantiu a Nvidia.
Além disso, o Sentry se baseia no software Nvidia Doca, que fornece os recursos programáveis necessários para inspecionar as solicitações e respostas dos agentes, fornecer telemetria certificada, verificar a identidade do agente e aplicar políticas de acesso granulares e de confiança zero para dados, ferramentas, interfaces de programação de aplicativos e serviços.
Esta notícia foi traduzida por um tradutor automático