Publicado 23/09/2025 07:18

A iniciativa global 'Call for AI Red Lines' busca definir linhas vermelhas para a IA a fim de evitar riscos em grande escala

Tecnologia de IA fundo de microchip conceito de transformação digital
FREEPIK

MADRI 23 set. (Portaltic/EP) -

Líderes da política, da academia e do setor de tecnologia assinaram uma nova iniciativa global 'Call for AI Red Lines', que busca estabelecer um acordo internacional para definir certas "linhas vermelhas" para tecnologias de inteligência artificial (IA), a fim de proibir usos considerados perigosos para evitar riscos em larga escala para os seres humanos.

A inteligência artificial está demonstrando cada vez mais seu potencial para melhorar o bem-estar humano e facilitar a vida diária dos usuários. No entanto, sua trajetória também apresenta uma série de perigos que devem ser evitados para proteger as pessoas.

Diante desse cenário, foi criada a iniciativa global "Call for AI Red Lines", que se traduz em um apelo por linhas vermelhas para as tecnologias de IA, a fim de evitar que elas ultrapassem determinados aspectos, usos ou comportamentos que possam prejudicar os seres humanos. Essas linhas vermelhas funcionariam como limites acordados internacionalmente para evitar que a IA cause riscos "inaceitáveis".

A iniciativa foi lançada na segunda-feira, na 80ª Assembleia Geral das Nações Unidas, realizada esta semana em Nova York, EUA, e é liderada pelo Centro Francês para a Segurança da IA (CeSIA), pela Sociedade do Futuro e pelo Centro de Inteligência Artificial Compatível com Humanos da Universidade da Califórnia, em Berkeley.

Especificamente, o projeto conta com o apoio de mais de 200 líderes do setor, mais de 70 organizações, dez ganhadores do Prêmio Nobel e oito ex-chefes de estado e ministros em todo o mundo. Entre eles estão o cofundador da OpenAI, Wojciech Zaremba, o CISO da Anthropic, Jason Clinton, o cientista de pesquisa do Google DeepMind, Ian Goodfellow, e o ganhador do Prêmio Nobel de Física e do Prêmio Turing, Geoffrey Hinton.

"Pedimos aos governos que cheguem a um acordo político internacional sobre as linhas vermelhas da IA e garantam que elas estejam operacionais, com mecanismos robustos de aplicação até 2026", afirma a iniciativa.

De acordo com a organização, essa urgência em estabelecer limites para a IA tem a ver com a prevenção de perigos que abrangem questões como a possibilidade de a IA superar "em breve" as capacidades humanas e, assim, exacerbar riscos como pandemias, desinformação generalizada, manipulação em larga escala de pessoas (inclusive crianças) e preocupações com a segurança nacional e internacional.

Ele também aponta que a IA pode afetar outros aspectos, como o desemprego em massa e, acima de tudo, violações sistemáticas dos direitos humanos.

No entanto, os signatários denunciam que, embora o comportamento enganoso e prejudicial de alguns sistemas avançados de IA já tenha sido identificado, eles continuam a receber mais autonomia para agir e tomar decisões no mundo. "Se não forem controlados, será cada vez mais difícil exercer um controle humano significativo nos próximos anos", afirmam.

Assim, o objetivo final é "evitar riscos em grande escala e potencialmente irreversíveis antes que eles aconteçam", conforme detalhado pelo diretor executivo da CeSIA, Charbel-Raphaël Segerie, em declarações relatadas pelo The Verge.

"Se as nações ainda não conseguem chegar a um acordo sobre o que querem fazer com a IA, elas devem pelo menos chegar a um acordo sobre o que a IA nunca deve fazer", disse Segerie, esclarecendo que o objetivo "não é reagir após a ocorrência de um incidente grave".

Nesse sentido, a organização também esclareceu que as linhas vermelhas que estão propondo devem se basear nas estruturas globais existentes e nos compromissos voluntários das empresas. Elas também devem garantir a conformidade com as diretrizes, assegurando que todos os provedores de IA avançada sejam "responsabilizados por limites comuns".

No entanto, como disse o diretor de governança global de IA da Future Society, Niki Iliadis, no longo prazo, são necessários mais do que "compromissos voluntários", de acordo com a Future Society. Isso se deve ao fato de que, de acordo com Iliadis, as políticas adotadas nas empresas de IA "ficam aquém da conformidade real" e é necessária uma instituição "forte" para definir e impor limites.

De fato, o professor de ciência da computação da Universidade da Califórnia, em Berkeley, Stuart Russel, comparou essa necessidade de desenvolver a IA com segurança ao desenvolvimento da energia nuclear. "Assim como as usinas nucleares não foram construídas até que se tivesse alguma ideia de como evitar que explodissem, o setor de IA deve escolher um caminho tecnológico diferente, que incorpore a segurança desde o início", disse ele.

POSSÍVEIS LINHAS VERMELHAS

Como possíveis linhas vermelhas, a Call for AI Red Lines apontou ações como a proibição da delegação de autoridade de lançamento nuclear ou de decisões críticas de comando e controle para sistemas de IA. A IA também não pode ser usada para implantar e usar sistemas de armas letais sem controle humano significativo.

Outra proposta de linha vermelha é proibir o uso de sistemas de IA para pontuação social e vigilância em massa, bem como seu uso para falsificação de identidade humana. Seguindo essa linha, propõe-se proibi-los para uso cibernético malicioso ou para o desenvolvimento de armas de destruição em massa.

A autorreplicação autônoma, ou seja, a proibição do desenvolvimento e da implantação de sistemas de IA capazes de replicar ou melhorar significativamente a si mesmos sem autorização humana explícita, também foi compartilhada como uma linha vermelha.

Por fim, a organização se referiu ao princípio da terminação, que se baseia na proibição do desenvolvimento de sistemas de IA que não possam ser terminados imediatamente se o controle humano sobre eles for perdido.

Esta notícia foi traduzida por um tradutor automático

Contenido patrocinado