MADRID 29 jul. (Portaltic/EP) -
O repositório de modelos de Inteligência Artificial (IA) Hugging Face está sendo usado como um dos meios para que alguns usuários gerem “deepfakes” não consentidos que mostram mulheres e menores sem roupa, sem que haja praticamente nenhuma medida para impedir isso.
Um relatório elaborado pela organização europeia sem fins lucrativos AI Forensics descobriu que sete dos nove principais modelos dedicados à edição de imagens hospedados no repositório Hugging Face permitiam o acesso a esse tipo de edição para despir mulheres.
A organização detalha que a capacidade de editar uma imagem com esses modelos era tão simples quanto inserir várias palavras que descreviam, basicamente, o objetivo de despir uma pessoa.
Ou seja, ao contrário de modelos fechados como o Gemini, do Google, e o ChatGPT, da OpenAI, não existe nenhuma medida que impeça esse tipo de solicitação por parte dos usuários no Hugging Face.
“Não está sendo implementada nenhuma medida de proteção no nível da plataforma. Somente os desenvolvedores podem, se assim o desejarem, integrar alguma, e a maioria deles prefere não fazê-lo”, destaca o pesquisador-chefe da AI Forensics, Paul Bouchaud, em declarações à revista especializada Wired.
De fato, a AI Forensics compartilha alguns dados obtidos graças à criação de uma ferramenta “armadilha” que publicou no Spaces do Hugging Face para rastrear que tipo de imagens e solicitações de “prompt” seriam recebidas.
A ferramenta criada no Spaces (uma seção dedicada à criação de demonstrações na web) foi projetada especialmente para não processar as solicitações de imagens e recebeu mais de mil “prompts” e imagens durante uma semana.
73% das solicitações analisadas eram de natureza sexual, enquanto 83% buscavam despir uma pessoa, e 95% de todos esses casos tinham como alvo mulheres. Além disso, 7% das solicitações de caráter sexual tinham como alvo menores de idade.
A AI Forensics deixou claro que, em nenhum momento, está acusando a Hugging Face de ser a fonte dos modelos de IA que hospeda, embora Bouchaud insista que a plataforma poderia filtrar facilmente o que entra e sai.
Da mesma forma, a empresa oferece algumas recomendações de moderação ao repositório para prevenir a geração de imagens íntimas não consentidas e material de abuso sexual infantil, como a integração de filtros centralizados em nível de plataforma, tanto nas entradas de “prompts” e fotos enviadas quanto nas saídas de imagens e vídeos, em vez de esperar que o usuário ou desenvolvedor assuma essa responsabilidade.
Acima de tudo, ele destaca que 0% dos Spaces auditados moderavam ou filtravam esses “prompts” ou imagens de entrada, enquanto apenas 3% das imagens geradas na saída tinham algum tipo de controle (uma função disponível no modelo Stable Diffusion).
Esta notícia foi traduzida por um tradutor automático