ANDRE M. CHANG / ZUMA PRESS / CONTACTOPHOTO
MADRID, 14 maio (EUROPA PRESS) -
O funcionamento interno da inteligência artificial poderia oferecer uma solução para a ameaça do “colapso do modelo” da IA, evitando potencialmente um número crescente de alucinações provocadas pela IA no futuro, de acordo com um estudo do King’s College de Londres (Reino Unido).
Conforme lembrado no artigo publicado na 'Physical Review Letters', o termo “colapso do modelo”, cunhado pela primeira vez em 2024, refere-se a um cenário em que um modelo de IA treinado com dados produzidos por IA deixa de fornecer resultados precisos e, em vez disso, produz “galimatías” imprecisos devido à má qualidade de seus dados de treinamento.
Alguns alertaram que os dados de texto de alta qualidade para treinar sistemas como os Modelos de Linguagem em Grande Escala (LLM, na sigla em inglês) se esgotarão ainda este ano, de modo que os dados produzidos pelos próprios modelos assumiram um papel mais importante no treinamento, o que acarreta a ameaça de um colapso do modelo.
Por meio da análise de um conjunto de modelos estatísticos simples, mas poderosos, denominados Famílias Exponenciais, a equipe de pesquisadores do King's College de Londres, em colaboração com a Universidade Norueguesa de Ciência e Tecnologia (Noruega) e o Centro Internacional Abdus Salam de Física Teórica (Itália), descobriu que bastava integrar um único dado do mundo exterior em seu treinamento para evitar esse problema em todos os casos.
Embora muito mais simples do que os modelos lineares generalizados (LLM), os modelos da família exponencial estão entre os mais potentes para a modelagem de dados. A equipe espera que, ao analisar o aprendizado em ciclo fechado em um ambiente tão simples, mas potente, seja possível estabelecer princípios para evitar o colapso de modelos nos LLM mais comuns.
O professor Yasser Roudi, catedrático de Sistemas Desordenados do Departamento de Matemática do King's College de Londres, explica: "Os trabalhos anteriores sobre o colapso de modelos concentram-se principalmente em modelos LLM grandes e complexos, onde não está claro como esses modelos funcionam nem se os resultados são repetíveis; por isso ocorrem alucinações inexplicáveis, nas quais não é possível explicar por que uma IA gerou uma resposta errada.
Ao nos concentrarmos em um modelo simples, podemos determinar por que a adição de um único dado impede que eles gerem informações sem sentido do ponto de vista estatístico objetivo. Partindo dessa base, podemos estabelecer princípios que serão fundamentais para o desenvolvimento da IA no futuro. À medida que modelos mais complexos forem implementados em áreas que afetam nossa vida cotidiana, desde o ChatGPT até os carros autônomos, e os dados sintéticos ganharem maior destaque no treinamento da IA, os cientistas da computação disporão das ferramentas necessárias para prevenir esse cenário potencialmente desastroso.
O estudo publicado expõe como o treinamento padrão de famílias exponenciais (denominado de máxima verossimilhança) em um cenário de ciclo fechado, onde um modelo é treinado apenas com os dados que produz, sempre levará ao colapso do modelo.
No entanto, o estudo demonstra que introduzir um único dado externo ao ciclo fechado, ou incorporar uma crença prévia durante o treinamento (por exemplo, a partir de conhecimentos adquiridos anteriormente), evita o colapso do modelo. Surpreendentemente, esse efeito de um único dado externo se mantém mesmo quando a quantidade de dados gerados pela máquina é infinitamente maior.
Os autores também apresentam evidências de que um fenômeno semelhante é observado em outra classe de modelos, as máquinas de Boltzmann restritas, o que sugere que seus resultados provavelmente não se limitam apenas às famílias exponenciais. No futuro, o grupo espera testar esses princípios básicos com modelos maiores e mais complexos, como as redes neurais, para validá-los.
Esta notícia foi traduzida por um tradutor automático