As redes neurais artificiais processam informações de maneira mais eficiente quando operam no início do comportamento caótico
MADRID, 25 maio (EUROPA PRESS) -
Um estudo do Instituto de Física Interdisciplinar e Sistemas Complexos (IFISC, CSIC-UIB) revela que introduzir uma quantidade controlada de caos pode melhorar a aprendizagem das redes neurais artificiais, sistemas computacionais fundamentais para a inteligência artificial que se inspiram nos neurônios biológicos.
Os resultados, publicados na revista “Physical Review Research”, mostram que as operações realizadas no início do comportamento caótico, associado a erros ou instabilidade computacional, proporcionam um equilíbrio entre duas estratégias que melhoram o processamento da informação: o sistema combina o refinamento das soluções conhecidas com a exploração de novas possibilidades entre o vasto número de configurações possíveis.
Treinar uma rede neural para realizar uma tarefa, como fazer previsões ou classificações, consiste em ajustar de forma suave e gradual seus parâmetros internos. Quando seu desempenho atinge um nível satisfatório, dizemos que a rede aprendeu a tarefa.
Agora, o novo trabalho do IFISC (UIB-CSIC) mostra que introduzir uma quantidade controlada de caos nesse processo pode acelerar a aprendizagem. Esse resultado é obtido quando a inteligência artificial realiza operações no início do comportamento caótico, o que permite refinar as soluções já conhecidas e, ao mesmo tempo, explorar novas possibilidades.
As redes neurais artificiais geralmente aprendem por meio de algoritmos de otimização, como o gradiente descendente: processo matemático utilizado pela IA para calcular um erro e determinar a direção na aprendizagem (vetor ou gradiente) que permita diminuir esse erro.
O sistema repete a operação milhões de vezes, ajustando gradualmente os parâmetros do modelo, até que o erro seja mínimo e a rede neural se torne precisa. A taxa de aprendizagem é medida pelo tamanho do passo associado a esses ajustes: valores pequenos garantem um progresso cauteloso e estável em direção a uma solução; os maiores dão saltos mais ousados que correm o risco de ir longe demais.
Esse processo é geralmente estável e exploratório, refinando constantemente a solução atual, como um caminhante que segue uma trilha bem marcada. Mas quando a taxa de aprendizagem aumenta, a equipe de pesquisa do IFISC descobriu que a dinâmica de treinamento se torna sensível a pequenas diferenças nos pontos de partida, ou seja, em relação à configuração inicial da rede, antes de ela iniciar sua aprendizagem.
Essa característica é distintiva do caos: duas redes neurais quase idênticas podem divergir drasticamente durante o processo de aprendizagem, como borboletas cujas batidas de asas provocam furacões a milhares de quilômetros de distância.
“Em vez de prejudicar a aprendizagem, essa instabilidade caótica pode, na verdade, acelerá-la”, explica Lucas Lacasa, pesquisador do IFISC e coautor do estudo, destacando que “perto do limite onde a dinâmica caótica começa, o sistema encontra um ponto ideal que lhe permite aprender significativamente mais rápido”.
Os pesquisadores rastrearam as rotas seguidas pelos parâmetros da rede durante o treinamento e mediram sua sensibilidade aos pontos de partida. Com taxas de aprendizagem pequenas, tudo flui de maneira suave e ordenada; com valores enormes, o caos total faz com que a aprendizagem entre em colapso. Mas justamente nessa zona intermediária, onde a exploração e a exploração se equilibram, as redes aprendem representações precisas e o treinamento se torna surpreendentemente mais rápido.
RUMO A UMA IA MAIS RÁPIDA E EFICIENTE
O fenômeno foi observado em diferentes arquiteturas de redes neurais, funções de ativação — interruptores que decidem se um “neurônio artificial” deve ser ativado ou não — e conjuntos de dados, o que sugere que poderia representar uma característica robusta da dinâmica de aprendizagem nos sistemas estudados.
“O treinamento acelerado que observamos próximo ao limite da estabilidade revela-se notavelmente robusto. Ele surge de forma consistente nas diferentes arquiteturas, funções de ativação e conjuntos de dados que testamos”, afirma Miguel C. Soriano, pesquisador do IFISC e coautor do estudo.
Além de suas possíveis implicações práticas para acelerar o treinamento, as descobertas também conectam o aprendizado automático moderno à hipótese da “borda do caos” da ciência dos sistemas complexos, que propõe que os sistemas capazes de computar geralmente funcionam de maneira ótima no limite entre a ordem e a desordem.
“Nossos resultados sugerem que, para as redes neurais que estudamos, o aprendizado é mais eficiente precisamente próximo a essa borda do caos. Compreender e explorar esse regime poderia ajudar a projetar sistemas de IA mais rápidos e eficientes no futuro”, conclui o primeiro autor do estudo, Pedro Jiménez-González.
Esta notícia foi traduzida por um tradutor automático