MADRI 21 mar. (Portaltic/EP) -
Um grupo de desenvolvedores, liderado por um estudante do ensino médio, aproveitou a popularidade do videogame Minecraft para criar um sistema de avaliação das capacidades dos modelos de inteligência artificial (IA) generativa, que permite que os usuários votem para determinar qual oferece o melhor resultado.
O Minecraft Benchmark (MC-Bench) é um sistema que avalia diferentes modelos de IA generativa na criação de builds do Minecraft com base em um conjunto de diretrizes, como se fosse um desafio.
Nesse sistema, são avaliadas suas habilidades em seguir instruções, completar códigos e criatividade, conforme explicado no site. Eles testam modelos da OpenAI, Anthropic, Google e Alibaba, embora essas empresas não sejam afiliadas.
É um projeto que envolve oito desenvolvedores, um deles Adi Singh, um estudante do 12º ano e fundador do MC-Bench. Como ele explica ao TechCrunch, a escolha do Minecraft não foi por acaso. As pessoas estão familiarizadas com o jogo, "estão acostumadas com o Minecraft, seu design e seu ambiente", e isso torna "muito mais fácil ver o progresso [do desenvolvimento da IA]".
As criações são votadas pelos usuários, que não conhecem a IA por trás de cada uma delas. Isso é revelado quando o melhor desempenho é escolhido.
Esta notícia foi traduzida por um tradutor automático