MADRI 24 jun. (Portaltic/EP) -
A Microsoft revelou seu novo modelo de linguagem Mu small, projetado para ser executado localmente em dispositivos com alto desempenho, descarregando para a Unidade de Processamento Neural (NPU) e respondendo a mais de cem tokens por segundo, permitindo, no caso do Windows 11, que o agente de configuração seja impulsionado.
A empresa de tecnologia introduziu um agente de Inteligência Artificial (IA) no Windows em maio passado para ajudar os usuários com computadores Copilot+ a resolver suas dúvidas e problemas de configuração, oferecendo explicações sobre os problemas que desejam resolver ou facilitando as configurações ou alterações que desejam fazer, com descrições de texto.
Agora, a Microsoft revelou o modelo de linguagem que alimenta esse agente de configuração, ao qual se refere como Mu, e que foi projetado com um tamanho reduzido para ser executado localmente nos dispositivos.
Especificamente, esse modelo "micrométrico", baseado no Phi Silica, é totalmente transferido para a NPU do computador e é capaz de responder a mais de cem tokens por segundo, o que permite atender aos requisitos de experiência do usuário (UX) do agente de configuração, como a empresa explicou em uma declaração em seu blog.
A Microsoft também detalhou que esse modelo se destaca por abordar ações que exigem "inferir relações complexas de entrada e saída" de maneira eficiente. Portanto, ao acionar o agente de configuração, ele mapeia as consultas de entrada de linguagem natural digitadas pelos usuários para chamadas de função de configuração.
Para realizar essas tarefas, o Mu foi treinado com 330 milhões de parâmetros e, de acordo com a empresa, oferece desempenho semelhante ao do modelo Phi-3.5, apesar de ter um décimo do tamanho. Isso permite que ele forneça respostas eficientes em alta velocidade, lidando com "dezenas de milhares de comprimentos de contexto de entrada e mais de cem tokens de saída por segundo".
A velocidade da resposta se deve, em parte, à sua estrutura eficiente, que atua como um "codificador-decodificador transformador". Assim, o codificador converte a entrada de texto em uma representação latente de comprimento fixo, após o que o decodificador gera tokens de saída com base nessa representação.
A esse respeito, a Microsoft indicou que, ao separar os tokens de entrada dos tokens de saída, ela reduz a sobrecarga computacional e de memória, proporcionando, assim, maior desempenho em hardware especializado. Tudo isso é feito sob medida para as "limitações e recursos" das NPUs.
Além disso, o Mu foi treinado com "centenas de bilhões" de tokens com dados educacionais, para aprender sobre sintaxe, gramática, semântica e conhecimento do idioma. Da mesma forma, a técnica de destilação também foi usada com os modelos Phi da Microsoft.
"Combinando técnicas de quantificação de última geração com otimizações específicas de hardware, garantimos a alta eficiência do Mu em implementações no mundo real em aplicativos com recursos limitados", disse a Microsoft.
Em suma, o Mu foi otimizado para implantação em pequena escala, especialmente nas NPUs dos laptops Copilot+ que executam o Windows 11. Por enquanto, ele está disponível no agente de Configurações para usuários do programa Windows Insider.
Esta notícia foi traduzida por um tradutor automático