O YuE2 segue uma abordagem pouco habitual para tornar a geração de música mais controlável: antes de produzir o áudio, pode criar uma pauta simbólica que fica disponível para inspeção e edição.
A Multimodal Art Projection (M·A·P) publicou os pesos do YuE2-3B e o respetivo pacote de inferência no Hugging Face, acompanhados por um site com demonstrações e pela avaliação WildSongBench. A partir de uma letra e de uma descrição de estilo, o modelo gera uma canção completa com voz e acompanhamento. O elemento diferenciador está, porém, na etapa intermédia. No modo predefinido, o YuE2 planeia primeiro a melodia e os acordes numa pauta em notação ABC; só depois gera representações musicais, latentes acústicos e, por fim, áudio estéreo a 48 kHz.
A pauta deixa assim de ser um estado interno escondido e passa a funcionar como superfície de controlo. Um utilizador ou um agente de software pode lê-la, alterar a melodia ou a harmonia, conservar apenas a melodia para criar uma versão de outra música, ou devolver uma pauta editada ao modelo para novo render.
A pauta passa a ser a interface de controlo
O YuE2 usa um backbone AR–NAR Mixture-of-Transformers com cerca de 3,59 mil milhões de parâmetros. O mesmo núcleo trata do planeamento simbólico e da geração das representações musicais. Em seguida, uma etapa de flow matching produz os latentes acústicos, que um VAE converte em áudio.
Para quem constrói ferramentas, o mais interessante não é a dimensão do modelo, mas a separação entre composição e renderização.
A implementação expõe três modos principais. full planeia melodia e acordes. melody mantém apenas a melodia e é recomendado para versões de músicas existentes. off ignora o planeamento simbólico. A API permite ainda pedir apenas o plano, o que possibilita a uma aplicação analisar ou modificar a pauta antes de gastar recursos na síntese de áudio.
É uma propriedade de engenharia relevante. Muitos sistemas texto-para-música só oferecem como primeiro artefacto útil a própria forma de onda. O YuE2 introduz a meio do processo uma representação estruturada que pode ser manipulada por ferramentas comuns, por uma pessoa ou por software.
A «edição por agente» é sobretudo um padrão de orquestração
O projeto demonstra também um fluxo a que chama agentic editing. Um agente recebe a pauta atual, a letra, a descrição do estilo e a alteração pedida pelo utilizador. Decide o que deve mudar, reescreve os elementos necessários e pede ao YuE2 para renderizar a versão seguinte. A demonstração pública acompanha uma canção ao longo de nove passos e catorze versões.
Convém separar as responsabilidades. O YuE2, por si só, não é um produtor autónomo que compreende uma conversa e edita o áudio de ponta a ponta. O agente externo interpreta o pedido e conduz a alteração; o YuE2 fornece o substrato de planeamento musical e geração sonora.
Mesmo assim, a modularidade é valiosa. Um agente textual consegue trabalhar sobre letras e notação ABC de forma muito mais explícita do que sobre vários minutos de forma de onda. A pauta cria também um estado inspecionável, versionável e comparável.
Para equipas de produto, esta poderá ser a ideia mais importante do lançamento: uma representação intermédia estruturada pode dar muito mais controlo a um sistema generativo do que um fluxo direto de prompt para saída.
O resultado do benchmark exige contexto
A M·A·P indica que o YuE2 em best-of-8 atinge 6,9632 na média SongBench do WildSongBench, acima de 6,8721 do Suno v5, 6,5562 do Suno v6 e 6,4195 do Suno v6 Wild.
Estes números não justificam, contudo, a afirmação simples de que «o YuE2 supera o Suno».
O próprio projeto documenta diferenças no orçamento de seleção. O modo best-of-8 gera oito candidatos e escolhe entre eles com base em Musicality, Q3O e taxa de erro fonémico. A configuração normal do YuE2 obtém 6,7316 em SongBench. O Suno v6 e o Suno v6 Wild usam dois candidatos com várias passagens de ASR, enquanto alguns sistemas proprietários anteriores mantêm os protocolos com que os respetivos resultados foram entregues.
Parte da vantagem do best-of-8 mede, portanto, o benefício de gerar e selecionar mais amostras. Isto não invalida o resultado — a equipa é explícita sobre o protocolo — mas limita o que se pode concluir.
A leitura mais segura é que o YuE2 é competitivo na avaliação publicada pelos autores e, ao mesmo tempo, oferece duas características que os serviços proprietários comparados não disponibilizam da mesma forma: pesos descarregáveis e um percurso de geração que passa por uma pauta editável.
O WildSongBench usa 192 prompts e 17 configurações. O projeto publica ainda resultados de criação de versões sem treino específico no SHS100K, bem como tabelas e detalhes do protocolo. São materiais úteis para escrutínio, mas as comparações de qualidade continuam a ser resultados da própria equipa e ainda não contam com replicação independente ampla.
Execução local, com uma licença que impede uso comercial
O guia rápido destina-se a Linux, Python 3.10 ou superior e GPU NVIDIA com suporte BF16. A documentação recomenda uma GPU com 24 GB. Numa RTX 4090, os autores medem cerca de 71 segundos para gerar uma canção de 3,6 minutos no modo de planeamento simbólico completo, com um pico de aproximadamente 11,18 GiB de VRAM nesse teste.
Para geração de músicas completas, é um requisito relativamente acessível. A execução local permite ainda criar fluxos privados em que letras inéditas, pautas confidenciais ou material não publicado não precisam de ser enviados para um serviço alojado.
A palavra «aberto», porém, precisa de ser qualificada.
Os pesos do YuE2 são distribuídos sob CC BY-NC 4.0, que proíbe utilização comercial sem autorização adicional. Isto é substancialmente diferente de software open source com licença permissiva ou de pesos públicos que possam ser integrados livremente num produto comercial. O projeto também esclarece que código, ficheiros de tokenização, recursos de avaliação e componentes de terceiros podem estar sujeitos a licenças diferentes.
Para investigação, uso pessoal e experiências não comerciais, a disponibilidade dos pesos é importante. Para uma startup ou empresa de media que pretenda lançar um produto, a licença é uma restrição real de adoção.
A equipa afirma ainda que os modelos foram treinados sobretudo com música CC0 e dados sintéticos e indica 346 mil horas de dados para o YuE2. É informação útil sobre proveniência, mas continua a ser uma declaração dos autores, não uma auditoria independente completa do conjunto de treino.
O planeamento simbólico pode valer mais do que a posição na tabela
A geração de música tem um problema de edição. Um utilizador pode pedir «mantém a melodia e muda a harmonia» ou «torna o refrão mais luminoso». Quando o sistema só expõe o áudio final, há pouca estrutura determinística onde aplicar essa alteração.
No YuE2, a melodia e os acordes tornam-se artefactos visíveis. É possível manter uma parte e mudar outra. Um agente pode propor uma alteração localizada na pauta em vez de regenerar toda a canção sem controlo. O histórico de versões pode registar exatamente o que mudou entre iterações.
A pauta, naturalmente, não descreve toda a música. Timbre, fraseado, mistura, interpretação vocal e muitos detalhes de produção surgem mais tarde. Um bom plano simbólico pode resultar num mau render e uma boa gravação pode depender de escolhas que não aparecem na notação.
Ainda assim, a arquitetura cria um ponto onde se podem impor restrições antes da síntese. Do ponto de vista de produto, isso é mais interessante do que uma pequena vantagem num benchmark.
O mesmo padrão começa a aparecer noutros sistemas generativos: um modelo ou agente cria primeiro um plano estruturado, um modelo especializado transforma esse plano num artefacto complexo e a camada estruturada torna-se o ponto onde pessoas, políticas e ferramentas conseguem intervir.
O YuE2 torna esse padrão concreto na música.
Uma publicação técnica forte, não um substituto imediato do Suno
O YuE2 reúne três propriedades que raramente chegam juntas numa publicação acessível ao público: geração de canções completas, planeamento simbólico editável e inferência local numa única GPU de consumo topo de gama.
A publicação é tecnicamente substancial e as demonstrações podem ser ouvidas diretamente. A documentação do benchmark também merece crédito por expor as diferenças de seleção em vez de esconder que o best-of-8 usa mais candidatos do que algumas comparações.
Essa precisão deve acompanhar qualquer conclusão. Os resultados de qualidade são produzidos pela própria equipa, os protocolos não são idênticos, os pesos têm restrição de uso comercial e o ciclo conversacional de edição é conduzido por um agente externo.
A mudança mais importante não é, por isso, que «um modelo aberto venceu o Suno». É o facto de um gerador musical com pesos públicos expor a própria composição como estado intermédio editável.
Para criar ferramentas criativas mais sérias, esta propriedade poderá valer bastante mais do que ganhar uma tabela de resultados.