YuE2 choisit une voie inhabituelle pour rendre la génération musicale plus contrôlable : avant de produire l’audio, il peut écrire une partition symbolique que l’on peut examiner et modifier.
Multimodal Art Projection (M·A·P) a publié les poids de YuE2-3B et son kit d’inférence sur Hugging Face, avec un site de démonstration et l’évaluation WildSongBench. À partir de paroles et d’une description de style, le modèle produit un morceau complet avec voix et accompagnement. Sa particularité est toutefois l’étape intermédiaire : en mode par défaut, il prépare la mélodie et les accords sous forme de partition ABC avant de générer les représentations musicales, les latents acoustiques puis l’audio stéréo à 48 kHz.
La partition devient ainsi une véritable surface de contrôle. Un musicien ou un agent logiciel peut la lire, modifier la mélodie ou l’harmonie, ne conserver que la ligne mélodique pour une reprise, puis demander au modèle de rendre la nouvelle version.
La partition devient l’interface de contrôle
YuE2 repose sur un backbone AR–NAR Mixture-of-Transformers d’environ 3,59 milliards de paramètres. Le même ensemble réalise la planification symbolique et la génération des représentations musicales. Une étape de flow matching produit ensuite les latents acoustiques, qu’un VAE transforme en audio.
Pour un développeur, l’intérêt principal n’est pas la taille du modèle mais la séparation entre composition et rendu.
Trois modes sont exposés. full planifie mélodie et accords. melody ne conserve que la mélodie et est recommandé pour les reprises. off court-circuite la planification symbolique. L’API permet également de ne produire que le plan : une application peut donc inspecter ou retoucher la partition avant de lancer la synthèse audio.
Cette séparation est importante. Beaucoup de systèmes texte-vers-musique ne fournissent comme premier objet exploitable qu’une forme d’onde. YuE2 introduit au milieu de la chaîne une représentation structurée, lisible avec des outils ordinaires et manipulable aussi bien par un humain que par un programme.
L’« agentic editing » est surtout un schéma d’orchestration
Le projet montre aussi un scénario d’édition pilotée par agent. L’agent reçoit la partition actuelle, les paroles, le style et la modification demandée. Il réécrit les éléments nécessaires, puis confie à YuE2 le rendu de la version suivante. La démonstration publiée suit un morceau sur neuf étapes et quatorze versions.
Il faut distinguer clairement les responsabilités. YuE2 n’est pas, à lui seul, un producteur autonome capable de comprendre une conversation et de remonter toute la chaîne audio. L’agent externe interprète la demande et décide des modifications ; YuE2 fournit le moteur de planification musicale et de synthèse.
Cette modularité reste très intéressante. Un agent textuel peut raisonner sur des paroles et une partition ABC beaucoup plus facilement que sur plusieurs minutes d’onde audio. La partition constitue aussi un état inspectable, versionnable et comparable.
Pour les équipes produit, c’est peut-être l’idée la plus importante du lancement : une représentation intermédiaire structurée peut rendre un média génératif bien plus contrôlable qu’un simple pipeline prompt-vers-sortie.
Le chiffre du benchmark demande de la prudence
M·A·P annonce un score SongBench moyen de 6,9632 pour YuE2 en best-of-8 sur WildSongBench, contre 6,8721 pour Suno v5, 6,5562 pour Suno v6 et 6,4195 pour Suno v6 Wild.
Cela ne permet pas pour autant d’affirmer simplement que « YuE2 bat Suno ».
Le projet documente lui-même des budgets de sélection différents. Le mode best-of-8 génère huit candidats puis les classe à partir de Musicality, Q3O et du taux d’erreur phonémique. La configuration YuE2 standard obtient 6,7316 sur SongBench. Suno v6 et Suno v6 Wild utilisent deux candidats avec plusieurs passes ASR ; certains systèmes propriétaires plus anciens restent évalués selon leur protocole d’origine.
Le meilleur score de YuE2 mesure donc en partie le bénéfice d’un budget d’échantillonnage et de sélection plus élevé. Ce n’est pas un défaut caché — l’équipe le signale explicitement — mais cela limite la portée de la comparaison.
La conclusion la plus solide est que YuE2 se montre compétitif dans l’évaluation publiée par ses auteurs tout en offrant deux éléments absents de la même façon chez les services propriétaires comparés : des poids téléchargeables et un chemin de génération passant par une partition modifiable.
WildSongBench comprend 192 prompts et 17 configurations. Le projet publie aussi des résultats de reprise zero-shot sur SHS100K ainsi que les tableaux et protocoles d’évaluation. Ces éléments facilitent l’examen du travail, mais les comparaisons de qualité restent à ce stade des résultats produits par l’équipe elle-même, sans réplication indépendante large.
Exécution locale, mais licence non commerciale
Le démarrage rapide vise Linux, Python 3.10 ou plus récent et un GPU NVIDIA compatible BF16. La documentation recommande 24 Go de mémoire GPU. Sur une RTX 4090, les auteurs indiquent environ 71 secondes pour générer un morceau de 3,6 minutes avec planification symbolique complète, pour un pic d’environ 11,18 Gio de VRAM pendant cette mesure.
Pour de la génération musicale complète, cette configuration est relativement accessible. Elle permet aussi d’envisager des workflows privés dans lesquels des paroles inédites, des partitions confidentielles ou des références non publiées restent sur la machine locale.
Il faut néanmoins qualifier le mot « ouvert ».
Les poids de YuE2 sont distribués sous licence CC BY-NC 4.0. L’usage commercial est donc interdit sans autorisation supplémentaire. Ce n’est pas l’équivalent d’un modèle open source sous licence permissive, ni même de poids publics librement exploitables dans un produit commercial. Le projet précise par ailleurs que le code, les fichiers de tokenisation, les ressources d’évaluation et les composants tiers peuvent relever de licences distinctes.
Pour la recherche, l’expérimentation personnelle ou les usages non commerciaux, la publication des poids est substantielle. Pour une startup ou un groupe média, la licence constitue en revanche une contrainte de déploiement majeure.
L’équipe indique aussi que l’entraînement repose principalement sur de la musique CC0 et des données synthétiques et mentionne 346 000 heures pour YuE2. C’est une information utile sur la provenance, mais elle reste une déclaration des développeurs et non un audit indépendant complet du corpus.
La planification symbolique peut compter davantage que le classement
La génération musicale souffre d’un problème de retouche. Une consigne peut demander « garde la mélodie mais change l’harmonie » ou « rends le refrain plus lumineux ». Lorsqu’un système ne donne accès qu’au rendu audio final, il offre peu de structure déterministe sur laquelle appliquer cette modification.
Avec YuE2, mélodie et accords existent sous forme d’objets consultables. L’utilisateur peut figer une partie et en changer une autre. Un agent peut proposer une modification ciblée de la partition au lieu de régénérer aveuglément tout le morceau. L’historique des versions peut conserver exactement les transformations successives.
La partition ne décrit évidemment pas toute la musique. Le timbre, le phrasé, le mixage, l’interprétation vocale et de nombreux choix de production apparaissent plus tard. Une bonne partition peut être mal rendue, et un bon rendu peut dépendre de paramètres absents de la notation.
Mais l’architecture offre un endroit où imposer des contraintes avant la synthèse. Du point de vue produit, c’est plus intéressant qu’un léger avantage de score.
On retrouve le même principe dans d’autres systèmes génératifs : un modèle ou un agent produit d’abord un plan structuré, un modèle spécialisé transforme ce plan en objet haute dimension, et la couche structurée devient l’endroit où l’humain, les règles et les outils peuvent intervenir.
YuE2 applique ce principe de façon concrète à la musique.
Une publication technique solide, pas un remplacement immédiat de Suno
YuE2 réunit trois propriétés rarement présentes ensemble dans une publication accessible au public : génération de morceaux complets, planification symbolique modifiable et exécution locale sur un GPU grand public haut de gamme.
La publication est techniquement riche et les démonstrations sont directement écoutables. La transparence du benchmark est également appréciable : l’équipe explique que le résultat best-of-8 ne repose pas sur le même budget de sélection que tous les systèmes comparés.
Cette précision doit rester présente dans l’interprétation. Les résultats de qualité sont produits par les auteurs, les protocoles diffèrent, les poids sont soumis à une restriction non commerciale et la boucle conversationnelle d’édition dépend d’un agent externe.
Le changement le plus important n’est donc pas qu’« un modèle ouvert a battu Suno ». C’est qu’un générateur musical à poids publics expose désormais la composition elle-même comme état intermédiaire éditable.
Pour construire de véritables outils créatifs, cette propriété pourrait compter bien davantage qu’une victoire sur un tableau de scores.