Les modèles de langage à diffusion ont jusqu'ici surtout pris la forme de petits prototypes de laboratoire ou de produits commerciaux fermés. DiffuSpace entend changer la donne. Le 30 octobre, la jeune pousse a publié Clover-35B-A3B-Preview, un modèle à poids ouverts fondé sur un mélange d'experts, doté de 35 milliards de paramètres au total dont environ 3 milliards actifs pour chaque jeton. Les poids sont disponibles sur Hugging Face et ModelScope, le code sur GitHub, le tout sous licence Apache-2.0.

L'équipe n'en est pas à son coup d'essai. D'après DiffuSpace, plusieurs de ses membres ont conçu Dream 7B au sein du groupe de traitement automatique des langues de l'université de Hong Kong, un modèle à diffusion présenté en avril 2025 dont la famille dépasse désormais 2,7 millions de téléchargements sur Hugging Face. Clover est le premier modèle du groupe sous la bannière de la nouvelle société, et son billet de lancement pose la question sans détour : la diffusion reste-t-elle compétitive, et garde-t-elle son avantage de vitesse, une fois passée à grande échelle ?

Clover n'a pas été entraîné à partir de zéro. Sa fiche indique qu'il dérive, en version texte uniquement, de Qwen3.6-35B-A3B d'Alibaba et en reprend l'ossature hybride mêlant couches Gated DeltaNet et attention complète : 40 couches, 256 experts routés, huit sollicités par jeton et un expert partagé. Les modifications de DiffuSpace portent sur la diffusion par blocs, où le modèle complète en parallèle un bloc de jetons masqués avant de le figer comme contexte pour le suivant. Le texte déjà produit est condensé dans l'état récurrent des couches DeltaNet, les jetons du bloc en cours s'observent dans les deux sens, et la lecture de cette mémoire condensée entre dans le même softmax que les jetons du bloc. L'entreprise évoque aussi un étalonnage appris de la taille des blocs et une branche de convolution dédiée au contexte situé à droite. La fenêtre de contexte atteint 128K jetons et un mode de réflexion est proposé.

Les chiffres mis en avant émanent de DiffuSpace elle-même. Elle annonce 73,6 sur SWE-bench Verified, 51,7 sur Terminal-Bench 2.1 et 65,3 sur le banc d'essai d'agents τ³, devant les modèles à diffusion LLaDA2.2 flash et Mercury 2.5 d'Inception, mais aussi devant Qwen3.6-35B-A3B et Qwen3.5-35B-A3B dans sa comparaison. Sur des épreuves plus générales, elle cite 83,8 sur GPQA Diamond, 95,8 sur ZebraLogic et 72,0 sur AA-LCR. Côté vitesse, Clover aurait atteint en moyenne 680 jetons par seconde sur des charges internes d'agents avec une seule NVIDIA GB300, en BF16 et un lot d'une requête, et 515 jetons par seconde sur une H200 contre 365 pour une configuration Qwen de même taille accélérée par DFlash2.

Le déploiement ne se limite pas aux cartes des centres de données. Selon DiffuSpace, une version INT4 a tourné sur une RTX 5070 Ti dotée de 16GB de mémoire, à 101,8 jetons par seconde sur MATH-500, contre 48,5 lors de ses essais avec des modèles de taille voisine. Les fichiers GGUF officiels pour llama.cpp pèsent de 18,24 GiB à 35,26 GiB et se servent de la sortie par diffusion du modèle comme brouillon pour un décodage autospéculatif, sans modèle d'appoint. Les poids complets en BF16 réclament près de 69 GB de mémoire graphique. Le dépôt GitHub précise que le code et les guides pour SGLang et llama.cpp restent à publier.

L'annonce esquisse aussi la suite. DiffuSpace décrit un modèle de décision bâti sur Clover, avec un Joint Mode capable de traiter jusqu'à huit questions liées en une seule passe de débruitage, et affirme qu'il a dépassé Jev, de TypeSafe, sur un jeu interne de décisions juridiques interdépendantes ; ce modèle n'est pas encore disponible. La société dit préparer un environnement d'exécution pour agents et un client de programmation pour poste de travail, et cite SigmaZ comme partenaire dans l'éducation, avec une bêta fermée.

L'accueil reste prudent pour l'instant : le 30 octobre, la page principale du modèle affichait environ 1 500 téléchargements et 164 mentions j'aime. Aucun des résultats de performance ou de vitesse n'a été vérifié de façon indépendante, plusieurs reposent sur des charges internes, et la mention Preview annonce de futures retouches. Clover offre malgré tout aux développeurs un modèle à diffusion sous licence libre à une échelle jusque-là réservée, pour l'essentiel, à des API fermées, ce qui en fait un banc d'essai concret pour juger l'intérêt du décodage parallèle dans les boucles d'agents.

Références