Des chercheurs du laboratoire d'informatique et d'intelligence artificielle du MIT assurent qu'un modèle de langage généraliste peut désormais comprendre ce que fait un réseau de neurones en lisant ses poids, et les modifier à la main pour le réparer ou le construire. Dans un billet daté du 2 novembre 2026, Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab baptisent cette approche Weight-Space Programming. Ils ont confié le rôle d'éditeur à GPT-6 Astra, d'OpenAI, en lui interdisant d'écrire des boucles d'entraînement ou d'utiliser la descente de gradient : chaque modification découle donc du raisonnement du modèle sur les valeurs numériques.
Les expériences de lecture ouvrent la série. L'équipe a entraîné quatre petites politiques sur ses propres versions en grille de Breakout, Pong, Pac-Man et Freeway, toutes dotées de la même architecture de 17 253 poids, des mêmes entrées et des mêmes actions. Face aux poids bruts fournis sous forme de texte, et sans liste de jeux possibles, Astra a trouvé le bon jeu dans les quatre cas. Il a aussi reconnu lequel de trois modèles de diffusion dessinait des cercles, des carrés ou des triangles, puis, à partir des seuls blocs intermédiaires de trois transformers de 7,2 millions de paramètres, deviné lequel avait appris le Python, l'anglais ou le japonais transcrit en romaji, en repérant au passage toutes les têtes de copie.
L'écriture s'est révélée plus ardue, avec pourtant des chiffres frappants. Devant une politique de conduite qui calait systématiquement sur une rampe dans le simulateur Kinetix, Astra a diagnostiqué l'échec et réécrit 3,5 % des poids en une seule réponse ; d'après les auteurs, la version corrigée a réussi les 1 024 épisodes de test. Chargé de concevoir de toutes pièces des réseaux pour trois jeux MinAtar, à partir des seules règles, du code source et de l'architecture, il a battu dans chaque jeu des agents entraînés par PPO pendant 100 millions de pas. Sur Breakout, son réseau a obtenu 517,4 points contre 25,3 pour un agent PPO à 500 millions de pas, même s'il est resté derrière cette référence plus solide sur Seaquest et, de peu, sur Asterix.
Le résultat le plus commenté porte sur un vrai modèle de langage. Les chercheurs ont ouvert à Astra une session Python sur les poids de Qwen3.5-0.8B, avec des exercices tirés de GSM8K et de MATH et un nombre limité de passes avant. Astra a relié la tendance du modèle à tourner en boucle jusqu'à épuiser sa limite de jetons, un travers signalé dans la fiche du modèle Qwen, à une direction unique écrite par les MLP des couches 15 et 19, puis l'a retirée de 131 072 poids. Avec 50 passes, le score MATH-500 est monté de 7,9 % à 48,1 %, GSM8K de 13,8 % à 67,1 % et IFEval, qui mesure le respect des consignes, de 21,0 % à 62,3 %. Avec 10 ou 25 passes, les progrès restaient bien plus modestes.
Les auteurs détaillent aussi leurs échecs. Sur Gemma 3 270M, un modèle plus petit qui boucle rarement, les retouches d'Astra n'ont pas fait bouger MATH-500 de plus d'un point environ, signe pour les chercheurs que la méthode a levé un obstacle sans ajouter de compétence en mathématiques. Lorsqu'il s'agissait de distinguer un Gemma affiné pour répondre juste de son jumeau complaisant, Astra a échoué quatre fois sur quatre à partir des seuls poids, et n'a réussi qu'une fois les motifs d'attention fournis. VentureBeat, qui a couvert ces travaux, indique que la meilleure tentative sur Qwen a nécessité 158 échanges, 80 exécutions Python et 20,3 heures, dont plusieurs perdues à cause d'une panne de service.
L'équipe a mis en ligne sur GitHub l'intégralité des journaux, avec les consignes, les réponses d'Astra, le code et les évaluations, et précise qu'un chercheur de Hugging Face a reconstruit puis réévalué le Qwen modifié à partir de ces fichiers. Elle prépare également un banc d'essai et un environnement dédiés à ce type de tâche. Il s'agit d'un billet de blog et non d'un article relu par des pairs, et VentureBeat rappelle que des méthodes d'édition ciblée des poids, comme ROME et MEMIT, existaient déjà pour corriger des faits.
Les réactions se partagent entre deux camps. VentureBeat et les chercheurs extérieurs qu'il cite y voient un moyen possible d'entretenir, de déboguer et d'améliorer les modèles, tandis que Maxime Fournes, de PauseAI, juge cette piste imprudente parce qu'elle pourrait accélérer la course aux capacités. Les auteurs citent eux-mêmes l'auto-amélioration récursive parmi les débouchés possibles, mais aucune expérience ne montre un modèle en train de s'améliorer lui-même, et les gains concernent pour l'instant de petits réseaux et un minuscule modèle de langage, mesurés dans les conditions fixées par l'équipe.