Le laboratoire chinois MemTensor a dévoilé MemT-1.0, deux modèles de langage capables de se souvenir de conversations passées sans traîner la transcription intégrale à chaque requête. Le rapport technique, MemT-1.0: Towards Memory-Native Evolution, a été déposé sur arXiv le 19 octobre 2026 et compte 74 auteurs ; l'entreprise a officialisé la publication en open source le lendemain. Le code se trouve sur GitHub, les poids sur Hugging Face.
Aujourd'hui, la plupart des assistants gèrent la mémoire de deux façons : soit ils empilent les anciens messages dans la fenêtre de contexte, ce qui alourdit et renchérit chaque appel à mesure que l'historique s'allonge, soit ils s'appuient sur une base externe dans laquelle ils vont puiser des extraits. MemT-1.0 emprunte une troisième voie. Chaque modèle embarque un état mémoire de taille constante, mis à jour à la fin de chaque tour, si bien que les échanges antérieurs peuvent quitter le prompt sans que leur contenu échappe au réseau.
Deux déclinaisons sont proposées. MemT-1.0-Nano repose sur Qwen3.6-35B-A3B : 36 milliards de paramètres au total, 3 milliards actifs par token, 451 millions de paramètres mémoire entraînables et un état mémoire dynamique que le README chiffre à 10M. MemT-1.0-Flash part de DeepSeek-V4-Flash et atteint 288 milliards de paramètres, dont 17 milliards actifs, 3,61 milliards consacrés à la mémoire et un état dynamique de 336M. Dans les deux cas, un Native Memory Block tourne en parallèle de l'attention du modèle de base. Le Local Memory Block contient une matrice multicanal qui évolue d'une étape à l'autre, le Hyper Memory Block apporte des projections apprises ainsi que des portes d'effacement, d'écriture, d'oubli et de sortie, et la mise à jour se fait token par token grâce à une version stabilisée de Gated DeltaNet-2. Un dispositif baptisé Mixture-of-Storage répartit cette mémoire entre plusieurs experts pour en accroître la capacité.
L'entraînement s'est déroulé en deux temps, pré-entraînement prolongé puis post-entraînement, sur 34 milliards de tokens au total. Sur 11 bancs d'essai consacrés à la mémoire, MemTensor indique que Flash et Nano se classent premier et deuxième parmi les méthodes de mémoire paramétrique comparées, avec des moyennes de 50,6 et 47,0. Le dépôt reconnaît lui-même la limite : les systèmes performants de mémoire textuelle, qui retrouvent les éléments d'origine, gardent l'avantage dans l'ensemble, en particulier sur de longs historiques où chaque détail compte.
Les chiffres d'efficacité les plus frappants proviennent du rapport. Avec 128 000 tokens d'historique, Nano tourne environ 1,86 fois plus vite de bout en bout qu'une référence à contexte complet et réclame près de 66 fois moins de stockage persistant qu'un cache KV conservé. Des données diffusées au lancement et reprises par NetEase évoquent un gain proche de 3,99 fois à 256 000 tokens, pour un état mémoire d'environ 40 Mio par session.
MemTensor a aussi appliqué le principe aux agents de programmation. Plutôt que de coller dans le prompt les leçons tirées de tentatives antérieures, son cadre inscrit cette expérience en mémoire lorsque l'agent bute sur un obstacle. Selon l'entreprise, le taux de réussite moyen de Nano sur SWE-bench Verified passe ainsi de 66,07 % à 69,73 %, un peu au-dessus d'une variante recevant la même expérience sous forme de texte, et de 60,00 % à 63,56 % sur SWE-bench Multilingual.
Côté licences, le tableau est contrasté. Les poids de Flash sont sous licence MIT et ceux de Nano sous Apache 2.0, tandis que le code du dépôt, y compris l'intégration SGLang servant à exécuter les modèles, relève de la PolyForm Noncommercial License : un usage commercial de ce logiciel suppose donc une autorisation à part. Tous les résultats de performance et d'efficacité émanent pour l'instant de MemTensor, et aucune équipe extérieure ne les a reproduits.