Une nouvelle étude sur la reproductibilité des systèmes à grands modèles de langage montre que la réutilisation d'un préfixe mis en cache peut modifier la trajectoire d'un agent alors même que le modèle, les paramètres de génération, la graine et l'ordre des requêtes restent inchangés. Dans les expériences publiées, cet écart devient nettement plus fréquent à mesure que les poids du modèle sont quantifiés plus agressivement.
Le travail a été déposé sur arXiv le 4 septembre et soumis à IEEE Access. Il n'est donc pas encore validé par un examen indépendant. Son résultat est par ailleurs plus précis qu'une baisse générale de qualité : l'auteur ne constate pas de dégradation moyenne de l'exactitude, mais une perte de reproductibilité liée à un état du serveur qui n'apparaît pas dans la requête.
Le chemin de calcul modifie la trajectoire de l'agent
L'étude utilise une charge de travail de 80 épisodes multiétapes avec appels d'outils, deux moteurs d'inférence et quatre formats de poids. Les requêtes sont exécutées l'une après l'autre, avec une taille de lot égale à un, un décodage glouton, une température nulle et la graine 42. Le cache clé-valeur reste en 16 bits dans toutes les configurations, ce qui permet d'isoler l'effet de la quantification des poids.
Lorsque la réutilisation du cache est désactivée, les répétitions sont identiques bit à bit dans toutes les configurations testées : aucun des 800 épisodes ne diverge. En comparant ensuite le calcul avec préfixe réutilisé au recalcul complet, la trajectoire change dans 36,2 % des épisodes avec des poids en 16 bits et dans 75,0 % des épisodes en quatre bits.
Un contrôle supplémentaire est particulièrement instructif. Après restauration d'un état connu, le chemin avec cache et le chemin avec recalcul se reproduisent chacun exactement sur 40 cas sur 40, mais les deux chemins donnent des résultats différents dans 14 cas. Le problème n'est donc pas nécessairement une source de hasard incontrôlé. Le système peut être déterministe à condition de connaître un état qui, lui, n'est pas décrit par la requête.
Rejouer la même requête ne recrée pas forcément le même environnement
Les auteurs ont également identifié, dans l'un des moteurs, une couche de cache d’instruction au niveau du serveur. Lorsqu'elle reste active, intercaler un passage sans cache entre deux passages avec cache fait passer la divergence de 38,8 % à 77,5 %. Une fois cette couche désactivée, le changement d'ordre ne produit plus qu'environ 1,2 % de divergence.
Le dépôt public documente aussi deux erreurs détectées pendant la revue interne. Une première méthode d'extraction des réponses mathématiques classait à tort des réponses correctes comme erronées. Une seconde comparaison mélangeait des ordres d'exécution différents. Les résultats corrigés ont été recalculés à partir des journaux bruts conservés, sans relancer l'inférence, et les anciennes sorties restent disponibles pour audit.
Cette transparence renforce la vérifiabilité du travail sans constituer une réplication indépendante. Un ticket distinct du projet vLLM apporte néanmoins un contexte utile : en janvier, un utilisateur a signalé des sorties différentes entre un premier appel sans cache et des appels suivants bénéficiant d'un réutilisation effective du cache sur un système AMD MI355X. Le matériel, le modèle et la version logicielle diffèrent de ceux de l'étude, il ne s'agit donc pas d'une reproduction de ses chiffres.
L'enjeu est la reproductibilité, pas une baisse moyenne de précision
Dans l'expérience à un seul tour, certains résultats corrects deviennent faux et certains résultats faux deviennent corrects, sans déplacement notable de la précision globale. Il serait donc trompeur de résumer l'étude par « le cache réduit la précision ».
Pour l'évaluation des agents, une moyenne stable ne suffit pourtant pas. Une variation de token peut modifier un choix d'outil, un état intermédiaire, un appel externe ou l'endroit où survient l'échec, tout en laissant le score final presque inchangé. Deux exécutions peuvent ainsi présenter la même performance agrégée tout en suivant des chemins opérationnels différents.
Les limites sont importantes. Les expériences portent sur des modèles ouverts de 7 à 14 milliards de paramètres, un seul GPU RTX 4090, un service mono-utilisateur et des tâches en anglais. Elles n'établissent pas les mêmes taux de divergence pour les modèles de pointe, les API hébergées, les environnements mutualisés entre plusieurs clients ou d'autres accélérateurs. La tâche agentique était en outre difficile pour les modèles utilisés, raison pour laquelle l'auteur n'en tire pas de conclusion sur le taux de réussite des agents.
L'état du serveur doit entrer dans la provenance d'une évaluation
La conséquence pratique retenue par Aipolix est que la fiche d'identité d'une expérience menée avec un modèle de langage doit descendre jusqu'à la couche de service. Le nom du modèle, la graine, la température et l’instruction ne suffisent pas si le moteur conserve un état entre deux requêtes.
Pour une porte de validation avant mise en production, une évaluation comparative interne ou la reproduction d'un incident, il faut au minimum conserver le moteur d'inférence et sa version, l'état des fonctions de cache de préfixe ou d’instruction, ainsi que les indications disponibles sur l'exposition au cache. Lorsqu'une comparaison doit être rejouable, l'état doit être réinitialisé ou contrôlé entre les séries.
La quantification ajoute un second point de vigilance. Elle est souvent choisie pour réduire la consommation mémoire et le coût d'inférence, tandis que les tests continuent de supposer qu'une entrée identique définit un essai comparable. Si une précision plus faible rend les petites perturbations numériques du chemin mis en cache plus susceptibles de franchir une frontière de décision entre tokens, une version quantifiée doit être qualifiée dans la configuration de service réellement destinée à la production.
Cette exigence est plus utile qu'un score supplémentaire. Elle fait de la provenance de l'état d'inférence une partie de la preuve nécessaire pour reproduire un échec d'agent ou défendre une comparaison entre modèles.
Un ensemble expérimental public permet d'inspecter le résultat
Le dépôt associé fournit le dispositif de mesure, les journaux bruts requête par requête, la chaîne d'analyse, les versions épinglées des moteurs, les sommes de contrôle des modèles et les paramètres de lancement. L'auteur indique que tous les chiffres et figures du papier sont reconstruits à partir de ces journaux.
Cette publication rend l'étude exploitable avant même la fin de la revue, car une équipe peut vérifier les hypothèses de configuration ou répéter la mesure sur sa propre pile. La question ouverte reste celle de la validité externe : quelle part de l'effet subsiste avec d'autres modèles, accélérateurs, modes de regroupement des requêtes ou services mutualisés entre plusieurs clients ?
À ce stade, la conclusion la plus solide est donc limitée mais opérationnelle : dans un système fondé sur un modèle de langage où la répétabilité compte, le cache de préfixe ne doit pas être considéré par défaut comme une optimisation totalement transparente, et la quantification peut amplifier son empreinte comportementale.