Le scientifique en chef d'OpenAI, Jakub Pachocki, a publié le 22 novembre 2026 un texte intitulé "Perplexity and Intelligence". Il y soutient que la perplexité, ou de façon équivalente l'entropie croisée, devrait devenir une mesure que les développeurs de modèles comparent entre eux et qui éclaire des normes de sécurité communes. Comme première étape, il explique qu'OpenAI rend publiques des mesures internes de l'avancement de son préentraînement, une décision qu'il présente comme un compromis, car elle donne aux concurrents une image plus nette de la position de l'entreprise.
Pachocki décrit l'IA moderne comme le fruit de l'entraînement d'un compresseur, ou prédicteur, sur un très vaste corpus, suivi de techniques comme les consignes, le réglage fin ou l'apprentissage par renforcement, qui font ressortir les capacités du modèle. La perplexité mesure la qualité avec laquelle un modèle prédit en moyenne le jeton suivant, et OpenAI la suit sur un jeu de données mis de côté, tiré de son propre code interne. Les valeurs qu'il cite sont une log-perplexité d'environ 0,99 pour GPT-3.5 et d'environ 0,91 pour GPT-4, les modèles les plus récents passant sous 0,8.
L'auteur relie ces seuils à ce que les modèles ont su faire. Selon le texte, GPT-2 rédigeait des paragraphes cohérents, GPT-3 apprenait à partir du contexte, GPT-3.5 tenait une conversation fluide, GPT-4 exploitait utilement le raisonnement en chaîne, et les modèles sous 0,8 ont montré des capacités nouvelles en cybersécurité et en mathématiques. Pachocki affirme qu'il n'était pas évident au départ que ces capacités apparaissent précisément à ces valeurs. Il ajoute qu'une fois passée à un modèle autour de 0,76, OpenAI a vu celui-ci produire des résultats marquants sur des problèmes mathématiques ouverts, et qu'un saut comparable pourrait toucher la recherche sur le préentraînement dès 2027.
Sur cette base, il s'attend à de nouvelles capacités transformatrices dans la fourchette de 0,68 à 0,7, que l'on ne teste peut-être pas aujourd'hui. Il prévoit aussi que les formes actuelles d'audit d'alignement perdent en efficacité et que la conscience d'être évalué progresse. Il appelle les développeurs de pointe à convenir de normes communes pour évaluer ces modèles, pour mettre à l'épreuve les dossiers de sécurité avant le premier usage et pour la transparence. Il propose en outre des limites communes, fondées sur la perplexité et d'autres mesures, que les développeurs s'engageraient à ne pas franchir tant que leur capacité à comprendre et à surveiller le comportement de l'IA n'a pas atteint une étape concrète, par exemple un successeur des moniteurs de raisonnement en chaîne.
Le texte énumère les faiblesses de la mesure elle-même. Les laboratoires emploient des jeux d'évaluation et des mélanges de données différents, ce qui complique la comparaison. La perplexité ne correspond pas directement aux tâches qui comptent pour les gens, ne reflète pas les gains obtenus après le préentraînement, comme le raisonnement en chaîne, et possède un plancher inconnu. Pachocki estime néanmoins qu'elle a résisté au temps et peut offrir à l'industrie une façon commune de parler du progrès.
Tous les chiffres et propositions du texte sont ceux d'OpenAI et proviennent d'un seul essai de source primaire. Le texte est un appel à des normes sectorielles, et non une règle ou un accord annoncé, et il ne dit pas si d'autres laboratoires ont accepté de publier des chiffres comparables ou d'adopter des limites communes.