Les assistants de code dopés à l'IA brillent en Python ou en JavaScript, beaucoup moins en COBOL ou en Fortran. OpenAI a voulu chiffrer cet écart. Dans un billet daté du 19 octobre 2026, l'entreprise détaille deux évaluations construites autour de langages comme COBOL, Fortran, OCaml ou Visual Basic, rend l'une d'elles publique sur GitHub et affirme que ses modèles actuels dépassent très largement la génération GPT-5.6 Sol sur les deux.
Premier exercice, MultiLangBench demande au modèle d'écrire, dans un langage imposé, un moteur de base de données compatible avec SQLite. La notation repose sur des tests tirés de la suite officielle de SQLite et, comme chaque langage doit produire le même objet, un fichier de base modifié, les contrôles restent identiques qu'il s'agisse de Rust ou de COBOL. D'après le README du dépôt, la cible est la version 3.40.1 ; le modèle dispose de la documentation officielle dans un conteneur hors ligne, purgé de toute copie de SQLite, et environ 24 000 des quelque 51 000 tests TCL ont pu être convertis. Le score associe coût d'API et taux de réussite. Pour limiter la facture, le dépôt préconise un sous-ensemble fixe de 272 tests, et une solution rédigée dans le mauvais langage obtient zéro.
Sur ce banc d'essai, OpenAI indique que GPT-6 Astra, poussé au maximum de son raisonnement, valide en moyenne 87,4 % des tests sur 20 langages, quand GPT-5.6 Sol plafonnait à 26,8 %, et franchit les 83 % dans 19 d'entre eux. COBOL reste le plus coriace avec 72,1 %, contre 10,9 % auparavant. Fortran passe de 21,4 % à 83,5 %, OCaml de 25,6 % à 85,8 %. Moins cher, GPT-6 Luna se contente de 40,3 %, mais son coût est estimé à 0,77 dollar par échantillon, contre 3,48 dollars pour GPT-5.6 Sol, soit environ 78 % de moins.
La seconde évaluation colle davantage aux besoins des banques et des assureurs. Il s'agit de transposer des programmes COBOL en C++, Java, Kotlin, Python ou Rust, et la migration n'est validée que si des tests cachés obtiennent une sortie strictement identique, octet par octet. OpenAI illustre l'enjeu : l'arithmétique à virgule fixe de COBOL tronque les décimales superflues lorsqu'aucun arrondi n'est demandé, si bien qu'une réécriture qui arrondit peut tourner sans erreur tout en faussant des montants. Sur ce terrain, GPT-6.1 Sol atteint 86,6 % avec un raisonnement réduit, là où GPT-5.6 Sol obtenait 5,4 %, pour environ 61 % du coût d'API de l'ancien modèle. Avec davantage de raisonnement, il grimpe à 97,9 %, un score qu'OpenAI juge proche de la saturation.
L'enjeu est aussi commercial. OpenAI cite des estimations selon lesquelles COBOL fait tourner plus de 40 % des systèmes de banque en ligne et l'essentiel des retraits aux distributeurs, et rappelle que Fortran sert toujours à la prévision météorologique et à l'analyse de sûreté des réacteurs. Ce patrimoine logiciel, souvent mal documenté et entretenu par des équipes de plus en plus réduites, rend les migrations lentes et risquées. L'entreprise dit avoir lancé ces travaux après des remontées de clients.
Plusieurs réserves s'imposent. Les tests comme les résultats viennent d'OpenAI, sans réplication indépendante disponible à la publication. Les deux évaluations opposent des modèles différents avec des niveaux de raisonnement différents, ce qui interdit de comparer les chiffres entre eux. La suite de migration COBOL n'a pas été rendue publique et, lors de notre consultation, le dépôt ne contenait que la configuration des tests et trois commits, sans fichier de résultats par langage, alors que le billet en annonce la diffusion. Enfin, écrire un moteur de base autonome reste plus simple que maintenir un système d'entreprise truffé de dépendances.
OpenAI prévient elle-même que toute migration en production exige encore une relecture par des experts et des tests au regard des règles métier de chaque système. L'ouverture de MultiLangBench offre au moins aux laboratoires concurrents et aux clients un moyen de vérifier ces affirmations sur leurs propres modèles.