Google cherche à savoir si les agents d'IA peuvent faire le travail d'un ingénieur en exercice, et pas seulement répondre à des questions de manuel. Le 3 novembre 2026, l'équipe Google AI & Infrastructure a présenté Physical-Engineering's Last Exam (PLE), un banc d'essai doublé d'une compétition ouverte, conçu avec Mercor, société qui fédère un réseau d'experts. Les premiers résultats refroidissent : tous les modèles de pointe testés restent sous la barre des 50 % sur le jeu de test privé.
PLE comporte 85 tâches au long cours réparties entre quatre disciplines : 30 en mécanique, 27 en électricité, 18 en génie civil et 10 en structure. Plutôt qu'une simple consigne, l'agent reçoit un dossier de projet conteneurisé, bâti sur l'environnement open source Archipelago de Mercor, proche de ce qu'un ingénieur trouve sur son bureau. Chaque tâche compte en moyenne 61 fichiers, 5 170 au total : PDF, tableurs, courriels, plans CAO en 2D, maquettes BIM en 3D et révisions successives. L'agent doit repérer les normes applicables et les limites physiques, effectuer les calculs et livrer des documents qu'un ingénieur agréé pourrait valider, par exemple dimensionner un tableau électrique et son carnet de câbles ou concevoir l'aménagement d'un campus avec terrassements et réseaux.
La notation est volontairement sévère. Aucun point n'est accordé tant que le projet n'a pas franchi tous les contrôles éliminatoires de sécurité et de faisabilité ; viennent ensuite la conformité réglementaire et la maîtrise des coûts. Des scripts vérifient les résultats chiffrés, tandis qu'un modèle de langage juge le travail ouvert à l'aide de grilles rédigées par des experts. Chaque tâche s'exécute hors connexion pendant six heures au maximum, et chaque couple modèle et environnement est lancé trois fois.
Quarante-quatre tâches ont été écrites par des ingénieurs du réseau Mercor, qui ont monté dossiers, consignes et grilles. Les 41 autres ont été coécrites : Google a mis en place une boucle adversariale où un agent rédige la tâche et un autre tente de la contourner, avant que des ingénieurs ne la valident et n'en relèvent la difficulté. Vingt-neuf tâches sont publiées avec les outils de notation et un conteneur d'évaluation sur GitHub ; les 56 restantes constituent le jeu caché de la compétition hébergée sur ple-bench.com, où 13 modèles financés par Google peuvent tourner gratuitement. Un article décrivant le banc d'essai figure sur arXiv.
Quatorze modèles de pointe ont été évalués avec sept environnements d'agents publics, dont Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands et Pi. Chacun dans son environnement natif, Claude Opus 5.5 sous Claude Code arrive en tête avec 48,3 %, devant GPT 6 Astra sous Codex à 45,8 % et Gemini 4 Argon à 40,6 %, selon Mercor. Google précise que la meilleure configuration respectait 91 % des contraintes prises une à une sur les tâches coécrites, mais que seuls 41,3 % de ses livrables passaient l'ensemble des contrôles éliminatoires. Mercor ajoute que les meilleures exécutions ont consommé en moyenne près de 27 millions de tokens et 63 minutes par tâche.
Le constat le plus marquant porte sur l'origine des performances. D'un modèle à l'autre, les scores s'écartent jusqu'à 50 points, alors qu'un même modèle placé dans différents environnements ne varie que d'environ 3 points en médiane, même si l'environnement fait fortement varier la facture. Le tableau public montre ainsi Opus 5.5 à 42,32 dollars par tâche avec Antigravity, contre 12,87 dollars avec OpenCode.
La prudence reste de mise. PLE a été conçu par des acteurs du secteur, ses tâches sont inédites et n'ont pas encore été largement reproduites, et le classement désigne Claude Opus 5.5 comme juge des grilles, soit la famille du modèle qui domine le tableau. Un jeu public restreint favorise aussi le surapprentissage une fois la compétition lancée. Le banc d'essai cible néanmoins un vrai angle mort, la plupart des évaluations d'agents s'arrêtant au logiciel, et offre aux développeurs une mesure tangible de la distance qui sépare encore les agents d'une ingénierie qui doit être sûre autant que juste.