A Google quer perceber se os agentes de IA conseguem fazer o trabalho de um engenheiro no ativo, e não apenas responder a perguntas de manual. A 3 de novembro de 2026, a equipa Google AI & Infrastructure apresentou o Physical-Engineering's Last Exam (PLE), um benchmark e uma competição aberta desenvolvidos com a Mercor, empresa que gere uma rede de especialistas. Os primeiros resultados são pouco animadores: todos os modelos de ponta testados ficaram abaixo dos 50% no conjunto de teste privado.
O PLE reúne 85 tarefas de longo fôlego em quatro disciplinas: 30 de engenharia mecânica, 27 de elétrica, 18 de civil e 10 de estrutural. Em vez de um único pedido, o agente é colocado numa pasta de projeto em contentor, assente no ambiente de código aberto Archipelago da Mercor, semelhante ao que um engenheiro recebe no dia a dia. Cada tarefa tem em média 61 ficheiros, num total de 5170, entre PDF, folhas de cálculo, emails, desenhos CAD em 2D, modelos BIM em 3D e revisões de documentos. O agente tem de identificar as normas aplicáveis e os limites físicos, fazer os cálculos e entregar peças que um revisor certificado possa aprovar, como dimensionar um quadro elétrico e o respetivo mapa de cabos ou implantar um campus com terraplenagem e redes.
A avaliação é propositadamente exigente. Só há pontos se o projeto passar primeiro em todas as verificações obrigatórias de segurança e viabilidade; depois disso são avaliados o cumprimento das normas e a eficiência de custos. Scripts automáticos conferem os resultados numéricos e um modelo de linguagem atua como juiz do trabalho aberto, com base em grelhas definidas por especialistas. Cada tarefa corre sem acesso à internet durante até seis horas, e cada combinação de modelo e ambiente é executada três vezes.
Quarenta e quatro tarefas foram escritas por engenheiros da rede da Mercor, que criaram pastas, enunciados e grelhas de avaliação. As outras 41 foram feitas a meias: a Google montou um ciclo adversarial em que um agente redigia a tarefa e outro tentava contorná-la, cabendo depois aos engenheiros validá-la e torná-la mais difícil. Foram publicadas 29 tarefas, com ferramentas de avaliação e um contentor de teste no GitHub; as restantes 56 formam o conjunto oculto da competição em ple-bench.com, onde 13 modelos patrocinados pela Google podem ser usados gratuitamente. O artigo que descreve o benchmark está disponível no arXiv.
Foram avaliados catorze modelos de ponta com sete ambientes públicos de agentes, entre eles Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands e Pi. Cada um no seu ambiente nativo, o Claude Opus 5.5 no Claude Code liderou com 48,3%, à frente do GPT 6 Astra no Codex, com 45,8%, e do Gemini 4 Argon, com 40,6%, segundo a Mercor. A Google indica que a melhor configuração cumpriu 91% das restrições individuais nas tarefas coescritas, mas apenas 41,3% das suas entregas superaram todas as verificações obrigatórias. A Mercor acrescenta que as melhores execuções consumiram em média cerca de 27 milhões de tokens e 63 minutos por tarefa.
A conclusão mais saliente tem a ver com a origem do desempenho. Entre modelos, as pontuações chegam a afastar-se 50 pontos, ao passo que o mesmo modelo em ambientes diferentes varia, em mediana, cerca de 3 pontos, embora o ambiente altere muito o custo. Na tabela pública, o Opus 5.5 custa 42,32 dólares por tarefa com o Antigravity e 12,87 dólares com o OpenCode.
Convém alguma prudência. O PLE foi construído por empresas interessadas, as tarefas são novas e ainda não foram amplamente reproduzidas, e a tabela indica o Claude Opus 5.5 como juiz das grelhas, da mesma família do modelo que lidera. Um conjunto público pequeno facilita também o sobreajuste quando a competição arrancar. Ainda assim, o teste aponta para uma lacuna real, já que a maioria das avaliações de agentes fica pelo software, e dá aos programadores uma medida concreta da distância que separa os agentes de um trabalho de engenharia que tem de ser seguro além de correto.