Quem já tentou usar um assistente de IA para mexer em código COBOL ou Fortran conhece o problema: os modelos rendem muito menos nestas linguagens do que em Python ou JavaScript. A OpenAI decidiu medir essa diferença. Numa publicação de 19 de outubro de 2026, a empresa descreve duas avaliações centradas em linguagens como COBOL, Fortran, OCaml e Visual Basic, disponibiliza uma delas como referência aberta no GitHub e afirma que os seus modelos atuais superam largamente a geração GPT-5.6 Sol em ambas.
O primeiro teste, o MultiLangBench, pede ao modelo que construa, na linguagem indicada, um motor de base de dados compatível com o SQLite. A correção é feita com testes adaptados do conjunto oficial do SQLite e, como todas as linguagens têm de devolver o mesmo resultado (um ficheiro de base de dados alterado), as verificações são idênticas quer o motor seja escrito em Rust, quer em COBOL. O README do repositório indica que o alvo é a versão 3.40.1, que o modelo recebe a documentação oficial num contentor sem acesso à internet e sem qualquer cópia do SQLite, e que cerca de 24 mil dos aproximadamente 51 mil testes TCL puderam ser convertidos. A pontuação combina custo de API e taxa de aprovação; para conter despesas, recomenda-se um subconjunto fixo de 272 testes, e uma solução escrita na linguagem errada vale zero.
Nesse teste, a OpenAI diz que o GPT-6 Astra, com esforço máximo de raciocínio, aprova em média 87,4% dos casos nas 20 linguagens, quando o GPT-5.6 Sol ficava nos 26,8%, e passa a fasquia dos 83% em 19 delas. O COBOL continua a ser o osso mais duro, com 72,1%, ainda assim muito acima dos 10,9% anteriores. O Fortran sobe de 21,4% para 83,5% e o OCaml de 25,6% para 85,8%. O GPT-6 Luna, mais barato, fica pelos 40,3%, mas a empresa estima o custo por amostra em 0,77 dólares, face a 3,48 do GPT-5.6 Sol, cerca de 78% a menos.
A segunda avaliação aproxima-se mais do trabalho pelo qual bancos e seguradoras pagam. O modelo tem de converter programas COBOL para C++, Java, Kotlin, Python ou Rust, e a migração só conta se testes ocultos mostrarem uma saída rigorosamente igual, byte a byte. A OpenAI explica porquê: a aritmética de vírgula fixa do COBOL descarta casas decimais excedentes quando não se pede arredondamento, pelo que uma tradução que arredonde pode correr sem erros e, mesmo assim, alterar resultados financeiros. Aqui, o GPT-6.1 Sol chega a 86,6% com pouco raciocínio, contra 5,4% do GPT-5.6 Sol, por cerca de 61% do custo de API do modelo antigo. Com mais raciocínio, atinge 97,9%, valor que a empresa considera perto da saturação.
Por trás disto há também um argumento comercial. A OpenAI cita estimativas segundo as quais o COBOL sustenta mais de 40% dos sistemas de banca online e a maioria das operações em caixas automáticas, e lembra que o Fortran continua presente na previsão meteorológica e na análise de segurança de reatores. Grande parte desse código está mal documentada e depende de equipas cada vez menores, o que torna as migrações lentas e arriscadas. A empresa diz que o trabalho nasceu de queixas de clientes.
Convém ler os resultados com cautela. Os testes e as pontuações são da OpenAI e, à data da publicação, não havia replicação independente. As duas avaliações comparam modelos diferentes com níveis de raciocínio diferentes, por isso os números não são comparáveis entre si. O conjunto de migração de COBOL não foi publicado e, quando consultado, o repositório público tinha a configuração dos testes e três commits, mas nenhum ficheiro de resultados por linguagem, apesar de a publicação anunciar a sua divulgação. Construir um motor de base de dados isolado é, além disso, mais simples do que manter um sistema empresarial cheio de dependências.
A própria OpenAI avisa que migrações em produção continuam a exigir revisão por especialistas e testes face às regras de negócio de cada sistema. Com o MultiLangBench aberto, outros laboratórios e clientes passam a ter forma de pôr estas afirmações à prova nos seus próprios modelos.