Inherent treina Faraday 27B para replicar investigação

A Inherent apresentou o Faraday, um agente científico de IA com 27 mil milhões de parâmetros treinado para reproduzir resultados de investigação, em vez de apenas resumir artigos. O artigo científico e a publicação de investigação da Inherent apresentam o Replica, um benchmark e espaço de treino por reinforcement learning focado numa competência difícil: reconstruir uma experiência quando faltam detalhes importantes de implementação no artigo original.

O Replica reúne 310 tarefas retiradas de 100 artigos de machine learning e AI for science. Em cada tarefa, uma figura de resultados é removida e o agente tem de a recuperar com limites de tempo e capacidade computacional. Isso obriga o sistema a fazer mais do que escrever código: tem de interpretar métodos pouco especificados, escolher experiências, diagnosticar falhas e decidir se o resultado continua fiel ao trabalho original.

O Faraday parte de um modelo 27B e é pós-treinado com reinforcement learning de longo horizonte. Um elemento central é a capacidade de usar coding agents como ferramentas. A Inherent afirma que esta arquitetura ensina o modelo mais pequeno a dirigir um sistema de programação mais poderoso, acrescentando uma camada de julgamento científico sobre o que testar a seguir e como avaliar o resultado. Nos testes publicados pela empresa, o Faraday supera Claude Opus 4.8 e GPT-5.5 nas tarefas held-out de replicação do Replica.

Essa afirmação exige uma ressalva importante. O Faraday não é um modelo autónomo de 27B a derrotar sistemas frontier numa comparação direta e isolada. A Inherent diz explicitamente que o Faraday pode utilizar GPT-5.5 Codex como ferramenta. A vantagem reportada é, portanto, sobre orchestration e decisão científica aprendida dentro do ambiente Replica, e não prova que o modelo base 27B tenha capacidade geral superior à de GPT-5.5 ou Claude Opus 4.8.

A avaliação também depende de um judge automatizado baseado em rubricas. Replicar uma figura científica não é uma tarefa perfeitamente verificável com uma única resposta numérica, por isso os investigadores geram critérios específicos para cada tarefa e usam um judge destinado a avaliar desenho experimental, prática científica e fidelidade ao artigo de origem. Os autores reportam maior consistência e melhor alinhamento com avaliações humanas do que num LLM-judge simples. Ainda assim, o benchmark e o método de treino foram criados pela própria equipa, tornando importante uma reprodução independente.

O significado mais amplo está na escolha da replicação como objetivo de treino. Artigos científicos omitem frequentemente experiências falhadas, decisões intermédias e detalhes de implementação. Um sistema que consiga recuperar esses passos tem de explorar hipóteses, em vez de apenas seguir um procedimento explícito. A Inherent argumenta que esta característica transforma a replicação num curriculum útil para agentes que mais tarde possam realizar investigação mais aberta.

Assim, o Faraday é interessante menos como uma vitória de benchmark e mais como um padrão de arquitetura para AI for science: um controlador aprendido relativamente pequeno, reinforcement learning de longo horizonte, coding agents como ferramentas e um processo de avaliação que recompensa julgamento científico. Se a abordagem generalizar para além do conjunto atual de tarefas, parte do desenvolvimento de IA científica poderá deslocar-se de modelos monolíticos maiores para camadas de orchestration treinadas para usar ferramentas poderosas de forma rigorosa.

## Sources

- Inherent: Training AI Scientists to Replicate Research
- arXiv: Training AI Scientists to Replicate Research