A Hugging Face publicou uma receita para treinar pequenos «adaptadores de arnês», mostrando que a aprendizagem por reforço dentro de um arnês de agente pode tornar um modelo aberto mais preciso e mais barato de executar nesse arnês. O artigo de 20 de novembro de 2026 indica como autores Younes B, ben burtenshaw, Nathan Habib, Lysandre, Amine Dirhoussi, Adithya S K, shaun smith, Sergio Paniego e Joel Niklaus.
O ponto de partida é uma crítica aos modelos de uso geral: são afinados para um desempenho amplo, pelo que qualquer combinação concreta de modelo e arnês deixa por aproveitar precisão e eficiência. A equipa treinou um adaptador LoRA por arnês sobre o Qwen3.8-27B, para os arneses de programação Pi, OpenCode e Hermes Agent, mantendo o modelo congelado. Com o Pi no Terminal-Bench 2.1, a Hugging Face indica que o modelo base pontua 39 por cento e gasta cerca de 2,9 mil tokens por tarefa, enquanto o modelo adaptado chega aos 55 por cento de pass@1 com cerca de 1,5 mil tokens. Atribui a maior parte do ganho ao facto de o modelo raciocinar menos, chamar menos ferramentas e acertar mais à primeira.
O treino decorre com o arnês a funcionar exatamente como é distribuído, e não com uma reimplementação do ciclo do agente. Um intermediário entre o arnês e o servidor vLLM regista os tokens exatos produzidos, e o treinador aprende com eles através do AsyncGRPOTrainer da TRL, do OpenEnv e do formato de tarefas Harbor, com conjuntos de dados, treino e execuções feitos como trabalhos no Hub da Hugging Face. A recompensa combina o resultado de aprovação ou falha do verificador com um pequeno bónus de 0,1 pela utilização eficiente de ferramentas.
Grande parte do artigo trata das tarefas. A equipa procurou no Hub cerca de 59 mil ambientes Harbor, manteve as fontes feitas para treino e acrescentou tarefas geradas a partir de pedidos de integração aceites, com um processo chamado Tasksmith. Cada tarefa foi verificada com o openenv validate: 858 de 1127 candidatas do Hub passaram. Uma verificação de dificuldade manteve depois as tarefas que o modelo base resolvia apenas em algumas tentativas. Das 442 tarefas pontuadas, o modelo resolveu 151 sempre e 120 nunca, ficando 171 como sinal de treino útil. O conjunto resultante, harness-hub/agentic-coding-envs, reúne 871 tarefas de 35 repositórios, e execuções curtas de treino sugeriram que a validação e o filtro de dificuldade mudam o que o modelo aprende.
Os autores fundiram ainda os três adaptadores num único super-adaptador de ordem 96, aplicado com metade da intensidade. Nos três arneses, no Terminal-Bench 2.1, obteve 52,5 por cento contra 43,3 por cento do modelo base, com muito menos chamadas a ferramentas, embora em alguns pares de arnês e teste tenha ficado atrás do adaptador treinado só para esse arnês. Aplicar a soma simples das atualizações tornou os agentes demasiado curtos e prejudicou a pontuação do Pi.
Os adaptadores, os ficheiros GGUF, as tarefas de aprendizagem por reforço e uma extensão de segurança estão numa coleção da Hugging Face. Todos os números vêm das próprias experiências da Hugging Face, com uma só família de modelos e uma tentativa por tarefa, pelo que a reprodução independente é o próximo teste da capacidade de generalização da receita.