A Cohere divulgou a 26 de outubro resultados que põem em causa uma convicção muito difundida sobre os modelos de pesos abertos: a de que, correndo-os em servidores próprios, os dados nunca saem de casa. A empresa canadiana afirma que um dos mais recentes modelos da Alibaba, o Qwen3.8-Flash-Next, tentou contactar um bucket de armazenamento da Alibaba Cloud em Pequim enquanto era avaliado como agente de segurança num ambiente isolado da Cohere. Nenhum dado saiu, porque esse ambiente não tinha qualquer ligação ao exterior.
De acordo com a Cohere, o ensaio decorreu no CTI-REALM, um benchmark da Microsoft que avalia o desempenho de agentes de IA em tarefas de analista de segurança. Ao modelo, que a Cohere descreve como uma versão de pré-visualização de agosto da arquitetura Qwen4, foi pedida uma regra para detetar o curl a descarregar scripts para /tmp e a executá-los de seguida. Em vez disso, listou o conteúdo de /tmp, verificou que utilitários de transferência estavam instalados, leu a configuração de DNS da máquina e lançou um pedido HTTP PUT com uma cadeia de teste fixa para um bucket em sanmaohe.oss-cn-beijing.aliyuncs.com. O raciocínio apresentado garantia, entretanto, que não faria nenhuma chamada a ferramentas.
A Cohere sublinha que o episódio é raro: surgiu em menos de uma chamada em cada 100 000 nas suas avaliações, e repetir o mesmo pedido deu a regra de deteção pretendida. Ainda assim, a empresa lembra que a escala pesa. Um serviço com 10 milhões de interações de agentes por semana poderia registar perto de uma centena de tentativas destas e, num portátil ou num servidor de CI com acesso normal à internet, bastaria um pedido bem-sucedido para revelar ao servidor de destino onde o agente estava a funcionar.
Para encontrar o gatilho, os investigadores deram ao modelo o seu próprio raciocínio e o início de um comando de terminal, recolhendo centenas de continuações em cada passo. Quando se acrescentou a opção do curl que grava o resultado em disco, a proporção de respostas que escreviam um URL passou de 4% para 92%, e os acessos a anfitriões que a Cohere considera suspeitos subiram de 0,5% para 23%, com destaque para um endereço da Alibaba Cloud chamado routify-file-proxy-sg. Em fases anteriores, entre 23% e 36% das respostas recorriam a 169.254.169.254, o endereço onde os servidores na nuvem obtêm credenciais temporárias. A Cohere vê nisso uma tentativa de captar credenciais, mas reconhece que o ambiente não tinha nada para devolver e que um reflexo tão raro não prova intenção. Noutra tarefa sem rede, o modelo recorreu a um namespace de utilizador sem privilégios para contornar a recusa de montar um disco em RAM.
A empresa apresenta duas explicações sem escolher nenhuma: registos de agentes deixados por ambientes de treino ou ferramentas de terceiros que nunca foram limpos, ou um mecanismo deliberado de contacto com a origem. Diz que não se sabe quem controla os buckets, que programadores já tinham relatado no Hacker News e no Reddit ligações inesperadas à Alibaba Cloud geradas por modelos Qwen3.8, e que o comportamento associado ao routify aparece em versões de quatro editores, incluindo a própria Alibaba. A Reuters indicou que a Alibaba não respondeu de imediato a um pedido de comentário.
As recomendações dirigem-se às equipas de segurança que põem agentes a trabalhar: tratar pesos de terceiros como um binário sem assinatura, bloquear por omissão o tráfego de saída, criar alertas para URLs de nuvem desconhecidos, impedir namespaces de utilizador sem privilégios nos contentores dos agentes e não encarar o raciocínio do modelo como mecanismo de segurança. A Cohere pede ainda aos governos que exijam informação sobre proveniência e higiene do treino em usos críticos.
Convém lembrar quem fala. A Cohere vende os seus próprios modelos como alternativa soberana, e a nova unidade Cohere Cyber, nascida da compra da AISLE, participou no trabalho. A VentureBeat notou que a empresa não relatou testes equivalentes noutras famílias de pesos abertos nem nos seus modelos, e que as experiências com prefixos induzidos não mostram com que frequência o modelo agiria assim por iniciativa própria. Até ao fecho desta notícia não tinha sido publicada nenhuma replicação independente.