A NVIDIA disponibilizou discretamente um novo servidor de inferência local em código aberto. O repositório NVIDIA/flare-local-inference surgiu no GitHub a 20 de outubro de 2026, com licença Apache 2.0, e descreve o Flare como um servidor para GPU NVIDIA SM120 e SM121, a gama que inclui as placas de estação de trabalho RTX PRO Blackwell e o chip GB10 do DGX Spark. O objetivo declarado é tirar mais partido da memória, da largura de banda e da capacidade de cálculo das máquinas de secretária em conversas longas, agentes de programação e utilização repetida de ferramentas, mantendo a geração rápida. A NVIDIA apresenta-o como um protótipo de investigação, aberto para permitir colaboração técnica e recolher opiniões iniciais.
A arquitetura divide o trabalho em duas partes. Uma ferramenta de preparação chamada Ignition usa PyTorch, Transformers e núcleos FlashInfer para carregar um modelo, afinar núcleos de cálculo, compilar a passagem direta e capturar grafos CUDA num pacote de execução. Depois, um motor em Rust chamado Helios serve esse pacote sem qualquer instalação de Python. Toda a compilação e captura de grafos termina antes do arranque do serviço, e as memórias e capacidades são planeadas antecipadamente. O projeto trata ainda todo o estado de uma conversa, incluindo o estado recorrente a par da cache de chaves e valores, como uma só unidade, para que reutilizar, ramificar ou retomar uma sessão não a corrompa.
O Flare não pretende executar tudo. A documentação enumera receitas de modelos que incluem Nemotron 3.5 Bolt, Qwen3.8 27B e Qwen3.8 Flash, DeepSeek V4 Flash e V4.1 Flash, MiMo V2.6 Pro, Step-5 Preview e Kimi K3. Todas as receitas guardam por omissão a cache de chaves e valores em FP8. Os modelos demasiado grandes para um único DGX Spark podem correr em paralelismo de tensores em dois ou quatro Spark ligados pelas portas ConnectX-7, com uma máquina a gerar o pacote e um comando de coordenação a arrancar todos os nós.
O README é franco quanto ao seu lugar. Reconhece que o vLLM abrange uma variedade muito maior de modelos, hardware e formas de implementação, e apresenta o Flare como uma opção especializada que troca amplitude por um contrato de serviço focado em modelos selecionados e cargas locais. O que cada utilizador pode executar fica limitado às receitas suportadas e às capacidades preparadas de antemão. No DGX Spark, onde GPU e CPU partilham a mesma memória, o guia pede que os pacotes sejam gerados no próprio Spark e que se reserve memória para o sistema operativo.
Não houve anúncio oficial. Uma publicação no fórum de programadores da NVIDIA a 20 de outubro assinalou que o repositório tinha chegado sem qualquer anúncio e com menos de dez estrelas, e os primeiros utilizadores começaram a partilhar ali os seus próprios valores de débito. Análises independentes da explainx.ai e da Tokenstead resumiram a arquitetura no mesmo dia. A 22 de outubro, o repositório tinha cerca de 560 estrelas, nenhuma versão etiquetada e nenhum valor de desempenho no README.
O lançamento é relevante porque a NVIDIA tem promovido o DGX Spark e as máquinas RTX PRO Blackwell como base para agentes de IA privados e locais, enquanto a maioria dos utilizadores recorre a motores comunitários como o llama.cpp ou a servidores genéricos como o vLLM. Um motor oficial pensado para sessões de agentes, em que dominam contextos longos e chamadas repetidas a ferramentas, dá a esses proprietários mais uma alternativa e mostra como a NVIDIA entende que deve ser organizada a inferência local para agentes.
Continuam a existir lacunas importantes. A NVIDIA não publicou testes de desempenho, o projeto é assumidamente um protótipo que pode mudar depressa, só funciona em Linux com hardware SM120 e SM121, e o README não inclui comandos de instalação, remetendo para documentos separados de conceção e preparação.