Correr um modelo de linguagem aberto num PC com Windows sempre exigiu alguma paciência: escolher o binário certo do llama.cpp, procurar uma versão quantizada adequada e lançar um servidor com as opções corretas. A Hugging Face quer acabar com esse ritual. A 13 de outubro, a empresa anunciou o Llama Windows, uma aplicação gratuita que vive na bandeja do sistema do Windows 11 e trata dessas tarefas sem obrigar o utilizador a abrir um terminal.
Trata-se da versão para Windows do Llama for Mac, a ferramenta de barra de menus distribuída em llama.app. O código está publicado no GitHub, no repositório ggml-org/Llama-Windows, sob licença MIT. Segundo o README do projeto, é uma adaptação em WinUI 3 da edição para Mac, distribuída como pacote assinado para máquinas x64 e ARM64. A Hugging Face garante que a instalação dispensa privilégios de administrador.
Um clique no ícone do lama abre um pequeno painel. Na secção de modelos recomendados surgem versões quantizadas de modelos abertos populares do Hub, cada uma com o número de parâmetros, o espaço ocupado em disco e a indicação de suporte a imagens, para que se perceba antes da transferência se o modelo cabe no computador. Outra secção mostra o que já está instalado, permite carregar ou descarregar modelos e abre a interface web do llama.cpp para conversar. O atalho Alt+Space faz aparecer uma janela de conversa por cima de qualquer programa.
Por trás, o Llama Windows liga-se a um servidor llama.cpp que já esteja em execução ou arranca e gere o seu próprio. Se o llama.cpp não estiver instalado, a aplicação vai buscá-lo com o instalador oficial. O servidor responde na porta 9931 do localhost com uma API compatível com a da OpenAI, o que permite apontar scripts, editores e agentes de programação feitos para essa interface para modelos locais. Os ficheiros ficam na cache habitual da Hugging Face no perfil do utilizador, partilhada com o llama.cpp e outras ferramentas da empresa, e é possível juntar um token de acesso para repositórios privados ou restritos.
O hardware também pesa na estratégia. A aplicação corre nativamente em Windows on Arm e, segundo a Hugging Face, foi preparada em conjunto com a NVIDIA para funcionar desde o primeiro dia na RTX Spark, a nova plataforma da NVIDIA para IA local em PCs com Windows. A empresa afirma que o llama.cpp aproveita a capacidade de cálculo e a memória desse equipamento sem afinações manuais, mas essa promessa ainda não foi confirmada por testes independentes.
A privacidade é outro argumento. O README indica que a aplicação não envia telemetria e que os pedidos e a inferência nunca saem da máquina; as ligações para o exterior limitam-se a transferências de modelos, verificação de atualizações e chamadas ao servidor local. Para programadores e empresas que querem testar modelos abertos com dados sensíveis sem passar por uma API na nuvem, este pormenor conta.
Convém, ainda assim, pôr o anúncio em perspetiva. O repositório foi criado em junho e publica versões desde agosto, sendo a mais recente a v0.12.0, de 10 de outubro, pelo que se trata do lançamento formal de um projeto já desenvolvido à vista de todos. Funciona apenas no Windows 11, a qualidade das respostas depende do modelo escolhido e o texto não descreve o desempenho em portáteis comuns sem RTX Spark.