A LightOn, empresa francesa de IA conhecida pelos seus modelos abertos de pesquisa, publicou na segunda-feira, 19 de outubro de 2026, dois novos recuperadores esparsos. O SlideOn é um modelo para inglês com 174 milhões de parâmetros e o mSlideOn é um modelo multilingue com 339 milhões, preparado também para documentos longos e código-fonte. A empresa disponibilizou os modelos afinados, os checkpoints dos autoencoders esparsos usados para os construir e o código de treino, sob uma licença que descreve como permissiva, com os modelos no Hugging Face e o código no GitHub.
O lançamento responde a um problema concreto da pesquisa e da geração aumentada por recuperação. Os modelos de embeddings densos comprimem cada documento num único vetor e costumam precisar de pesquisa vetorial acelerada por GPU para manter a rapidez em grande escala, enquanto os modelos de interação tardia, como o LateOn da própria LightOn, guardam vários vetores por documento e ficam mais caros de armazenar e consultar. Na pesquisa esparsa, perguntas e documentos são vetores em que quase todos os valores são zero, o que permite guardá-los num índice invertido, a mesma estrutura dos motores clássicos de pesquisa por palavras-chave. A procura só percorre os documentos que partilham características ativas com a pergunta. A LightOn cita investigação anterior segundo a qual estes índices podem correr em CPU com uma latência próxima da pesquisa densa apoiada em GPU.
Em vez de treinar do zero, a equipa converteu recuperadores que já tinha. O SlideOn parte do modelo denso DenseOn e o mSlideOn do modelo multilingue de interação tardia mLateOn. Primeiro, foi treinado um autoencoder esparso Top-K sobre os embeddings de tokens de cada modelo, com 32 768 características aprendidas e apenas as 32 mais fortes mantidas por token; depois, a base e o codificador esparso foram afinados para pesquisa. Os vetores dos tokens são agregados por máximo num único vetor esparso por pergunta ou documento. Ao contrário dos modelos ao estilo SPLADE, que atribuem pesos a palavras do vocabulário do tokenizador, estas características são conceitos aprendidos, que segundo a LightOn conseguem captar o mesmo significado em formulações e línguas diferentes.
O treino usou cerca de 16,3 milhões de pares de pergunta e documento relevante em nove línguas naturais e em código, cada um com 10 exemplos negativos difíceis classificados pelo modelo mxbai-rerank-large-v2, que serviu de professor. Um objetivo ao estilo Matryoshka concentra a informação nas características mais fortes, o que permite podar os vetores no momento da utilização e trocar um pouco de precisão por menor custo de pesquisa e índices mais pequenos, sem voltar a treinar.
No teste de referência BEIR-15, em inglês, a LightOn indica que o SlideOn obtém 56,68 de nDCG@10 médio, um pouco acima dos 56,20 do DenseOn e cerca de meio ponto abaixo do LateOn. Fica 2,2 pontos acima do SPARSEUP, um recuperador esparso recente, embora este exija menos operações de pesquisa por defeito. Com os documentos reduzidos às 512 características mais fortes, a empresa afirma que o SlideOn está na fronteira entre qualidade e custo de pesquisa, e entre qualidade e armazenamento, entre os modelos com menos de 2 mil milhões de parâmetros comparados.
O modelo multilingue mostra ganhos maiores face ao irmão denso. No MIRACL, o mSlideOn chega a 62,78 nas 18 línguas, 4,76 pontos acima do mDenseOn, mas abaixo dos 67,04 do mLateOn. No MLDR, dedicado a documentos longos, atinge 61,68 em 13 línguas, cerca de 10 pontos acima do mDenseOn, ainda bem longe dos 77,92 do mLateOn. No MTEB Code marca 74,78, à frente dos 73,48 do mLateOn e de todos os outros modelos esparsos e de interação tardia da comparação. A LightOn sublinha que a supervisão nativa do MIRACL abrangeu apenas árabe, inglês, francês e espanhol, o que ajuda a explicar a vantagem de rivais treinados em 16 línguas.
Para quem constrói sistemas de pesquisa ou RAG, o atrativo é um modelo pequeno que pode funcionar sobre infraestrutura comum de índice invertido sem perder a correspondência semântica. As ressalvas são claras: todos os números vêm da avaliação da própria LightOn e não foram reproduzidos de forma independente, o modelo multilingue continua atrás da interação tardia na maioria das tarefas e a velocidade real vai depender do motor de índice esparso utilizado. A empresa diz que o trabalho futuro vai alargar a supervisão a mais línguas e alfabetos e preservar melhor a correspondência de interação tardia durante a conversão.