LightOn, l'entreprise française d'IA connue pour ses modèles ouverts de recherche d'information, a dévoilé le lundi 19 octobre 2026 deux nouveaux modèles de recherche parcimonieuse. SlideOn vise l'anglais avec 174 millions de paramètres, tandis que mSlideOn, multilingue, en compte 339 millions et sait aussi traiter les longs documents et le code source. La société a mis à disposition les modèles affinés, les points de contrôle des autoencodeurs parcimonieux ayant servi à les construire ainsi que le code d'entraînement, sous une licence qu'elle qualifie de permissive : les modèles sont sur Hugging Face et le code sur GitHub.
Cette sortie s'attaque à une difficulté bien réelle de la recherche documentaire et de la génération augmentée par récupération. Les modèles d'embeddings denses résument chaque document en un seul vecteur et nécessitent en général une recherche vectorielle accélérée par GPU pour rester rapides à grande échelle, alors que les modèles à interaction tardive, comme LateOn chez LightOn, conservent plusieurs vecteurs par document et coûtent plus cher en stockage comme en requêtes. En recherche parcimonieuse, requêtes et documents deviennent des vecteurs dont presque toutes les valeurs sont nulles, ce qui permet de les ranger dans un index inversé, la structure des moteurs classiques par mots-clés. Une requête ne parcourt alors que les documents qui partagent avec elle des caractéristiques actives. LightOn s'appuie sur des travaux antérieurs montrant que de tels index peuvent tourner sur processeur avec une latence comparable à celle d'une recherche dense sur GPU.
Plutôt que de repartir de zéro, l'équipe a converti des modèles existants. SlideOn est dérivé du modèle dense DenseOn, et mSlideOn du modèle multilingue à interaction tardive mLateOn. Un autoencodeur parcimonieux de type Top-K a d'abord été entraîné sur les embeddings de jetons de chaque modèle, avec 32 768 caractéristiques apprises dont seules les 32 plus fortes sont conservées par jeton ; le réseau de base et l'encodeur parcimonieux ont ensuite été affinés pour la recherche. Les vecteurs des jetons sont fusionnés par maximum en un seul vecteur parcimonieux par requête ou document. Contrairement aux modèles de type SPLADE, qui pondèrent des mots du vocabulaire du tokenizer, ces caractéristiques sont des concepts appris, capables selon LightOn de rapprocher des formulations et des langues différentes.
L'entraînement a mobilisé environ 16,3 millions de paires requête et document pertinent dans neuf langues naturelles et en code, chacune accompagnée de 10 exemples négatifs difficiles notés par le modèle mxbai-rerank-large-v2, utilisé comme enseignant. Un objectif de type Matryoshka concentre l'information dans les caractéristiques les plus fortes, ce qui permet d'élaguer les vecteurs au moment de l'utilisation afin d'échanger un peu de précision contre une recherche moins coûteuse et des index plus compacts, sans réentraînement.
Sur le banc d'essai anglais BEIR-15, LightOn annonce pour SlideOn un nDCG@10 moyen de 56,68, légèrement au-dessus des 56,20 de DenseOn et à environ un demi-point de LateOn. Le modèle devance de 2,2 points SPARSEUP, un modèle parcimonieux récent, même si ce dernier demande moins d'opérations de recherche par défaut. Avec des documents réduits à leurs 512 caractéristiques principales, SlideOn se situerait, selon l'entreprise, sur la frontière optimale entre qualité et coût de recherche, et entre qualité et stockage, parmi les modèles de moins de 2 milliards de paramètres comparés.
La version multilingue progresse davantage par rapport à son équivalent dense. Sur MIRACL, mSlideOn atteint 62,78 sur l'ensemble des 18 langues, soit 4,76 points de plus que mDenseOn, mais reste sous les 67,04 de mLateOn. Sur MLDR, consacré aux longs documents, il obtient 61,68 sur 13 langues, environ 10 points au-dessus de mDenseOn, encore loin des 77,92 de mLateOn. Sur MTEB Code, il marque 74,78, devant les 73,48 de mLateOn et tous les autres modèles parcimonieux ou à interaction tardive du comparatif. LightOn précise que la supervision native de MIRACL ne couvrait que l'arabe, l'anglais, le français et l'espagnol, ce qui explique en partie l'avance de concurrents entraînés sur 16 langues.
Pour les équipes qui conçoivent des moteurs de recherche ou des systèmes RAG, l'intérêt est un modèle compact capable de fonctionner sur une infrastructure d'index inversé standard tout en conservant la correspondance sémantique. Les réserves sont nettes : tous les chiffres proviennent de l'évaluation menée par LightOn et n'ont pas été reproduits de manière indépendante, la version multilingue reste derrière l'interaction tardive sur la plupart des tâches, et la vitesse réelle dépendra du moteur d'index utilisé. La société indique que ses prochains travaux étendront la supervision à davantage de langues et d'écritures et préserveront mieux les capacités de l'interaction tardive lors de la conversion.