LightOn، شرکت فرانسوی هوش مصنوعی که با مدل‌های باز بازیابی اطلاعات شناخته می‌شود، روز دوشنبه ۱۹ اکتبر ۲۰۲۶ دو بازیاب تُنُک جدید معرفی کرد. SlideOn مدلی برای زبان انگلیسی با ۱۷۴ میلیون پارامتر است و mSlideOn مدلی چندزبانه با ۳۳۹ میلیون پارامتر که اسناد طولانی و کد منبع را هم پوشش می‌دهد. این شرکت مدل‌های تنظیم‌شده، نقاط بازبینی خودرمزگذارهای تُنُکی که برای ساخت آن‌ها به کار رفته و کد آموزش را با مجوزی که خودش «آزاد» توصیف می‌کند منتشر کرده است؛ مدل‌ها در Hugging Face و کد در GitHub در دسترس‌اند.
این عرضه به مشکلی عملی در جست‌وجو و تولید متن مبتنی بر بازیابی (RAG) می‌پردازد. مدل‌های بردار چگال هر سند را در یک بردار فشرده می‌کنند و معمولاً برای سرعت در مقیاس بزرگ به جست‌وجوی برداری شتاب‌گرفته با GPU نیاز دارند؛ در مقابل، مدل‌های تعامل تأخیری مانند LateOn خود LightOn برای هر سند چندین بردار نگه می‌دارند و ذخیره و پرس‌وجوی آن‌ها پرهزینه‌تر است. در بازیابی تُنُک، پرسش‌ها و اسناد به بردارهایی تبدیل می‌شوند که تقریباً همه مقادیرشان صفر است و می‌توان آن‌ها را در یک نمایه وارونه نگه داشت؛ همان ساختاری که موتورهای جست‌وجوی سنتی مبتنی بر کلیدواژه از آن استفاده می‌کنند. در این حالت، جست‌وجو فقط سراغ اسنادی می‌رود که ویژگی‌های فعال مشترکی با پرسش دارند. LightOn به پژوهش‌های پیشین استناد می‌کند که نشان داده‌اند چنین نمایه‌هایی روی CPU هم با تأخیری نزدیک به جست‌وجوی چگال مبتنی بر GPU کار می‌کنند.
تیم LightOn به جای آموزش از صفر، بازیاب‌هایی را که پیش‌تر ساخته بود تبدیل کرد. SlideOn از مدل چگال DenseOn و mSlideOn از مدل چندزبانه تعامل تأخیری mLateOn ساخته شده است. ابتدا یک خودرمزگذار تُنُک از نوع Top-K روی بردارهای توکن هر مدل آموزش داده شد که ۳۲٬۷۶۸ ویژگی آموخته‌شده دارد و برای هر توکن فقط ۳۲ ویژگی قوی‌تر را نگه می‌دارد؛ سپس مدل پایه و رمزگذار تُنُک برای بازیابی تنظیم شدند. بردارهای توکن‌ها با تجمیع بیشینه به یک بردار تُنُک برای هر پرسش یا سند تبدیل می‌شوند. برخلاف مدل‌های سبک SPLADE که به واژه‌های واژگان توکن‌ساز وزن می‌دهند، این ویژگی‌ها مفاهیم آموخته‌شده‌اند و به گفته LightOn می‌توانند معنای مشترک را در عبارت‌ها و زبان‌های گوناگون دریابند.
در آموزش حدود ۱۶٫۳ میلیون جفت پرسش و سند مرتبط در نُه زبان طبیعی و کد به کار رفت و برای هر جفت ۱۰ نمونه منفی دشوار در نظر گرفته شد که مدل mxbai-rerank-large-v2 در نقش معلم به آن‌ها امتیاز داد. یک هدف آموزشی به سبک Matryoshka اطلاعات را در قوی‌ترین ویژگی‌ها متمرکز می‌کند تا کاربران بتوانند هنگام استفاده بردارها را هرس کنند و بدون آموزش دوباره، اندکی دقت را با هزینه جست‌وجوی کمتر و نمایه‌های کوچک‌تر عوض کنند.
به گزارش LightOn، مدل SlideOn در محک انگلیسی BEIR-15 میانگین nDCG@10 برابر ۵۶٫۶۸ می‌گیرد؛ اندکی بالاتر از ۵۶٫۲۰ مدل DenseOn و حدود نیم امتیاز پایین‌تر از LateOn. این مدل ۲٫۲ امتیاز از SPARSEUP، یک بازیاب تُنُک تازه، جلوتر است، هرچند SPARSEUP به‌طور پیش‌فرض عملیات جست‌وجوی کمتری لازم دارد. به گفته شرکت، وقتی اسناد به ۵۱۲ ویژگی برتر خود محدود شوند، SlideOn در میان مدل‌های زیر ۲ میلیارد پارامتری مقایسه‌شده، روی مرز بهینه کیفیت در برابر هزینه جست‌وجو و کیفیت در برابر حجم ذخیره‌سازی قرار می‌گیرد.
مدل چندزبانه نسبت به همتای چگال خود پیشرفت بیشتری نشان می‌دهد. mSlideOn در MIRACL روی هر ۱۸ زبان به ۶۲٫۷۸ می‌رسد که ۴٫۷۶ امتیاز بیشتر از mDenseOn اما کمتر از ۶۷٫۰۴ مدل mLateOn است. در محک اسناد طولانی MLDR روی ۱۳ زبان ۶۱٫۶۸ می‌گیرد، یعنی حدود ۱۰ امتیاز بالاتر از mDenseOn، اما هنوز فاصله زیادی با ۷۷٫۹۲ مدل mLateOn دارد. در MTEB Code امتیاز ۷۴٫۷۸ کسب می‌کند و از ۷۳٫۴۸ مدل mLateOn و همه مدل‌های تُنُک و تعامل تأخیری دیگرِ این مقایسه جلو می‌زند. LightOn یادآوری می‌کند که داده‌های آموزشی بومی MIRACL فقط عربی، انگلیسی، فرانسوی و اسپانیایی را پوشش می‌داد و همین تا حدی برتری رقبایی را که روی ۱۶ زبان آموزش دیده‌اند توضیح می‌دهد.
برای تیم‌هایی که سامانه‌های جست‌وجو یا RAG می‌سازند، جذابیت اصلی مدلی کوچک است که می‌تواند روی زیرساخت معمول نمایه وارونه کار کند و تطبیق معنایی را هم حفظ کند. محدودیت‌ها هم روشن‌اند: همه اعداد از ارزیابی خود LightOn آمده و به‌طور مستقل تکرار نشده، مدل چندزبانه در بیشتر وظایف هنوز از روش تعامل تأخیری عقب است و سرعت واقعی به موتور نمایه تُنُکی بستگی دارد که به کار گرفته می‌شود. این شرکت می‌گوید در ادامه، آموزش را به زبان‌ها و خط‌های بیشتر گسترش می‌دهد و توانایی تطبیق تعامل تأخیری را در فرایند تبدیل بهتر حفظ می‌کند.