انویدیا بی‌سروصدا یک سرور تازه برای استنتاج محلی را متن‌باز کرده است. مخزن NVIDIA/flare-local-inference روز ۲۰ اکتبر ۲۰۲۶ با مجوز Apache 2.0 در گیت‌هاب ظاهر شد و Flare را سروری برای پردازنده‌های گرافیکی SM120 و SM121 انویدیا معرفی می‌کند؛ رده‌ای که کارت‌های ایستگاه کاری RTX PRO Blackwell و تراشه GB10 در DGX Spark را در بر می‌گیرد. هدف اعلام‌شده این است که از حافظه، پهنای باند و توان محاسباتی دستگاه‌های رومیزی برای گفت‌وگوهای طولانی، عامل‌های کدنویس و استفاده مکرر از ابزارها بهره بیشتری گرفته شود و پاسخ‌دهی هم سریع بماند. انویدیا آن را نمونه اولیه‌ای پژوهشی می‌نامد که برای همکاری فنی و گردآوری بازخوردهای اولیه منتشر شده است.
طراحی این سامانه کار را به دو بخش تقسیم می‌کند. ابزاری به نام Ignition در مرحله ساخت با پای‌تورچ، کتابخانه Transformers و هسته‌های FlashInfer مدل را بارگذاری می‌کند، هسته‌های محاسباتی را تنظیم می‌کند، مسیر رو‌به‌جلوی مدل را کامپایل می‌کند و گراف‌های CUDA را در یک بسته اجرایی ثبت می‌کند. سپس موتوری به نام Helios که با Rust نوشته شده، همین بسته را بدون نیاز به نصب پایتون اجرا می‌کند. همه کامپایل‌ها و ثبت گراف‌ها پیش از شروع سرویس تمام می‌شود و حافظه‌ها و ظرفیت‌ها از قبل برنامه‌ریزی می‌شوند. این پروژه کل وضعیت یک گفت‌وگو، از جمله وضعیت بازگشتی در کنار حافظه نهان کلید و مقدار، را یک واحد در نظر می‌گیرد تا استفاده دوباره، انشعاب و ادامه دادن یک جلسه آن را خراب نکند.
Flare قصد ندارد همه مدل‌ها را اجرا کند. مستندات آن دستورالعمل‌هایی برای مدل‌هایی مانند Nemotron 3.5 Bolt، Qwen3.8 27B و Qwen3.8 Flash، DeepSeek V4 Flash و V4.1 Flash، MiMo V2.6 Pro، Step-5 Preview و Kimi K3 فهرست کرده است. در همه این دستورالعمل‌ها حافظه نهان کلید و مقدار به‌طور پیش‌فرض با دقت هشت‌بیتی FP8 ذخیره می‌شود. مدل‌هایی که در یک DGX Spark جا نمی‌شوند می‌توانند با موازی‌سازی تانسوری روی دو یا چهار دستگاه Spark که از طریق درگاه‌های ConnectX-7 به هم وصل شده‌اند اجرا شوند؛ یک دستگاه بسته را می‌سازد و یک فرمان هماهنگ‌کننده همه گره‌ها را راه می‌اندازد.
فایل راهنمای پروژه درباره جایگاه خود صریح است. این فایل می‌پذیرد که vLLM طیف بسیار گسترده‌تری از مدل‌ها، سخت‌افزارها و الگوهای استقرار را پوشش می‌دهد و Flare را گزینه‌ای تخصصی معرفی می‌کند که گستردگی را فدای سرویسی متمرکز بر مدل‌های منتخب و بارهای کاری محلی کرده است. آنچه هر کاربر می‌تواند اجرا کند به دستورالعمل‌های پشتیبانی‌شده و ظرفیت‌هایی که از پیش آماده شده محدود است. در DGX Spark که پردازنده گرافیکی و پردازنده مرکزی از یک حافظه مشترک استفاده می‌کنند، راهنما توصیه می‌کند بسته‌ها روی خود همان دستگاه ساخته شوند و بخشی از حافظه برای سیستم‌عامل کنار گذاشته شود.
هیچ اطلاعیه رسمی‌ای منتشر نشد. یک پست در انجمن توسعه‌دهندگان انویدیا در ۲۰ اکتبر خبر داد که این مخزن بدون هیچ اعلامی و با کمتر از ده ستاره منتشر شده است و نخستین کاربران در همان رشته ارقام توان عملیاتی خودشان را منتشر کردند. تحلیل‌های مستقل وب‌سایت‌های explainx.ai و Tokenstead نیز همان روز معماری آن را خلاصه کردند. تا ۲۲ اکتبر، مخزن حدود ۵۶۰ ستاره داشت، هیچ نسخه برچسب‌دار منتشر نکرده بود و فایل راهنمای آن هیچ رقمی درباره کارایی نداشت.
اهمیت این انتشار در این است که انویدیا دستگاه‌های DGX Spark و RTX PRO Blackwell را بستری برای عامل‌های هوش مصنوعی خصوصی و محلی معرفی کرده، در حالی که بیشتر کاربران آن‌ها به موتورهای اجتماعی مانند llama.cpp یا سرورهای عمومی مانند vLLM تکیه می‌کنند. یک موتور رسمی که برای جلسه‌های عامل‌ها طراحی شده، یعنی جایی که متن‌های طولانی و فراخوانی‌های پیاپی ابزار غالب است، گزینه تازه‌ای پیش روی این کاربران می‌گذارد و نشان می‌دهد انویدیا ساختار استنتاج محلی برای عامل‌ها را چگونه می‌بیند.
کاستی‌های مهمی همچنان باقی است. انویدیا هیچ آزمون کارایی منتشر نکرده، پروژه آشکارا یک نمونه اولیه است و ممکن است به‌سرعت تغییر کند، فقط روی لینوکس و سخت‌افزار SM120 و SM121 کار می‌کند و فایل راهنمای آن دستور نصبی ندارد و خواننده را به اسناد جداگانه طراحی و آماده‌سازی ارجاع می‌دهد.