پروژه متن‌باز llm-d روز سه‌شنبه ۲۰ اکتبر ۲۰۲۶ نسخه ۱٫۰ خود را منتشر کرد؛ نسخه‌ای که نگهدارندگانش آن را مهم‌ترین انتشار از آغاز کار می‌دانند. llm-d لایه‌ای بومی برای کوبرنتیز است که جلوی سرورهای مدل مانند vLLM و SGLang قرار می‌گیرد و تصمیم می‌گیرد هر درخواست استنتاج کجا اجرا شود. این پروژه در سال ۲۰۲۵ به ابتکار ردهت، آی‌بی‌ام، گوگل کلاد، کورویو و انویدیا آغاز شد، اکنون یکی از پروژه‌های مرحله Sandbox در بنیاد رایانش بومی ابری است و بیش از ۵۰۰ مشارکت‌کننده از بیش از ۲۵ سازمان دارد.
نسخه‌های پیشین بر کارایی تمرکز داشتند: فرستادن درخواست‌ها به نسخه‌هایی که پیشوند همان پرامپت را در حافظه نهان دارند، انتقال حافظه نهان کلید و مقدار به حافظه ارزان‌تر، جدا کردن مرحله پیش‌پردازش پرامپت که محاسبه‌بر است از مرحله تولید توکن که حافظه‌بر است، و پخش مدل‌های بزرگ ترکیب خبرگان روی شتاب‌دهنده‌های متعدد. نسخه ۱٫۰ به چیزی می‌پردازد که پروژه آن را عملیات روز دوم می‌نامد؛ یعنی پایدار نگه داشتن یک سرویس استنتاج مشترک برای مشتریان متعدد در طول زمان.
افزوده‌های اصلی جنبه عملیاتی دارند. سامانه تازه کنترل جریان، ترافیک را بر اساس مستأجر و اولویت دسته‌بندی می‌کند، در زمان اوج از بارهای کاری ممتاز محافظت می‌کند و کارهای دسته‌ای را در صف نگه می‌دارد، و به‌جای از کار افتادن ناگهانی، بار اضافه را به‌تدریج کنار می‌گذارد. مسیریاب اکنون یک نسخه پشتیبان آماده دارد و مؤلفه‌ای به نام DisaggregatedSet نسخه‌های مرحله پیش‌پردازش و تولید را یک واحد واحد در نظر می‌گیرد تا هر دو بدون از دست رفتن درخواست‌ها در جا به‌روزرسانی شوند. رابط پیکربندی هم به نسخه پایدار یک رسیده است. برای عامل‌ها، مسیریابی مبتنی بر نشست، گفت‌وگوی چندمرحله‌ای را روی همان نسخه‌ای نگه می‌دارد که حافظه نهانش را دارد و پشتیبانی از وضعیت Responses API باعث می‌شود عامل مجبور نباشد کل تاریخچه را دوباره بفرستد.
گوگل که همان روز نوشته جداگانه‌ای منتشر کرد، یک پردازشگر ناهمگام اضافه کرده که کارهای غیرفوری را از صف‌هایی مانند Pub/Sub یا Redis برمی‌دارد، و همچنین امکان تقسیم زمانی روی TPU و پردازنده‌های گرافیکی را فراهم کرده تا زمان‌های بیکاری در جریان یادگیری تقویتی پر شود. به گفته گوگل، این کار نرخ اشغال شتاب‌دهنده‌ها را از حدود ۴۰ درصد به بیش از ۷۰ درصد رساند. گوگل همچنین گزارش می‌دهد که در یک بار کاری کدنویسی با عامل روی تراشه‌های Ironwood، مسیریابی آگاه از حافظه نهان همراه با انتقال به حافظه میزبان، میانه زمان رسیدن نخستین توکن را بیش از ۸۵ درصد کاهش داد و توان عملیاتی را ۲٫۴ برابر یک سرویس ساده کوبرنتیز کرد و پلتفرم جمینای نرخ اصابت حافظه نهان پیشوند را از ۳۵ به ۷۰ درصد رساند.
پروژه فهرستی از کاربران عملیاتی از شرکت‌های مختلف ارائه کرده است. به گفته تیم llm-d، آمازون وب سرویسز تا ۷۰ درصد افزایش توکن در ثانیه روی SageMaker HyperPod گزارش کرده، تسلا و ردهت سه برابر شدن توان خروجی مدل Llama 3.1 70B را روی پردازنده‌های AMD MI300X اندازه گرفته‌اند و بخش پژوهش آی‌بی‌ام تا ۳۰۰۰ عامل کدنویسی هم‌زمان را روی ۵۴۴ پردازنده H100 انویدیا اجرا می‌کند. دیجیتال‌اوشن، زیرساخت ابری اوراکل، میسترال و جت‌برینز هم در این فهرست هستند. این پشته روی پردازنده‌های گرافیکی انویدیا، AMD و اینتل و نیز TPUهای گوگل اجرا می‌شود و ردهت آن را در محصول Red Hat AI عرضه می‌کند.
اهمیت این انتشار در آن است که استنتاج، و نه آموزش، در حال تبدیل شدن به بزرگ‌ترین بخش هزینه محاسبات هوش مصنوعی است و عامل‌ها حجم عظیمی از بافت را بارها بازاستفاده می‌کنند. یک زمان‌بند مشترک و بی‌طرف می‌تواند وابستگی به یک سازنده تراشه یا یک پلتفرم انحصاری را کاهش دهد.
همه ارقام کارایی را بنیان‌گذاران و کاربران llm-d روی بارهای کاری خودشان اندازه گرفته‌اند و هیچ‌کدام به‌طور مستقل سنجیده نشده است. برچسب ۱٫۰ نشانه پایداری رابط‌هاست، اما بهره‌برداران باید بلوغ هر مسیر سخت‌افزاری را جداگانه ارزیابی کنند و پشتیبانی از پلتفرم آینده Vera Rubin انویدیا هنوز در حال انجام است.