یک تیم پژوهشی وابسته به آزمایشگاه Han در MIT سامانهای به نام Evolving Infra را متنباز کرده است؛ سامانهای برای سرویسدهی مدلهای زبانی بزرگ که از ابتدا برای ترافیک ایجنتها طراحی شده است. مخزن mit-han-lab/EvolvingInfra روز ۱۰ نوامبر ۲۰۲۶ با مجوز MIT در GitHub منتشر شد، یک روز پس از آنکه مقاله «Evolving Infra: Agent-Adaptive LLM Serving at Scale» با شناسه arXiv 2611.12304 ثبت شد. نویسندگان مقاله هائو کانگ، ویلی شو، زییانگ لی، ژنگ دو، هانچن لی، تیان شیا، سانگ بیان، توشار کریشنا، هویزی مائو، یون استویکا و سانگ هان هستند و در README پروژه، Georgia Tech، دانشگاه ایلینوی در اربانا-شمپین، UC Berkeley، شرکتهای NVIDIA و OpenAI و دانشگاه MIT بهعنوان وابستگیهای سازمانی آمدهاند.
نقطه شروع کار این است که ایجنتهای برنامهنویسی، ریاضی و کار با رایانه اکنون سهم بزرگی از تقاضای استنتاج را میسازند و رفتارشان با یک چت معمولی فرق دارد. این ایجنتها زنجیرههای طولانی از درخواستها میفرستند، زیرایجنت راه میاندازند و هر از گاهی تاریخچه خود را فشرده میکنند. سرورهای فعلی که مراحل prefill و decode را از هم جدا میکنند، پردازندههای گرافیکی را به گروههای ثابت تقسیم میکنند و کش KV را با نشانههایی کلی مدیریت میکنند؛ به گفته پژوهشگران، نتیجه این روش عدم توازن بار و پاک شدن بافتی است که ایجنت قرار بود بهزودی دوباره از آن استفاده کند.
سامانه Evolving Infra سه تغییر اصلی ایجاد میکند. اول، تخصیص توان محاسباتی را از ذخیرهسازی کش KV جدا میکند: هر گره میتواند هر دو مرحله یک درخواست را اجرا کند و بافت ذخیرهشده در حافظه مشترک میزبان میماند که همه گرهها به آن دسترسی دارند؛ بنابراین یک گره ظرف چند ثانیه و بدون راهاندازی دوباره نقشش را عوض میکند. دوم، یک برنامهریز با مدلی هزینهای که زیرایجنتها و مدیریت بافت را هم در نظر میگیرد، نسبت میان دو مرحله را در حین کار سرویس تنظیم میکند. سوم، یک مدیر توزیعشده کش KV دنبال میکند که کدام شاخههای هر ایجنت هنوز به کدام بافت ارجاع میدهند. این مدیر ابتدا چیزهایی را پاک میکند که هیچ شاخهای به آنها نیاز ندارد، مثل تاریخچههایی که با فشردهسازی جایگزین شدهاند یا بافت زیرایجنتهای تمامشده، و آنچه را که دوباره به کار میآید نگه میدارد.
اعداد اصلی از آزمایشهای خود پژوهشگران به دست آمده است. آنها با سرویسدهی مدلهای GLM-5.2 و Kimi K2.6 برای بارهای کاری Claude Code، مسائل ریاضی Putnam و کار با رایانه در OSWorld روی پردازندههای GB300، توان عملیاتی را ۱٫۱۰ تا ۲٫۷۳ برابر Dynamo، چارچوب سرویسدهی تولیدی NVIDIA، گزارش کردهاند. به گفته آنها اتلاف استفاده دوباره از KV بین ۸۱ تا ۹۵ درصد کم شده، میانگین تأخیر سرتاسری تا ۴٫۱ برابر و زمان رسیدن نخستین توکن در صدک ۹۵ تا ۱۴ برابر کاهش یافته است. در آزمایشها هر تغییر مرحله بهطور میانگین ۶٫۲ ثانیه طول کشیده، در حالی که راهاندازی دوباره یک گره Dynamo حدود ۷۵۴ ثانیه زمان برده است. وقتی ترکیب بار کاری از ایجنتهای ریاضی به ایجنتهای کار با رایانه تغییر کرد، سامانه تقسیم منابع را بهصورت برخط تنظیم کرد و به ۲٫۱ برابر توان عملیاتی Dynamo رسید.
کد منتشرشده فقط ضمیمهای برای مقاله نیست. موتور اجرا و مسیریاب نوشتهشده با Rust از SGLang مشتق شدهاند و مجوز Apache 2.0 خود را حفظ کردهاند، فهرست KV بر پایه نمایهساز Dynamo ساخته شده و یک ایمیج اجرایی برای سرورهای H200، B300 و GB300 آماده است. نکته کمسابقه این است که مخزن طوری طراحی شده که ایجنتهای برنامهنویسی آن را اداره کنند: استقرار، اتصال ابزارها، بازتولید آزمونها و عیبیابی به شکل مهارتهایی نوشته شدهاند که ابزارهایی مثل Claude Code یا Codex گامبهگام دنبال میکنند. ردپاهای ضبطشده ایجنتها هم در Hugging Face منتشر شده تا دیگران بتوانند آزمونها را دوباره اجرا کنند.
برای تیمهایی که ناوگانی از ایجنتها را روی پردازندههای گرافیکی خودشان اجرا میکنند، این کار به یکی از عوامل واقعی هزینه میپردازد. نشستهای ایجنت در طول نوبتهای متعدد از بافتهای طولانی دوباره استفاده میکنند؛ پس نگه داشتن کش KV درست در حافظه و متوازن کردن ظرفیت دو مرحله با تغییر ترکیب بار، مستقیماً بر تأخیر و بهرهوری سختافزار اثر میگذارد.
این نتایج هنوز به تأیید بیرونی نیاز دارند. همه اعداد اندازهگیریهای خود پژوهشگران روی بارهای کاری و خوشههای انتخابی خودشان است، مقاله هنوز داوری همتا نشده و تا زمان نگارش این گزارش هیچ آزمون مستقل یا تحلیل رسانهای پیدا نشد. بازتولید نتیجه Claude Code به نُه گره پردازنده گرافیکی برای حدود دو ساعت نیاز دارد و همین، راستیآزمایی را برای بیشتر خوانندگان دشوار میکند. این مخزن تا ۱۶ نوامبر ۵۴ ستاره در GitHub داشت.