استنتاج_LLM

پژوهش

آزمایشگاه Han در MIT سامانه Evolving Infra را متن‌باز کرد؛ سرویس‌دهی LLM متناسب با ایجنت‌ها که به گفته پژوهشگران تأخیر را تا ۴٫۱ برابر کمتر از NVIDIA Dynamo می‌کند

تیمی به سرپرستی هائو کانگ و سانگ هان، سامانه Evolving Infra را ۱۰ نوامبر ۲۰۲۶ همراه با مقاله arXiv 2611.12304 در GitHub منتشر کرد. این سامانه به گره‌ها اجازه می‌دهد بدون راه‌اندازی دوباره میان دو مرحله prefill و decode ج…