Recherche
Le MIT Han Lab publie en open source Evolving Infra, un système de service de LLM adapté aux agents qui réduirait la latence jusqu'à 4,1 fois face à NVIDIA Dynamo
Une équipe menée par Hao Kang et Song Han a mis en ligne Evolving Infra sur GitHub le 10 novembre 2026, avec l'article arXiv 2611.12304. Le système laisse les nœuds basculer entre prefill et decode sans redémarrage et s'…