متنباز
FreeToken مدلهای عظیم MoE را روی GPUهای مصرفی اجرا میکند
FreeToken با اجرای تطبیقی CPU-GPU و caching معنایی، مدلهای MoE از 35B تا 753B را روی سختافزار مصرفی و workstation سرو میکند.
FreeToken با اجرای تطبیقی CPU-GPU و caching معنایی، مدلهای MoE از 35B تا 753B را روی سختافزار مصرفی و workstation سرو میکند.