Computing Systems Lab یا CSL، گروه پژوهشی Huawei در سوئیس، ابزار کوانتیزه‌سازی MACaQ را متن‌باز کرده است؛ ابزاری که به گفتهٔ همین تیم چند ماه در داخل شرکت استفاده می‌شد. مخزن huawei-csl/MACaQ روز ۱۰ نوامبر ۲۰۲۶ با مجوز Apache-2.0 روی GitHub عمومی شد و هم‌زمان یک صفحهٔ معرفی و مقالهٔ «MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations» با شناسهٔ arXiv 2611.10649 هم منتشر شد. نویسندگان این کار Lorenz K. Muller، Philippe Bich، Chiara Boretti، Hyun-Min Chang، Jiawei Zhuang و Lukas Cavigelli هستند.

نام این ابزار به معنای کوانتیزه‌سازی کالیبره‌شدهٔ مستقل از مدل است و نقطهٔ قوت اصلی روش این است که هیچ‌گاه از محدودهٔ یک لایهٔ خطی بیرون نمی‌رود. بسیاری از روش‌های کم‌دقت جدید، فعال‌سازی‌ها را می‌چرخانند یا مقیاسشان را تغییر می‌دهند و سپس تبدیل معکوس را در لایه‌های مجاور ادغام می‌کنند؛ کاری که دستورالعمل را به یک معماری خاص گره می‌زند. MACaQ در عوض هنگام استنتاج یک مقیاس به‌ازای هر کانال و یک تبدیل هادامارد بلوکی کوچک را روی فعال‌سازی‌های هر لایه اعمال می‌کند و معکوس آن را در وزن‌های همان لایه جذب می‌کند. چون هیچ لایهٔ دیگری دست نمی‌خورد، می‌توان مدل را به‌صورت جریانی کالیبره و کوانتیزه کرد و در هر لحظه فقط یک لایه را در حافظه نگه داشت.

مقاله علاوه بر این روشی به نام Flip-Refinement معرفی می‌کند؛ گامی از نوع کاهش مختصاتی که با اتکا به ماتریس هسین، کدهای منفرد FP4 را به مقادیر قابل نمایش مجاور جابه‌جا می‌کند و جایگزین به‌روزرسانی‌های سبک GPTQ می‌شود. قالب اصلی هدف MXFP4 با وزن‌ها و فعال‌سازی‌های چهار بیتی یا W4A4 است. به گفتهٔ نویسندگان، اجرای برخط تبدیل‌های فعال‌سازی روی Qwen3-32B در vLLM تنها ۲٫۳ درصد سربار کلی نسبت به MXFP4 ساده ایجاد می‌کند.

مخزن بر اساس موتور اجرا سازمان‌دهی شده است. مسیر llama.cpp برای مدل‌های متنی متراکم و ترکیب متخصصان، از خانوادهٔ Qwen3 و OLMoE و مدل‌های دیگر، فایل‌های GGUF دو، سه و چهار بیتی تولید می‌کند و مسیر vLLM چک‌پوینت‌های W4A4 یا فقط وزن‌کوانتیزه را سرویس می‌دهد. مسیر Diffusers مولدهای تصویر، ویدیو و صدا مانند FLUX.2-klein-4B و Wan2.2 را پوشش می‌دهد و مسیر PyTorch به مدل‌های گفتار اختصاص دارد. بخشی هم با عنوان Ascend به درخواست‌های ادغام هسته‌های CANN ارجاع می‌دهد که هنوز در انتظارند؛ مخزن تصریح می‌کند اجرای کامل مدل‌ها روی شتاب‌دهنده‌های خود Huawei هنوز به یکپارچه‌سازی با یک موتور استنتاج Ascend نیاز دارد.

حالت جداگانه‌ای به نام MACaQ-R کدهای وزن را درون یک فایل GGUF موجود بهینه می‌کند و قالب‌های بومی و مقیاس‌های بلوکی آن را دست‌نخورده نگه می‌دارد؛ بنابراین خروجی روی نسخهٔ معمولی llama.cpp اجرا می‌شود. CSL برای Qwen3.6-35B-A3B با حجم یکسان ۲۲٫۳۶ گیگابایت، واگرایی KL نسبت به FP16 را برای فایل Q4_K_XL خود ۰٫۰۱۳۳۶۷ و برای نسخهٔ پرکاربرد UD-Q4_K_XL شرکت Unsloth برابر ۰٫۰۱۵۷۳۱ گزارش کرده است.

اعداد اصلی مقاله هم ادعای خود نویسندگان است. آن‌ها از سرگشتگی کمتر نسبت به DuQuant++ و MR-GPTQ خبر می‌دهند، می‌گویند بهترین سرگشتگی این روش‌ها روی Llama-3-8B را با زمانی ۱۱ برابر کوتاه‌تر به دست آورده‌اند و یک مدل Qwen3.5 با ۱۲۲ میلیارد پارامتر را در ۶۴ دقیقه و با ۳۲٫۵ گیگابایت حافظهٔ GPU کوانتیزه کرده‌اند. سرگشتگی این مدل روی WikiText-2 از ۵٫۰۶ به ۵٫۱۴ رسید و نسخهٔ ۷۴ گیگابایتی MXFP4 روی یک GPU تکی ۹۶ گیگابایتی جا می‌گیرد که وزن‌های اصلی را در خود جا نمی‌داد.

این عرضه به‌سرعت در میان کاربران استنتاج محلی دیده شد. رشته‌ای در Hacker News با عنوان «Huawei releases MACaQ, its internal quantizer for local inference» در کمتر از یک روز از ۱۰۰ امتیاز گذشت و برخی کاربران خبر دادند که دیگران مشغول ساخت فایل‌های GGUF خود با MACaQ هستند. هنوز هیچ ارزیابی مستقلی منتشر نشده و ادعاهای کیفیت و سرعت فعلاً فقط بر مقاله، صفحهٔ معرفی و مخزن CSL تکیه دارد. نتایج همچنین به دادهٔ کالیبراسیون، خانوادهٔ مدل و سخت‌افزار بستگی دارد؛ نکته‌ای که نویسندگان با درخواست متن کالیبراسیون نماینده در همهٔ مسیرها به آن اذعان کرده‌اند.

منابع