شرکت Sakana AI در ۱۱ سپتامبر دو نسخه تازه از خانواده Fugu را عرضه کرد: Fugu Max برای کاهش هزینه استفاده از چند مدل و Fugu Ultra v2 برای کارهایی که کیفیت خروجی در اولویت است. هر دو از همان رابط سازگار با OpenAI استفاده میکنند، اما پشت این رابط، سامانهای قرار دارد که بسته به درخواست چند مدل مختلف را به کار میگیرد.
برای تیمهای فنی، نکته اصلی فقط نتیجه چند آزمون نیست. Sakana بخشی از تصمیمگیری درباره انتخاب مدل را از برنامه مشتری به لایهای منتقل کرده که خودش مدیریت میکند. این کار میتواند پیادهسازی را سادهتر کند، اما در عوض وابستگی تازهای به نحوه انتخاب مدلها و قواعد همان سرویس ایجاد میشود.
هزینه مسیریابی میان مدلها حالا از قبل مشخص است
قیمت Fugu Max برای هر یک میلیون توکن ورودی ۲ دلار، برای خروجی ۶ دلار و برای ورودی ذخیرهشده در حافظه نهان ۰٫۲۵ دلار است. Sakana میگوید مجموعه مدلهای در دسترس Max را گسترش داده و مدلهای متنباز و تخصصی، از جمله اعضایی از خانواده Nemotron انویدیا، را نیز وارد این مجموعه کرده است.
طبق ارزیابی خود شرکت، Max در شش آزمون بهترین امتیاز کلی را به دست آورده و در هفت مورد از ده آزمون، نسبت هزینه به عملکرد را بهتر کرده است. این اعداد حاصل ارزیابی Sakana هستند و نباید بهعنوان تأیید مستقل برتری محصول تلقی شوند. یکی از آزمونها، SWEFish، نیز بر مسائل برنامهنویسی داخلی خود Sakana تکیه دارد.
از دید عملیاتی، مدل قیمتگذاری اهمیت بیشتری دارد. تیمی که خودش میان چند ارائهدهنده مسیریابی میکند، معمولاً باید هزینه هر انتخاب را جداگانه محاسبه کند. Fugu Max این پیچیدگی را پشت یک تعرفه ثابت پنهان میکند.
در Ultra v2 کیفیت بالاتر هدف اصلی است
Fugu Ultra v2 برای هر یک میلیون توکن ورودی ۵ دلار و برای خروجی ۳۰ دلار قیمت دارد. اگر طول زمینه از ۲۷۲ هزار توکن بیشتر شود، نرخ ورودی و خروجی افزایش پیدا میکند. Sakana برای این نسخه امتیاز ۴۸٫۳ در Chartography و ۷۴٫۳ در DeepSWE گزارش کرده است. این نتایج نیز ادعای خود شرکت درباره ارزیابیهایش هستند.
معماری Fugu با یک مدل معمولی فرق دارد. خود Fugu نقش هماهنگکننده را دارد و تصمیم میگیرد چه مدلهایی برای حل درخواست به کار گرفته شوند و چگونه با هم همکاری کنند. گزارش فنی پروژه توضیح میدهد که برای آموزش این هماهنگکننده از تنظیم مدل، روشهای تکاملی و یادگیری تقویتی استفاده شده است.
به همین دلیل، نام نسخهای مانند fugu-ultra-v2.0 تمام هویت سامانه در حال اجرا را نشان نمیدهد. رفتار واقعی به هماهنگکننده و مجموعه مدلهای پشت آن وابسته است. Sakana نیز گفته با ورود مدلهای مرزی جدید، نسخههای Fugu را دوباره آموزش و ارزیابی میکند.
وابستگی از یک مدل به لایه هماهنگکننده منتقل میشود
برداشت Aipolix این است که Fugu وابستگی به فروشنده را حذف نمیکند، بلکه شکل آن را تغییر میدهد. برنامه دیگر مستقیماً به یک مدل واحد گره نمیخورد، اما به سیاست انتخاب مدل، ترکیب مجموعه مدلها، قیمتگذاری و شیوه بهروزرسانی Sakana وابسته میشود.
برای حاکمیت داده این تفاوت مهم است. سازمانی که باید بداند کدام ارائهدهنده میتواند داده را دریافت کند، پردازش در چه محیطی انجام میشود یا چه مدلهایی مجاز هستند، با داشتن یک نشانی API واحد از این پرسشها خلاص نمیشود. فقط ممکن است پاسخ آنها کمتر در معرض دید باشد. Sakana در نسخه معمول Fugu امکان کنار گذاشتن برخی مدلها را برای رعایت الزامات حریم خصوصی و انطباق فراهم کرده، اما درباره Ultra میگوید مجموعه مدلها ثابت است تا عملکرد وعدهدادهشده حفظ شود.
برای بازتولید نتایج نیز همین نکته مطرح است. اگر مجموعه مدلها یا هماهنگکننده تغییر کند، اجرای بعدی لزوماً با همان شرایط قبلی انجام نمیشود. بنابراین تیم فنی باید ترکیب مدلها و تنظیمات هماهنگکننده را بخشی از هویت نسخه مستقر بداند، نه فقط نام عمومی مدل را.
در پرتغال و اتحادیه اروپا فعلاً قابل استفاده نیست
صفحه رسمی محصول میگوید Fugu هنوز در اتحادیه اروپا و منطقه اقتصادی اروپا ارائه نمیشود و Sakana در حال آمادهسازی الزامات GDPR و مقررات منطقهای است. در نتیجه، توسعهدهندگان و شرکتهای پرتغالی فعلاً نمیتوانند این محصول را بهعنوان گزینه عملی برای استقرار محلی خود در نظر بگیرند.
این محدودیت با ماهیت محصول ارتباط مستقیم دارد. وقتی یک درخواست ممکن است میان چند مدل جابهجا شود، محل پردازش، هویت ارائهدهنده و قواعد انتقال داده اهمیت بیشتری پیدا میکنند. برای کاربران پرتغالی، پرسش تعیینکننده این نیست که قیمت هر میلیون توکن چقدر پایینتر است؛ مهمتر این است که هنگام ورود محصول به بازار اروپا چه میزان کنترل و شفافیت درباره مدلهای پشت سرویس ارائه خواهد شد.
پیش از استفاده چه چیزهایی باید روشن شود
Fugu Max تجربه استفاده از چند مدل را شبیه خرید یک مدل واحد میکند و این از نظر مهندسی مزیت واقعی است. با این حال، ارزیابی آن باید در سطح کل سامانه انجام شود: چه مدلهایی حق دریافت داده دارند، تغییر مجموعه مدلها چگونه نسخهبندی میشود، هزینه داخلی چگونه محاسبه میشود، تصمیم مسیریابی تا چه حد قابل مشاهده است و حذف یک مدل از مجموعه چه اثری دارد.
Sakana یک API واقعی و مستندات فنی برای معماری Fugu ارائه کرده است؛ بنابراین با یک نمایش آزمایشی صرف روبهرو نیستیم. بخش حلنشده ماجرا این است که آیا کنترلهای عملیاتی و انطباقی این لایه هماهنگکننده همزمان با ادعاهای عملکرد و کاهش هزینه رشد خواهند کرد یا نه.