Will DePue که گروه پژوهشی غیرانتفاعی Unemployment Labs را اداره میکند و پیشتر در OpenAI کار کرده بود، روز ۱۲ نوامبر گزارشی تحلیلی منتشر کرد که مدعی است شش مدل تازه از چهار شرکت چینی هوش مصنوعی روی GPUهای Nvidia Blackwell مقداردهی اولیه شدهاند. این شرکتها DeepSeek، Moonshot AI، MiniMax و Ant Group هستند. صادرات تراشههای خانواده Blackwell به چین مجوز آمریکایی لازم دارد و گزارش میگوید گزارشی از صدور چنین مجوزی دیده نشده است. TechCrunch، The Register و The Decoder روز ۱۳ نوامبر این یافتهها را پوشش دادند.
روش کار بر یک ویژگی فنی در آغاز زندگی هر مدل تکیه دارد. پیش از آموزش، میلیاردها وزن مدل مقدارهای تصادفی اولیه میگیرند که PyTorch از روی یک بذر میسازد و کار را میان رشتههای اجرایی بسیار زیادی در GPU پخش میکند. تعداد این رشتهها به شمار چندپردازندههای تراشه بستگی دارد: ۱۳۲ در تراشههای Hopper مانند H100، H200 و H800، ۱۴۸ در B200 و B300، و ۱۵۲ در GB200 و GB300. بنابراین یک بذر یکسان روی تراشههای متفاوت مقدارها را در جاهای متفاوتی مینشاند. بعضی وزنها، مثل ردیفهای مربوط به نمادهایی که هرگز در آموزش دیده نشدهاند، تقریباً دستنخورده میمانند و وزنهای آموزشدیده هم ردی کمرنگ از مقدار آغازین نگه میدارند. گزارش حدود شش تریلیون ترکیب بذر و چیدمان را جستوجو کرده و هر تطابق را روی وزنهایی آزموده که از جستوجو کنار گذاشته شده بودند.
بر پایه این گزارش، DeepSeek-V4-Flash و MiniMax-M3 با چیدمان ۱۴۸ واحدی میخوانند، و DeepSeek-V4-Pro، Kimi K3، Kimi K3.1-Pro و Ling-3.1-flash با چیدمان ۱۵۲ واحدی. نسخههای قدیمیتر همین آزمایشگاهها، از جمله DeepSeek-V3، Kimi K2.5، MiniMax-M2.7 و Ling-3.0-flash، نشان Hopper دارند. تازهترین مدلهایی که نویسنده از Alibaba، Zhipu، Tencent، Xiaomi و StepFun توانسته بخواند هم Hopper بودهاند و LongCat-2.0 از Meituan اثری از Nvidia نشان نداده است، که با اظهار این شرکت درباره آموزش روی ابرخوشههای ASIC سازگار است. گزارش قویترین شاهد خود برای هر مدل Blackwell را میان ۴۹ تا ۱۳۸۵ انحراف معیار میداند، در برابر حدود ۸ که در کل جستوجو تنها از شانس انتظار میرفت، و میگوید روش با هر ۲۴ مدلی که سازندگانشان سختافزار را علناً اعلام کرده بودند همخوانی داشته است.
گزارش برآوردی از مقیاس هم میدهد، با احتیاطهای فراوان. آموزش پنج مدل را روی هم حدود ۱۲ هزار GPU از نوع Blackwell تخمین میزند، با Kimi K3 نزدیک ۴۵۰۰ و DeepSeek-V4-Pro نزدیک ۳۰۰۰، و با قیمت تقریبی ۷۰ هزار دلار برای هر GPU، بزرگترین خوشهها را ۲۰۰ تا ۳۰۰ میلیون دلار و مجموع پنج مدل را بیش از ۵۰۰ میلیون دلار حساب میکند. نویسنده خودش میگوید به این ارقام اطمینان ندارد، چون به بازده، تعداد توکن و طول دورههای آموزشی وابستهاند که هیچ آزمایشگاهی منتشر نکرده، و بازه اعلامشده برای مجموع از ۷ هزار تا ۲۲ هزار GPU است. بازنگری ۱۲ نوامبر ارقام پایینتر نسخه نخست را عوض کرد: ۲ تا ۳ هزار GPU و ۱۵۰ تا ۲۰۰ میلیون دلار برای بزرگترین خوشه.
محدودیتها را خود گزارش صریح گفته است. اثر انگشت فقط سختافزاری را نشان میدهد که وزنهای آغازین را تولید کرده، نه همه تراشههایی که بعداً در آموزش کمک کردهاند، و نمیگوید تراشهها کجا هستند یا مالکشان کیست. سامانههای Blackwell را میشود از مراکز داده بیرون از چین اجاره کرد، پس این شاهد بهتنهایی قاچاق یا نقض مقررات صادرات را ثابت نمیکند. یک AMD MI300X که به ۱۴۸ یا ۱۵۲ واحد محدود شود میتواند همان چیدمانها را بسازد، برای همین نویسنده دنبال تفاوتهای عددی ریز میان دو سازنده رفته است: در DeepSeek-V4-Flash وزن منتشرشده در ۳۶۳ مورد از ۳۷۷ مقدار متفاوت با نتیجه Nvidia یکی بود و در هیچ موردی با AMD. او توضیح AMD را برای پنج مدل دیگر بسیار بعید میداند، اما نتوانسته همان آزمون را روی آنها اجرا کند.
راستیآزمایی مستقل فقط بخشی از کار را پوشش میدهد. Institute for Progress مخزنی در GitHub گذاشته که بخشی از مطالعه را دوباره اجرا میکند. این مخزن میگوید وزنهای دانلودشده با چکیدههای ثبتشده نویسنده میخوانند، الگوی آغازین DeepSeek-V3-Base روی H200 و DeepSeek-V4-Flash و MiniMax-M3 روی B200 بازتولید شد، و ردّ مقدارهای اولیه در وزنهای آموزشدیده DeepSeek-V4-Flash هم دیده شد. Kimi K3 آزموده نشد، چون به GPU ۱۵۲ واحدی نیاز دارد که در دسترس نبود، و بیشتر مدلهای باقیمانده نمونه یا تنظیمات عمومی لازم برای بازاجرا روی GPU نداشتند. DePue میگوید پژوهشگران ارشد OpenAI و Anthropic نتیجه را تأیید کردهاند؛ این ادعا از خود اوست، آنطور که The Register و The Decoder نقل کردهاند، و تأیید مستقیمی دیده نشد.
TechCrunch گزارش را کنار خبرهای Nvidia در همین هفته گذاشت، از جمله کنارهگیری Jensen Huang و بررسیها درباره Megaspeed، و یادآوری کرد که یک مشاور کاخ سفید در ژوئیه گفته بود Moonshot AI از تراشههای ممنوعه Nvidia استفاده کرده است. The Register از چهار لایحه در کنگره نوشت که میخواهند دسترسی چین به سختافزار پیشرفته هوش مصنوعی را محدودتر کنند و یکیشان شکاف اجاره را هدف گرفته است. در هیچیک از پوششهای بررسیشده پاسخی از چهار آزمایشگاه نبود، و گزارش از رسانهها میخواهد یافتهها را به DePue نسبت دهند.