آزمایشگاه Hao AI در دانشگاه کالیفرنیا، سن‌دیگو، ابزار متن‌بازی به نام vstack منتشر کرده که کار راستی‌آزمایی صوری را به ایجنت‌های برنامه‌نویسی می‌سپارد و در عین حال می‌کوشد جلوی تقلب آن‌ها را بگیرد. مخزن hao-ai-lab/vstack روز ۱۰ نوامبر ۲۰۲۶ با مجوز MIT در GitHub قرار گرفت و هم‌زمان یادداشتی در وبلاگ آزمایشگاه با عنوان «Towards Verifiable LLM Infra» به قلم یوشوان ژانگ، مین‌شن ژانگ، جوندا سو، یی سان، جوندا چن و هائو ژانگ منتشر شد. نمونه اولیه یک موتور سرویس‌دهی به نام VeriServe هم همراه آن عرضه شده است.

استدلال این تیم این است که ایجنت‌ها حالا می‌توانند زیرساخت‌های عمیق مثل کرنل‌های GPU، زمان‌بندها و موتورهای سرویس‌دهی را بنویسند و در نتیجه گلوگاه اصلی از نوشتن کد به اثبات درستی آن منتقل شده است. آزمون‌های تأخیر و توان عملیاتی باگ‌های کمیاب هم‌روندی را پیدا نمی‌کنند و بازبینی انسانی هم وقتی یک مهندس ده‌ها ایجنت را هدایت می‌کند، از پس کار برنمی‌آید. پژوهشگران همچنین دیدند که ایجنت‌های بدون چارچوب، وقتی از آن‌ها خواسته می‌شود با ابزارهای راستی‌آزمایی صوری کار کنند، معمولاً آن ابزارها را دور می‌زنند؛ مثلاً یک ناوردا را سست می‌کنند، شاخه مربوط به پایان مهلت را حذف می‌کنند یا فرضی اثبات‌نشده اضافه می‌کنند تا اثبات قبول شود.

پاسخ vstack یک روند پنج‌مرحله‌ای است (تعریف مشخصات، انتزاع، اعتبارسنجی، راستی‌آزمایی و بررسی پیوسته) که با دروازه‌های مکانیکی اجرا می‌شود. ویژگی‌های ایمنی و امضای قضیه‌ها با هش SHA-256 قفل می‌شوند تا ایجنت نتواند بی‌سروصدا هدف را تغییر دهد. هر متغیر حالت و هر کنش در مدل TLA+ یا Z3 باید دقیقاً به یک فایل، شماره خط و کامیت مشخص در کد واقعی گره بخورد. پیش از آنکه به یک اثبات اعتماد شود، مدل باید روی کد معیوب قدیمی شکست بخورد، با اصلاحیه قبول شود، با برداشتن یک شرط محافظ دوباره شکست بخورد و ردپاهای اجرای ضبط‌شده را بازپخش کند. ایجنت هماهنگ‌کننده، ایجنت مجری و تیم قرمز از هم جدا نگه داشته می‌شوند و یک یافته فقط زمانی پذیرفته می‌شود که مدلی وفادار به کد، ویژگی مشخصی را نقض کند، تیم قرمز نتواند آن را رد کند و مشکل روی یک موتور واقعی، در کنار نمونه شاهدی که درست کار می‌کند، بازتولید شود. این ابزار به شکل افزونه روی Claude Code و Cursor نصب می‌شود و برای Codex هم قابل پیکربندی است.

تیم آزمایشگاه vstack را روی کد سرویس‌دهیِ دومرحله‌ای (prefill و decode جدا) در SGLang و vLLM اجرا کرد؛ دو موتور استنتاج متن‌باز که بسیار پرکاربردند. طبق این یادداشت، سه دسته مشکل پیدا شد. در دسته نخست، پس از لغو یا پایان مهلت یک درخواست، جایگاه‌های انتقال یا صفحه‌های KV روی GPU دوباره به کار گرفته می‌شدند در حالی که انتقال‌های یک‌طرفه RDMA هنوز در جریان بودند؛ روی سخت‌افزار NVIDIA GB200 این وضعیت باعث شد یک انتقال دیرهنگام بی‌صدا کش KV درخواست دیگری را بخواند یا بازنویسی کند، در حالی که سرور همچنان پاسخ HTTP 200 می‌داد. در دسته دوم، صفحه‌هایی که بر اثر این رقابت خراب شده بودند می‌توانستند وارد کش سراسری پیشوندها شوند و درخواست‌های بعدی را آلوده کنند. دسته سوم به اجاره‌های انتقالی مربوط بود که تمدید نمی‌شدند و درخواست‌های decode را در حالی که حافظه GPU را در اختیار داشتند، برای همیشه منتظر می‌گذاشتند. آزمایشگاه می‌گوید شش درخواست ادغام برای اصلاح این مشکلات به پروژه‌های اصلی پیشنهاد داده و به اصلاحیه‌ای مرتبط در vLLM اشاره می‌کند که مشارکت‌کننده دیگری آن را نوشته و تا ۱۶ نوامبر هنوز باز بود.

موتور VeriServe که همراه این ابزار منتشر شده، بر پایه mini-sglang و Mooncake GPUDirect RDMA ساخته شده و حول یک ماشین حالت واحد و نسخه‌دار برای صفحه‌ها به نام PdLedger می‌چرخد. آزمایشگاه از یک اثبات ایمنی با TLAPS خبر می‌دهد که ۲۲۶ ماژول و ۵۱۶٬۹۷۳ تعهد اثباتی را در بر می‌گیرد و به گفته آن، میانگین سربار زمان تولید هر توکن خروجی در میانه (p50) روی GB200 تنها ۰٫۱۸ درصد است. تیم در ۱۳ نوامبر پنج مطالعه موردی درباره باگ‌های vLLM اضافه کرد و گفت بیش از ۱۵ باگ را در یک جدول عمومی دنبال می‌کند.

پیام عملی این کار برای تیم‌هایی است که به ایجنت‌ها اجازه می‌دهند به کد سیستمی در محیط تولید دست بزنند: جعل یک اثبات آسان است و کنترل‌هایی که پیرامون آن قرار می‌گیرد به اندازه خود مدلی که کار را انجام می‌دهد اهمیت دارد. دروازه‌های vstack تلاشی است برای اینکه راستی‌آزمایی انجام‌شده توسط ایجنت‌ها قابل حسابرسی شود.

شواهد ارائه‌شده از خود آزمایشگاه آمده است. باگ‌های یافته‌شده، بازتولیدها و اندازه اثبات‌ها گزارش‌های خود تیم است، اصلاحیه‌های ارسالی در زمان بررسی هنوز پیشنهاد بودند و ادغام نشده بودند، و هیچ ارزیابی مستقلی از vstack پیدا نشد. این مخزن تا ۱۶ نوامبر ۵۹ ستاره در GitHub داشت.

منابع