گروهی از پژوهشگران دانشگاه Tsinghua، شرکت Moonshot AI و مؤسسه Shanghai Qizhi بنچمارکی به نام TCSExam منتشر کرده‌اند که می‌خواهد بسنجد عامل‌های هوش مصنوعی واقعاً می‌توانند در علوم کامپیوتر نظری پژوهش کنند یا فقط به پرسش‌های درسی پاسخ می‌دهند. مخزن MoonshotAI/TCSExam روز ۳ نوامبر ۲۰۲۶ با مجوز Apache-2.0 در GitHub عمومی شد و مقاله همراه آن در ۵ نوامبر با شناسه 2611.07962 در arXiv قرار گرفت. نویسندگان مقاله Yifan Luo، Zhengying Liu، Yang Yuan، Zhilin Yang و دانشمند علوم کامپیوتر Andrew Chi-Chih Yao هستند.
نسخه کامل این بنچمارک ۱۰۰ مسئله دارد که متخصصان آن‌ها را بازبینی کرده‌اند و در چهار بخش جای گرفته‌اند. بیست مسئله قضیه‌هایی از مقاله‌های تازه این حوزه، منتشرشده میان ۲۰۲۳ تا ۲۰۲۶، هستند که باید در Lean 4 اثبات شوند. سی مسئله به مهندسی حل‌کننده مربوط است؛ عامل باید برنامه‌ای قابل استفاده دوباره بنویسد که روی نمونه‌های پنهانِ برگرفته از مسابقه‌ها و کتابخانه‌های شناخته‌شده سنجیده می‌شود. بیست مسئله دیگر ساختن اشیای ریاضی مانند کد، گراف و چینش است و نتیجه با رکوردهای ثبت‌شده مقایسه می‌شود. سی مسئله آخر حدس‌های باز هستند، از جمله حدس log-rank و حدس Ryser، که باید اثبات یا رد شوند. هر پاسخ را هسته Lean یا یک بررسی‌کننده اجرایی می‌سنجد، پس هیچ نمره‌ای به داوری یک مدل زبانی وابسته نیست. زیرمجموعه‌ای به نام Lite هم با پنج مسئله در هر بخش وجود دارد که تعداد تلاش‌ها را هشتاد درصد کم می‌کند، با همان سقف دوازده ساعت برای هر تلاش.
در نسخه کامل هشت عامل آزموده شدند. GPT-6 Astra که از طریق Codex اجرا شد، با ۷۱٫۹ امتیاز در شاخص TCSExam اول شد و پس از آن Kimi K3.1 Pro با ۵۷٫۴ و Kimi K3 با ۴۶٫۸ قرار گرفتند؛ امتیاز DeepSeek V4.1 Flash 1017، GLM-5.3، Qwen3.8 Max و Grok 4.6 تقریباً میان ۴۰ تا ۴۶ بود. Astra بدون هیچ لم میانی ۱۴ قضیه از ۲۰ قضیه را اثبات کرد، یعنی نرخ موفقیت هفتاد درصد، در حالی که هیچ رقیبی از ۳۸٫۳ درصد بالاتر نرفت. در نسخه Lite که Opus 5.5 ساخت Anthropic هم به آن اضافه شد، این مدل با ۷۲٫۳ در برابر ۶۷٫۰ برای Astra اول شد. به گفته نویسندگان، رتبه‌بندی هشت عامل مشترک در دو نسخه تقریباً یکسان است و ضریب همبستگی اسپیرمن آن ۰٫۹۳ است.
بخش حدس‌های باز گویاترین بخش گزارش است. هیچ عاملی با کار خودش به حل کامل هیچ حدسی نرسید. مقاله صریحاً توضیح می‌دهد که دو پاسخ پذیرفته‌شده از کجا آمدند: Kimi K3.1 Pro و DeepSeek V4.1 Flash 1017 که به اینترنت دسترسی داشتند، مثال‌های نقض و اثبات‌های Lean را که OpenAI پیش‌تر برای حدس Ryser و حدس MIRUP منتشر کرده بود پیدا کردند و با تعریف مسئله‌ها تطبیق دادند. این مسئله‌ها پیش از انتشار نتایج OpenAI نوشته شده بودند.
با این حال، آزمایش‌ها نتایج ریاضی محدودتری هم به همراه داشت که راستی‌آزمایی شده است. GPT-6 Astra حدس Alon-Jaeger-Tarsi را روی میدان پنج‌عضوی برای همه بُعدها تا ۹ اثبات کرد و نتایج پیشین را که تا بُعد ۷ و ۸ رسیده بودند گسترش داد؛ نویسندگان می‌گویند یک بررسی مستقل در Lean این نتیجه را فقط با اصول موضوعه استاندارد تأیید می‌کند. در بخش ساختن، Kimi K3 گرافی با ۱۲۴ رأس و ۶۳۰ یال بدون دور سه‌تایی و چهارتایی ساخت که یک یال از مرجع بیشتر است، و همچنین یک کد کوانتومی پایدارساز [[25,7,6]] یافت که فاصله مرجع را از ۵ به ۶ می‌رساند. Astra هم نشان داد کدهای دودویی به طول ۲۲ و کمینه فاصله ۱۰ حداکثر ۸۲ کلمه دارند و کران منتشرشده ۸۴ را بهبود داد.
برای کسانی که عامل هوش مصنوعی می‌سازند یا ارزیابی می‌کنند، این پروژه کاربرد عملی هم دارد. مخزن شامل منابع مسئله‌ها، دستورهای ساخت Docker و ابزارهای ارزیابی در قالب Harbor است، به‌طور پیش‌فرض از Kimi Code استفاده می‌کند و تنظیمات Claude Code، Codex و Grok Build را هم مستند کرده است. چون هر نتیجه از یک بررسی صوری یا اجرایی می‌گذرد، TCSExam اثبات واقعی را از متنی که فقط قانع‌کننده به نظر می‌رسد جدا می‌کند. رسانه‌های مستقلی مانند On The Wire، Aivio News و Crypto Briefing هم این مقاله را پوشش داده‌اند و بیشتر بر فاصله میان موفقیت در اثبات قضیه‌ها و ستون خالی حدس‌ها تأکید کرده‌اند.
چند ملاحظه مهم هم وجود دارد. امتیازها را خود تیم سازنده گزارش کرده و مقاله هنوز پیش‌انتشاری بدون داوری همتاست. دو نفر از نویسندگان در Moonshot AI کار می‌کنند که مدل‌های Kimi آن در نسخه کامل دوم و سوم شده‌اند. قضیه‌ها در اجراهای آزمایشی غربال شدند و بیش از ۴۰ مسئله پس از حل‌شدن کنار گذاشته شد؛ نویسندگان می‌پذیرند که این کار ممکن است مقایسه با عامل غربال‌گر را تحت تأثیر قرار دهد. معلوم نیست مدل‌ها در آموزش نمونه‌های عمومی حل‌کننده‌ها را دیده‌اند یا نه، Opus 5.5 فقط روی نسخه Lite اجرا شد و هر عدد عملکرد یک عامل کامل، شامل مدل و محیط اجرا و ابزارها، را نشان می‌دهد نه یک مدل خام.