Google می‌خواهد بداند ایجنت‌های هوش مصنوعی می‌توانند کار یک مهندس شاغل را انجام دهند یا فقط از پس پرسش‌های کتاب درسی برمی‌آیند. تیم Google AI & Infrastructure روز ۳ نوامبر ۲۰۲۶ از Physical-Engineering's Last Exam یا PLE رونمایی کرد؛ یک بنچمارک و رقابت باز که با همکاری Mercor، شرکتی با شبکه‌ای از متخصصان، ساخته شده است. نخستین نتایج چندان امیدوارکننده نیست: همه مدل‌های پیشرو در مجموعه آزمون خصوصی زیر ۵۰ درصد نمره گرفتند.
PLE شامل ۸۵ کار طولانی در چهار رشته است: ۳۰ کار مکانیک، ۲۷ کار برق، ۱۸ کار عمران و ۱۰ کار سازه. به‌جای یک پرسش ساده، ایجنت در یک پوشه پروژه درون کانتینر قرار می‌گیرد که روی محیط متن‌باز Archipelago از Mercor ساخته شده و به آنچه یک مهندس سر کار دریافت می‌کند شباهت دارد. هر کار به‌طور میانگین ۶۱ فایل دارد و کل مجموعه ۵۱۷۰ فایل؛ از PDF و صفحه‌گسترده و ایمیل تا نقشه‌های دوبعدی CAD، مدل‌های سه‌بعدی BIM و نسخه‌های اصلاحی اسناد. ایجنت باید ضوابط حاکم و محدودیت‌های فیزیکی را پیدا کند، محاسبات را انجام دهد و خروجی‌هایی تحویل دهد که یک مهندس دارای مجوز بتواند تأیید کند؛ مثلاً تعیین اندازه تابلو برق و جدول کابل‌ها یا طراحی جانمایی یک مجموعه با تسطیح زمین و شبکه تأسیسات.
نمره‌دهی عامدانه سخت‌گیرانه است. ایجنت فقط وقتی امتیاز می‌گیرد که طرحش پیش از هر چیز از همه بررسی‌های قطعی ایمنی و امکان‌پذیری عبور کند و پس از آن رعایت ضوابط و بهینگی هزینه سنجیده می‌شود. اسکریپت‌های خودکار خروجی‌های عددی را بررسی می‌کنند و یک مدل زبانی، کار باز را بر اساس معیارهای تعیین‌شده متخصصان داوری می‌کند. هر کار بدون دسترسی به اینترنت و حداکثر شش ساعت اجرا می‌شود و هر ترکیب مدل و محیط سه بار آزموده می‌شود.
۴۴ کار را مهندسان شبکه Mercor نوشته‌اند و پوشه‌ها، صورت مسئله‌ها و معیارهای نمره‌دهی را خودشان ساخته‌اند. ۴۱ کار دیگر به‌صورت مشترک تهیه شده است: Google چرخه‌ای رقابتی راه انداخت که در آن یک ایجنت کار را می‌نوشت و ایجنت دیگری می‌کوشید آن را دور بزند و سپس مهندسان هر کار را تأیید و دشوارتر کردند. ۲۹ کار همراه ابزارهای نمره‌دهی و کانتینر ارزیابی در GitHub منتشر شده و ۵۶ کار باقی‌مانده مجموعه پنهان رقابت در ple-bench.com را تشکیل می‌دهد؛ جایی که ۱۳ مدل با حمایت Google رایگان اجرا می‌شوند. مقاله‌ای که این بنچمارک را شرح می‌دهد در arXiv در دسترس است.
چهارده مدل پیشرو با هفت محیط عمومی ایجنت، از جمله Antigravity، Claude Code، Codex، Hermes، OpenCode، OpenHands و Pi ارزیابی شدند. به گفته Mercor، در محیط بومی هر مدل، Claude Opus 5.5 در Claude Code با ۴۸٫۳ درصد اول شد و پس از آن GPT 6 Astra در Codex با ۴۵٫۸ درصد و Gemini 4 Argon با ۴۰٫۶ درصد قرار گرفتند. Google می‌گوید قوی‌ترین پیکربندی در کارهای مشترک ۹۱ درصد قیدها را جداگانه رعایت کرد، اما تنها ۴۱٫۳ درصد خروجی‌هایش از همه بررسی‌های قطعی گذشت. Mercor می‌افزاید بهترین اجراها به‌طور میانگین حدود ۲۷ میلیون توکن و ۶۳ دقیقه برای هر کار مصرف کردند.
مهم‌ترین یافته به منشأ عملکرد مربوط است. اختلاف نمره میان مدل‌ها تا ۵۰ امتیاز می‌رسد، در حالی که یک مدل ثابت در محیط‌های مختلف به‌طور میانه فقط حدود ۳ امتیاز جابه‌جا می‌شود؛ هرچند محیط اجرا هزینه را به‌شدت تغییر می‌دهد. جدول عمومی نشان می‌دهد Opus 5.5 با Antigravity برای هر کار ۴۲٫۳۲ دلار و با OpenCode ۱۲٫۸۷ دلار هزینه دارد.
باید با احتیاط به این نتایج نگاه کرد. PLE را شرکت‌هایی ساخته‌اند که خود در این بازار ذی‌نفع‌اند، کارها تازه‌اند و هنوز به‌طور گسترده بازتولید نشده‌اند و جدول امتیازها Claude Opus 5.5 را داور معیارها معرفی می‌کند که از همان خانواده مدل صدرنشین است. کوچک بودن بخش عمومی هم با شروع رقابت خطر بیش‌برازش را بالا می‌برد. با این همه، این آزمون به خلأیی واقعی اشاره می‌کند، چون بیشتر ارزیابی‌های ایجنت‌ها در حد نرم‌افزار می‌مانند، و معیاری ملموس به دست توسعه‌دهندگان می‌دهد تا ببینند ایجنت‌ها هنوز چقدر با مهندسی‌ای که باید هم ایمن و هم درست باشد فاصله دارند.