دستیارهای کدنویسی مبتنی بر هوش مصنوعی در پایتون و جاوااسکریپت عملکرد خوبی دارند، اما وقتی پای COBOL یا Fortran به میان می‌آید، کارشان به‌مراتب ضعیف‌تر می‌شود. OpenAI حالا کوشیده این فاصله را با عدد نشان دهد. این شرکت در نوشته‌ای به تاریخ ۱۹ اکتبر ۲۰۲۶ دو ارزیابی تازه را شرح داده که بر زبان‌هایی مانند COBOL، Fortran، OCaml و Visual Basic تمرکز دارند. یکی از این دو به‌عنوان معیاری باز در GitHub منتشر شده و به ادعای شرکت، مدل‌های کنونی‌اش در هر دو آزمون با فاصله زیادی از نسل GPT-5.6 Sol جلو افتاده‌اند.
آزمون نخست، MultiLangBench، از مدل می‌خواهد در زبانی مشخص یک موتور پایگاه داده سازگار با SQLite بنویسد. داوری با آزمون‌هایی انجام می‌شود که از مجموعه رسمی خود SQLite اقتباس شده‌اند. چون خروجی همه زبان‌ها یکسان است، یعنی یک فایل پایگاه داده تغییریافته، می‌توان همان بررسی‌ها را چه برای موتوری به زبان Rust و چه برای موتوری به زبان COBOL به کار برد. طبق فایل راهنمای مخزن، هدف نسخه 3.40.1 است، مدل مستندات رسمی را درون محیطی بدون اینترنت دریافت می‌کند که هر نسخه‌ای از SQLite از آن پاک شده است، و از حدود ۵۱ هزار آزمون اصلی نزدیک به ۲۴ هزار مورد به این قالب درآمده است. امتیاز به‌صورت دوتایی از هزینه استفاده از API و نرخ قبولی گزارش می‌شود. برای مهار هزینه، توصیه شده فقط زیرمجموعه ثابتی از ۲۷۲ آزمون اجرا شود و اگر راه‌حل به زبانی جز زبان خواسته‌شده نوشته شود، امتیازش صفر است.
به گفته OpenAI، مدل GPT-6 Astra با بیشترین سطح استدلال در این آزمون به‌طور میانگین ۸۷٫۴ درصد موارد را در ۲۰ زبان با موفقیت می‌گذراند، در حالی که GPT-5.6 Sol به ۲۶٫۸ درصد رسیده بود. این مدل در ۱۹ زبان از مرز ۸۳ درصد عبور کرده است. COBOL همچنان دشوارترین زبان است و امتیاز آن ۷۲٫۱ درصد است، هرچند پیش‌تر تنها ۱۰٫۹ درصد بود. Fortran از ۲۱٫۴ به ۸۳٫۵ درصد و OCaml از ۲۵٫۶ به ۸۵٫۸ درصد رسیده است. مدل ارزان‌تر GPT-6 Luna به میانگین ۴۰٫۳ درصد رسیده، اما شرکت هزینه هر نمونه را برای آن حدود ۰٫۷۷ دلار برآورد می‌کند، در برابر ۳٫۴۸ دلار برای GPT-5.6 Sol؛ یعنی نزدیک به ۷۸ درصد کمتر.
ارزیابی دوم به کاری نزدیک‌تر است که بانک‌ها و شرکت‌های بیمه واقعاً برایش هزینه می‌کنند. مدل باید برنامه‌های COBOL را به یکی از زبان‌های C++، Java، Kotlin، Python یا Rust برگرداند و این انتقال تنها زمانی پذیرفته می‌شود که آزمون‌های پنهان، خروجی را بایت به بایت یکسان نشان دهند. OpenAI برای توضیح اهمیت این سخت‌گیری مثالی می‌زند: حساب ممیز ثابت در COBOL ارقام اعشاری اضافی را دور می‌ریزد مگر آنکه گرد کردن صریحاً خواسته شود. بنابراین نسخه‌ای که بی‌صدا عددها را گرد کند ممکن است بی‌خطا اجرا شود اما نتیجه مالی را تغییر دهد. در این آزمون، GPT-6.1 Sol با استدلال کم به ۸۶٫۶ درصد رسیده، در حالی که GPT-5.6 Sol تنها ۵٫۴ درصد داشت، آن هم با حدود ۶۱ درصد هزینه مدل قدیمی‌تر. با استدلال بیشتر، دقت به ۹۷٫۹ درصد می‌رسد که به تعبیر شرکت آزمون را تقریباً به سقف رسانده است.
انگیزه این کار تجاری هم هست. OpenAI به برآوردهایی استناد می‌کند که بر پایه آن‌ها COBOL پشتوانه بیش از ۴۰ درصد سامانه‌های بانکداری اینترنتی و بیشتر تراکنش‌های خودپردازهاست. این شرکت یادآوری می‌کند که Fortran همچنان در پیش‌بینی هوا و تحلیل ایمنی رآکتورهای هسته‌ای به کار می‌رود. بخش بزرگی از این کدها مستندات ناقصی دارند و تیم‌هایی رو به کوچک شدن از آن‌ها نگهداری می‌کنند؛ به همین دلیل پروژه‌های مهاجرت کند و پرخطرند. به گفته شرکت، بازخورد مشتریان درباره ضعف مدل‌ها در این زبان‌ها نقطه آغاز این کار بوده است.
با این حال، باید این نتایج را با احتیاط خواند. هم آزمون‌ها و هم امتیازها را OpenAI تهیه کرده و در زمان انتشار، هیچ بازتولید مستقلی در دسترس نبود. دو ارزیابی مدل‌های متفاوتی را با سطح استدلال متفاوت مقایسه می‌کنند، پس نمی‌توان ارقام آن‌ها را کنار هم گذاشت. مجموعه آزمون مهاجرت COBOL منتشر نشده است. هنگام بررسی ما، مخزن عمومی فقط تنظیمات آزمون و سه کامیت داشت و فایلی از نتایج به تفکیک زبان در آن دیده نمی‌شد، با آنکه نوشته شرکت از انتشار آن خبر داده است. افزون بر این، ساختن یک موتور پایگاه داده مستقل کاری محدودتر از نگهداری یک سامانه سازمانی گسترده با وابستگی‌های بیرونی فراوان است.
خود OpenAI هم هشدار می‌دهد که مهاجرت در محیط عملیاتی همچنان به بازبینی متخصصان و آزمودن در برابر قواعد کسب‌وکار هر سامانه نیاز دارد. انتشار باز MultiLangBench دست‌کم به آزمایشگاه‌های دیگر و مشتریان امکان می‌دهد این ادعاها را روی مدل‌های خودشان بسنجند.