OpenAI در ۲۰ نوامبر ۲۰۲۶ آزمون MedChemBench را معرفی کرد؛ معیاری برای سنجش اینکه آیا مدلهای هوش مصنوعی میتوانند مانند شیمیدانان دارویی استدلال کنند. مجموعه مسئلهها از پژوهشهای منتشرشده ساخته شده است: ۹۹ مسئله برگرفته از ۱۱۷ مقاله و ثبت اختراع که ۷۶۱ ساختار مولکولی متمایز را پوشش میدهد. هر مسئله زمینهای را که در یک مرحله از یک پروژه کشف دارو در دسترس بوده به مدل میدهد، مانند هدف زیستی، اهداف پژوهشگران، ترکیبهای بررسیشده تا آن لحظه و برخی یافتههای آزمایشی.
خودکارسازی شیمی دارویی دشوار است، چون بهبود یک ویژگی مولکول اغلب ویژگی دیگری را بدتر میکند. ترکیبی ممکن است روی پروتئین مرتبط با یک بیماری اثر قوی داشته باشد، اما در بدن ضعیف جذب شود یا خیلی زود تجزیه شود. OpenAI میگوید کمک مفید هوش مصنوعی باید تغییرهای ساختار را به شواهد آزمایشگاهی پیوند دهد و قضاوت کند ساخت کدام ترکیبها در گام بعد ارزش دارد.
این آزمون چهار توانایی را نمره میدهد: بازسازی ساختار مولکولی با پیوندهای درست میان اتمها و فضاشیمی درست، ارائه توضیح علمی متکی بر شواهد دادهشده، رتبهبندی و انتخاب ترکیبها، و پیشبینی ویژگیهای عددی در برابر مقدارهای گزارششده در منابع. پیشبینیها بسته به نزدیکی به مقدار اندازهگیریشده نمره جزئی میگیرند. یک نمونه به بازدارندههای PRMT5 مربوط است، پروتئینی که در پژوهش سرطان بررسی میشود: مدل باید رفتار سه ترکیب مشابه را در سه ویژگی پیشبینی کند و آزمایش بعدی نشان داد میان قدرت اثر و نفوذپذیری مبادلهای وجود دارد.
در نتیجه اصلی، OpenAI میگوید GPT-6.2 Astra در سطح استدلال xhigh ۸۴٫۵ درصد از نمره ممکن را گرفت، در برابر ۸۳٫۳ درصد برای GPT-6 Astra و ۸۲٫۰ درصد برای GPT-6.1 Sol و ۵۸٫۲ درصد برای GPT-5.6 Sol. یازده مدل GPT در چند سطح استدلال ارزیابی شدند؛ سطحهای بالاتر نمرهها را بهتر کرد اما فاصلههای بزرگ میان مدلها باقی ماند. در مسئلهای ساختاری که باید حلقه ۱۸ اتمی حفظ میشد، GPT-6 Astra در هر ده پاسخ موفق بود، در حالی که GPT-5.6 Sol حلقهای ۱۵ اتمی ساخت و GPT-5.6 Luna مولکول را به دو قطعه جدا تقسیم کرد.
نتایج تفصیلی نقطهضعفها را نشان میدهد. Astra در سطح xhigh ۹۵٫۴ درصد از نمره ساختار را گرفت و به گفته OpenAI در بازسازی مولکولها و توضیح شواهد آزمایشی از همه قویتر بود. در انتخاب ترکیبها و پیشبینی ویژگیهای عددی فقط حدود نیمی از نمره ممکن را گرفت، که OpenAI آن را جای بهبود قابلتوجه توصیف میکند.
OpenAI درباره آنچه اعداد ثابت نمیکنند محتاط است. این نتایج ثابت نمیکنند مدلها میتوانند داروی تازه کشف کنند یا تصمیمهای آزمایشگاهی را بهتر کنند. نمیتوان مواجهه قبلی مدل با منابع منتشرشده را رد کرد و هر پاسخ فقط یک تلاش بدون ابزار و بازخورد و آزمایش تازه بود. همه اعداد از مقاله و ارزیابی خود OpenAI میآیند و هیچ بازتولید مستقلی گزارش نشده است.