Inherent عامل 27B Faraday را برای بازتولید پژوهش آموزش می‌دهد

Inherent عامل پژوهشی تازه‌ای به نام Faraday معرفی کرده است؛ یک «دانشمند هوش مصنوعی» ۲۷ میلیارد پارامتری که به‌جای صرفاً خلاصه‌کردن مقاله‌ها، برای بازتولید نتایج پژوهشی آموزش دیده است. مقاله پژوهشی و پست رسمی Inherent همراه این پروژه، Replica را معرفی می‌کنند؛ یک benchmark و فضای آموزشی مبتنی بر reinforcement learning که روی یکی از سخت‌ترین مهارت‌های علمی تمرکز دارد: بازسازی آزمایش وقتی جزئیات مهم اجرای آن در مقاله کامل توضیح داده نشده است.

Replica شامل ۳۱۰ وظیفه از ۱۰۰ مقاله در machine learning و AI-for-science است. در هر وظیفه، یکی از شکل‌های نتایج حذف می‌شود و عامل باید با زمان و منابع محاسباتی محدود آن را بازتولید کند. در نتیجه سیستم فقط با نوشتن کد موفق نمی‌شود؛ باید روش ناقص‌توصیف‌شده را تفسیر کند، آزمایش مناسب انتخاب کند، شکست‌ها را تحلیل کند و تصمیم بگیرد که آیا خروجی واقعاً با ادعای مقاله اصلی سازگار است یا نه.

Faraday بر پایه یک مدل 27B ساخته شده و با long-horizon reinforcement learning پس‌آموزش دیده است. نکته کلیدی این است که می‌تواند coding agentها را به‌عنوان ابزار به کار بگیرد. Inherent می‌گوید این روش به مدل کوچک‌تر یاد می‌دهد یک سیستم کدنویسی قدرتمندتر را هدایت کند و در عین حال درباره اینکه چه آزمایشی بعدی انجام شود و نتیجه چگونه ارزیابی شود، قضاوت علمی اضافه کند. طبق نتایج خود شرکت، Faraday در وظایف held-out بازتولید مقاله بالاتر از Claude Opus 4.8 و GPT-5.5 امتیاز گرفته است.

اما این headline به یک توضیح مهم نیاز دارد. Faraday یک مدل مستقل 27B نیست که در یک مقایسه مستقیم و هم‌سطح، مدل‌های frontier را شکست داده باشد. Inherent صریحاً می‌گوید Faraday می‌تواند از GPT-5.5 Codex به‌عنوان ابزار استفاده کند. بنابراین برتری گزارش‌شده بیشتر درباره orchestration و تصمیم‌گیری علمی آموخته‌شده در محیط Replica است، نه مدرکی که نشان دهد مدل پایه 27B به‌طور عمومی از GPT-5.5 یا Claude Opus 4.8 توانمندتر است.

ارزیابی نیز به یک judge خودکار مبتنی بر rubric وابسته است. بازتولید یک شکل علمی مثل پاسخ‌دادن به یک مسئله با جواب عددی یکتا نیست، بنابراین پژوهشگران برای هر task معیارهای اختصاصی تولید می‌کنند و با یک judge طراحی‌شده، کیفیت طراحی آزمایش، روش علمی و وفاداری به مقاله اصلی را امتیاز می‌دهند. نویسندگان گزارش می‌کنند این judge از یک LLM-judge ساده پایدارتر است و با ارزیابی انسان همخوانی بیشتری دارد. با این حال benchmark و چارچوب آموزش را خود تیم سازنده طراحی کرده، پس بازتولید مستقل نتایج اهمیت زیادی دارد.

اهمیت وسیع‌تر پروژه در انتخاب «replication» به‌عنوان هدف آموزشی است. مقاله‌های علمی معمولاً آزمایش‌های شکست‌خورده، تصمیم‌های میانی و بسیاری از جزئیات اجرایی را ثبت نمی‌کنند. سیستمی که بتواند این بخش‌های گمشده را بازیابی کند باید فرضیه بسازد و آزمایش کند، نه اینکه فقط دستورالعمل صریح را دنبال کند. Inherent استدلال می‌کند این ویژگی replication را به یک curriculum مفید برای عامل‌هایی تبدیل می‌کند که بعدها ممکن است پژوهش بازتر و طولانی‌تری انجام دهند.

در نتیجه جذابیت Faraday فقط در یک برد benchmark نیست، بلکه در الگوی سیستمی آن است: یک controller نسبتاً کوچک و آموزش‌دیده، reinforcement learning بلندمدت، coding agent به‌عنوان ابزار و یک فرایند ارزیابی که قضاوت علمی را پاداش می‌دهد. اگر این روش خارج از مجموعه فعلی taskها هم generalize شود، بخشی از AI-for-science می‌تواند به‌جای اتکا صرف به مدل‌های monolithic بزرگ‌تر، به سمت لایه‌های orchestration آموزش‌دیده‌ای حرکت کند که استفاده درست و منظم از ابزارهای قدرتمند را یاد گرفته‌اند.

## Sources

- Inherent: Training AI Scientists to Replicate Research
- arXiv: Training AI Scientists to Replicate Research