Hugging Face دستورالعملی برای آموزش «آداپتورهای هارنس» کوچک منتشر کرده است و نشان می‌دهد یادگیری تقویتی درون یک هارنس عامل می‌تواند مدلی باز را روی همان هارنس هم دقیق‌تر و هم ارزان‌تر کند. مطلب ۲۰ نوامبر ۲۰۲۶ نویسندگان را Younes B و ben burtenshaw و Nathan Habib و Lysandre و Amine Dirhoussi و Adithya S K و shaun smith و Sergio Paniego و Joel Niklaus فهرست کرده است.

نقطه شروع انتقاد از مدل‌های عمومی است: این مدل‌ها برای عملکرد گسترده تنظیم می‌شوند، پس هر ترکیب مشخص از مدل و هارنس بخشی از دقت و کارایی را بی‌استفاده می‌گذارد. تیم برای هر هارنس یک آداپتور LoRA روی Qwen3.8-27B آموزش داد، برای هارنس‌های برنامه‌نویسی Pi و OpenCode و Hermes Agent، در حالی که خود مدل ثابت ماند. برای Pi روی Terminal-Bench 2.1، به گفته Hugging Face مدل پایه ۳۹ درصد می‌گیرد و برای هر وظیفه حدود ۲٫۹ هزار توکن مصرف می‌کند، اما مدل سازگارشده به ۵۵ درصد pass@1 با حدود ۱٫۵ هزار توکن می‌رسد. بیشتر این بهبود را به این نسبت می‌دهد که مدل کمتر استدلال می‌کند، ابزار کمتری صدا می‌زند و بیشتر وظیفه‌ها را در تلاش نخست درست انجام می‌دهد.

آموزش با اجرای هارنس دقیقاً به همان شکلی که عرضه می‌شود انجام می‌شود، نه با بازنویسی حلقه عامل. یک پراکسی میان هارنس و سرور vLLM توکن‌های دقیق تولیدشده را ثبت می‌کند و آموزش‌دهنده با AsyncGRPOTrainer از TRL و OpenEnv و قالب وظیفه Harbor از آنها یاد می‌گیرد؛ داده‌ها و آموزش و اجراها همگی به‌صورت کار روی Hub شرکت Hugging Face انجام می‌شود. پاداش، نتیجه قبول یا رد راستی‌آزما را با یک امتیاز کوچک ۰٫۱ برای استفاده کارآمد از ابزار ترکیب می‌کند.

بخش بزرگی از مطلب درباره وظیفه‌هاست. تیم در Hub حدود ۵۹ هزار محیط Harbor را جست‌وجو کرد، منبع‌های ساخته‌شده برای آموزش را نگه داشت و وظیفه‌هایی را که از درخواست‌های ادغام پذیرفته‌شده با خط لوله‌ای به نام Tasksmith تولید شده بودند افزود. هر وظیفه با openenv validate بررسی شد و ۸۵۸ نامزد از ۱٬۱۲۷ نامزد Hub قبول شدند. سپس بررسی دشواری فقط وظیفه‌هایی را نگه داشت که مدل پایه در بعضی تلاش‌ها حل می‌کرد. از ۴۴۲ وظیفه نمره‌گذاری‌شده، مدل ۱۵۱ مورد را همیشه و ۱۲۰ مورد را هرگز حل نکرد و ۱۷۱ مورد به‌عنوان سیگنال آموزشی مفید ماند. مجموعه حاصل با نام harness-hub/agentic-coding-envs شامل ۸۷۱ وظیفه از ۳۵ مخزن است و آموزش‌های کوتاه نشان داد اعتبارسنجی و فیلتر دشواری آنچه مدل یاد می‌گیرد را تغییر می‌دهد.

نویسندگان سه آداپتور را در یک ابرآداپتور با رتبه ۹۶ هم ادغام کردند و آن را با نصف شدت به کار بردند. روی هر سه هارنس در Terminal-Bench 2.1 نمره ۵۲٫۵ درصد گرفت، در برابر ۴۳٫۳ درصد برای مدل پایه، با فراخوانی ابزار بسیار کمتر، هرچند در بعضی جفت‌های هارنس و آزمون از آداپتوری که فقط برای همان هارنس آموزش دیده بود عقب ماند. جمع ساده به‌روزرسانی‌ها عامل‌ها را بیش از حد کوتاه کرد و نمره Pi را پایین آورد.

آداپتورها و فایل‌های GGUF و وظیفه‌های یادگیری تقویتی و یک افزونه ایمنی در مجموعه‌ای در Hugging Face در دسترس است. همه اعداد از آزمایش‌های خود Hugging Face با یک خانواده مدل و یک تلاش برای هر وظیفه می‌آیند، پس بازتولید مستقل آزمون بعدی برای سنجش میزان تعمیم این دستورالعمل است.

منابع