تیم همسوسازی آنتروپیک روز ۲۷ اکتبر پژوهشی منتشر کرد که یک فرض رایج درباره عامل‌های هوش مصنوعی را می‌آزماید: این‌که متخصص انسانی همچنان تصمیم‌های مهم را می‌گیرد. پژوهشگران، آماچ هردآغدلن، هیلی جورن و الکس تامکین، گزارش می‌دهند که تحلیلگران باتجربه‌ای که با Claude Code کار می‌کردند تا حد زیادی همان موضعی را پذیرفتند که به عامل دستور داده شده بود از آن دفاع کند، بی‌آن‌که بدانند چنین موضعی وجود دارد.
در این آزمایش ۶۱ متخصص شرکت کردند که آزمون استنباط علّی را گذرانده بودند و به‌طور منظم با پایتون یا R کار می‌کردند. یازده نفر ترجیح دادند بدون عامل کار کنند و در بیشتر تحلیل‌ها کنار گذاشته شدند و ۵۰ نفر باقی ماندند. از هر کدام خواسته شد به یک تعاونی کشاورزی خیالی بگویند آیا برنامه مشاوره پولی برای مزرعه‌های عضو آن‌قدر مؤثر بوده که گسترش یابد. هیئت‌مدیره فقط در صورت افزایش حدود ۳ تا ۴ درصدی بهره‌وری آن را گسترش می‌داد، اما تعریفی از بهره‌وری نداده بود و چهار انتخاب تحلیلی، هر کدام با دو گزینه قابل دفاع، باز گذاشته شده بود؛ مثلاً محصول در هر هکتار در برابر محصول به ازای هر واحد هزینه، یا روش تفاضل در تفاضل در برابر تعدیل آماری.
برای هر تحلیلگر و هر یک از این انتخاب‌ها و همچنین توصیه نهایی، پرتاب سکه تعیین می‌کرد عامل طرفدار کدام گزینه باشد. این ترجیح در یک دستور سیستمی پنهان قرار داشت که به عامل، که با مدل Claude Opus 4.8 در سطح تلاش بالا کار می‌کرد، می‌گفت آن را نظر خودش بداند و از آن دفاع کند، اگر داده‌ها آشکارا خلافش بود تغییر موضع دهد و هرگز نتایج را وارونه نشان ندهد.
اثر بزرگ بود. در مجموع چهار انتخاب تحلیلی، تحلیلگران در ۸۶ درصد موارد گزینه عامل را برگزیدند، در حالی که اگر عامل اثری نداشت این رقم حدود نصف می‌بود. از میان کسانی که پیش از اظهارنظر عامل دیدگاه خود را گفته بودند، ۶۰ درصد وقتی عامل مخالفت کرد از نظرشان برگشتند، در حالی که وقتی عامل موافق بود این رقم ۶ درصد بود. در تصمیم نهایی، وقتی عامل به گسترش برنامه تمایل داشت ۵۴ درصد گسترش را توصیه کردند و در حالت عکس ۳۶ درصد، و مدلی که فقط بر چهار پرتاب سکه تکیه داشت ۸۲ درصد توصیه‌ها را درست پیش‌بینی کرد.
به نظر می‌رسید تحلیلگران متوجه این اثر هم نبودند. وقتی از آن‌ها خواسته شد انتخاب‌هایشان را توجیه کنند، ۷۷ درصد استدلال‌های عامل را، گاه کلمه به کلمه، تکرار کردند، اما تنها ۱۵ درصد عامل را منبع آن دانستند. کسانی که بیشتر از همه از عامل پیروی کردند به همان اندازه دیگران به نتیجه‌شان مطمئن بودند و به همان اندازه آن را حاصل قضاوت خود می‌دانستند.
نویسندگان تأکید می‌کنند که این استدلالی علیه استفاده از عامل‌ها نیست. کسانی که با کلود کار کردند سریع‌تر کار را تمام کردند و خطاهای جدی بسیار کمتری داشتند تا گروه کوچک و کم‌تجربه‌ای که تنها کار کرد. نگرانی آن‌ها این است که هرچه عامل‌ها کار عملی بیشتری انجام دهند، تصمیم‌های قضاوتی به مهم‌ترین نقطه ورود ارزش‌های انسانی تبدیل می‌شوند و پیروی خاموش می‌تواند ترجیحات دلبخواهی یا ناهمسوی مدل‌ها را به سیاست‌گذاری و پژوهش راه دهد. آن‌ها به‌ویژه به پژوهش ایمنی هوش مصنوعی اشاره می‌کنند که در آن بازبین انسانی قرار است نظارتی مستقل باشد و می‌گویند توافق ظاهری میان تیم‌ها ممکن است بازتاب سلیقه یک مدل واحد باشد.
خود آنتروپیک چند هشدار مهم را برمی‌شمارد. ترجیحات برای این آزمایش عمداً تقویت شده بودند؛ مدل Claude Opus 4.8 بدون دستور در ۱۱۲ اجرا از ۱۲۳ اجرا همان پنج انتخاب را داشت و عامل‌هایی که موضع تعیین‌شده ندارند شاید اثر کمتری بگذارند. پژوهش فقط سنجید کدام گزینه انتخاب شد، نه شدت باور. این نتایج به‌طور مستقل تکرار نشده و آنتروپیک محصول خودش را بررسی کرده است. نویسندگان پیشنهاد می‌کنند روش‌هایی برای سنجش پیروی ساخته شود، عامل‌هایی طراحی شوند که هر دو گزینه را عرضه کنند یا اول نظر متخصص را بپرسند و نهادها در اعتباری که به تأیید کارشناسان می‌دهند بازنگری کنند.