چهار شرکت بزرگ در توسعهٔ هوش مصنوعی پشت یک روش واحد ایستاده‌اند تا وب‌سایت‌ها بتوانند استفاده از محتوایشان برای آموزش مدل‌ها را رد کنند. OpenAI روز ۳۰ اکتبر اعلام کرد که به یک سیگنال مشترک در robots.txt دربارهٔ آموزش مدل‌های پایهٔ مولد احترام می‌گذارد و Google هم در همان روز برنامه‌ای مشابه منتشر کرد. به گزارش Search Engine Land، شرکت‌های Microsoft و Anthropic نیز بخشی از همین تلاش‌اند که ریشه در گروه کاری AI Preferences یا AIPREF در Internet Engineering Task Force دارد.
تا امروز ناشری که می‌خواست صفحه‌هایش وارد داده‌های آموزشی نشود، باید نام تک‌تک خزنده‌ها را می‌دانست و برای هر کدام قاعدهٔ جداگانه می‌نوشت؛ از GPTBot و ClaudeBot گرفته تا توکن Google-Extended. رویکرد تازه این فهرست را با یک مدخل واحد جایگزین می‌کند. سایت به‌جای نام بردن از یک ربات، هدف استفاده را مشخص می‌کند: یک Internet-Draft که ۳۰ اکتبر منتشر شد، توکن سیاستی __usage_ai-training را تعریف می‌کند که در سطر User-Agent یک گروه معمولی robots.txt قرار می‌گیرد. قاعده‌های Disallow زیر این توکن یعنی مخالفت با آموزش روی آن مسیرها و قاعده‌های Allow یعنی رضایت؛ پس یک سایت می‌تواند آموزش را همه‌جا ممنوع کند و فقط پوشهٔ مطبوعاتی‌اش را آزاد بگذارد.
این پیش‌نویس با دقت میان این ترجیح و خزیدن در وب مرز می‌گذارد. توکن هیچ حکمی دربارهٔ اجازهٔ دریافت صفحه توسط ربات ندارد؛ قاعده‌های فعلی خزنده‌ها مثل گذشته کار می‌کنند، گروه عمومی User-Agent: * نباید شامل این توکن تلقی شود و قراردادهای خصوصی مجوز می‌توانند بر محتوای فایل مقدم باشند. هیچ دستور یا نحو تازه‌ای هم به استاندارد robots.txt یعنی RFC 9309 اضافه نمی‌شود و تجزیه‌گرهای قدیمی به‌سادگی از کنار گروه‌های جدید می‌گذرند. نویسندهٔ سند Kevin Kelley از Anthropic است و این متن یک ارسال فردی است که به تصریح datatracker در IETF هیچ جایگاه رسمی در روند استانداردسازی ندارد.
هر شرکت زمان‌بندی خودش را توضیح داد. OpenAI می‌گوید قصد دارد سیگنال را در ماه‌های آینده پیاده کند و کنترل‌های فعلی خزنده‌هایش همچنان معتبر می‌ماند. Google اعلام کرد اگر سایتی با توکن مشترک آموزش را رد کند و نامی از Google-Extended نبرد، آن را مانند سایتی می‌بیند که Google-Extended را مسدود کرده است؛ در مقابل، سایتی که صراحتاً به Google-Extended اجازه بدهد، برای استناد در پاسخ‌ها و دریافت کلیک در Gemini Apps واجد شرایط می‌ماند. این شرکت انتظار دارد در سال ۲۰۲۷ همراه با دیگر شرکت‌ها از این سازوکار پشتیبانی کند و آن را با آیین‌نامهٔ رفتاری مدل‌های هوش مصنوعی همه‌منظوره در EU AI Act هماهنگ می‌داند؛ آیین‌نامه‌ای که robots.txt را راه اصلی اعلام ماشین‌خوان مخالفت می‌شناسد.
Microsoft برای سرویس‌های خودش گامی فراتر برداشته است. طبق جمع‌بندی Search Engine Land از اعلامیهٔ Bing، این شرکت ترجیح‌های جداگانهٔ AI Training و AI Grounding ارائه می‌کند، انتخاب دربارهٔ آموزش را با یک meta tag یا سرآیند HTTP به سطح تک‌صفحه می‌برد و گزینهٔ Limited Grounding را اضافه می‌کند که استفاده در محصولات خود Microsoft مانند Copilot و Microsoft 365 را مجاز می‌داند اما نه در سرویس‌هایی که به شرکت‌های دیگر فروخته می‌شود. Bing از اول فوریهٔ ۲۰۲۷ این ترجیح‌ها را اعمال می‌کند و پس از اول مارس ۲۰۲۷ دیگر دستورهای NoArchive و NoCache را نشانهٔ ترجیح دربارهٔ آموزش یا استناد نمی‌داند.
سود عملی برای ناشران، نگهداری کمتر و انتخابی است که یک‌جا به همهٔ شرکت‌های عضو می‌رسد، حتی خزنده‌هایی که شاید نامشان را هم نشنیده باشند؛ البته به شرط آنکه آن شرکت‌ها توکن را بپذیرند. Google این پیشنهاد را پاسخی به فشار ناشران، جامعهٔ مدنی و نهادهای ناظر برای یک کنترل فراگیر در کل صنعت معرفی می‌کند و OpenAI هم از دیگر شرکت‌های هوش مصنوعی خواسته است به آن پایبند باشند.
محدودیت‌ها کم نیستند. پایبندی داوطلبانه است، امروز هیچ شرکتی توکن را اجرا نمی‌کند و بقیهٔ واژگان AIPREF هنوز در دست بحث است؛ بنابراین نام و معنای توکن ممکن است پیش از تبدیل شدن به استاندارد IETF تغییر کند. این سیگنال فقط به آموزش مربوط است و استفاده از محتوا برای مستند کردن پاسخ‌های لحظه‌ای هوش مصنوعی موضوع جداگانه‌ای است که فعلاً تنها Microsoft برایش کنترل اختصاصی اعلام کرده است.