یاکوب پاچوکی، دانشمند ارشد OpenAI، در ۲۲ نوامبر ۲۰۲۶ نوشتهای با عنوان «Perplexity and Intelligence» منتشر کرد. او در آن استدلال میکند که پرپلکسیتی، یا بهطور معادل آنتروپی متقاطع، باید به معیاری تبدیل شود که توسعهدهندگان مدلها با هم مقایسه میکنند و مبنای استانداردهای ایمنی مشترک قرار میگیرد. به گفته او، گام نخست این است که OpenAI اندازهگیریهای داخلی پیشرفت پیشآموزش خود را منتشر کند. او این کار را یک مصالحه میداند، چون تصویر روشنتری از جایگاه شرکت در اختیار رقبا میگذارد.
پاچوکی هوش مصنوعی امروز را حاصل آموزش یک فشردهساز، یا پیشبینیگر، روی مجموعهای بسیار بزرگ از داده میداند و پس از آن روشهایی مانند دستورنویسی، تنظیم دقیق یا یادگیری تقویتی تواناییهای نهفته همان مدل را بیرون میکشند. پرپلکسیتی نشان میدهد مدل بهطور میانگین چقدر خوب نشانه بعدی را پیشبینی میکند و OpenAI آن را روی یک مجموعه داده کنارگذاشتهشده، برگرفته از کد داخلی خودش، دنبال میکند. اعدادی که او میدهد لگاریتم پرپلکسیتی حدود ۰٫۹۹ برای GPT-3.5 و حدود ۰٫۹۱ برای GPT-4 است و تازهترین مدلها اکنون زیر ۰٫۸ هستند.
او این آستانهها را به تواناییهای مدلها پیوند میدهد. طبق نوشته، GPT-2 میتوانست پاراگرافهای منسجم بنویسد، GPT-3 از روی بافتار یاد میگرفت، GPT-3.5 گفتوگوی روان داشت، GPT-4 از استدلال زنجیرهای بهشکل سودمند بهره میبرد و مدلهای زیر ۰٫۸ تواناییهای تازهای در امنیت سایبری و ریاضیات نشان دادهاند. پاچوکی میگوید از پیش روشن نبود که این تواناییها دقیقا در این مقادیر پدیدار شوند. او میافزاید پس از رسیدن OpenAI به مدلی در حدود ۰٫۷۶، آن مدل در مسئلههای باز ریاضی نتایج درخور توجهی تولید کرد و جهشی مشابه میتواند از سال ۲۰۲۷ به پژوهش پیشآموزش هم برسد.
بر این پایه، او انتظار تواناییهای دگرگونکنندهی بیشتری را در بازه ۰٫۶۸ تا ۰٫۷ دارد که ممکن است امروز آزمون نشوند. او همچنین پیشبینی میکند روشهای کنونی ممیزی همسویی کارایی کمتری پیدا کنند و آگاهی مدل از ارزیابی شدن بیشتر شود. او از توسعهدهندگان مدلهای پیشرو میخواهد درباره هنجارهای مشترک ارزیابی این مدلها، آزمون خصمانه پروندههای ایمنی پیش از نخستین استفاده و استانداردهای شفافیت به توافق برسند. او همچنین حدهای مشترکی را پیشنهاد میکند که بر پایه پرپلکسیتی و اندازهگیریهای دیگر باشد و توسعهدهندگان تعهد کنند تا زمانی که توان فهم و پایش رفتار هوش مصنوعی به یک نقطه عطف مشخص، مانند جانشین پایشگرهای استدلال زنجیرهای، نرسیده از آن عبور نکنند.
نوشته ضعفهای خود این معیار را هم برمیشمارد. آزمایشگاهها از مجموعههای ارزیابی و ترکیبهای داده متفاوتی استفاده میکنند و مقایسه اعداد دشوار است. پرپلکسیتی مستقیم با کارهایی که مردم به آنها اهمیت میدهند متناظر نیست، پیشرفتهای پس از پیشآموزش مانند استدلال زنجیرهای را نشان نمیدهد و کف آن ناشناخته است. با این حال پاچوکی معتقد است این معیار در گذر زمان پایدار مانده و میتواند زبان مشترکی برای سخن گفتن درباره پیشرفت در اختیار صنعت بگذارد.
همه اعداد و پیشنهادهای این نوشته از خود OpenAI است و از یک مقاله دستاول میآید. نوشته فراخوانی برای هنجارهای صنعتی است، نه یک قاعده یا توافق اعلامشده، و نمیگوید آیا آزمایشگاههای دیگر پذیرفتهاند اعداد قابل مقایسه منتشر کنند یا حدهای مشترک را بپذیرند.