O diretor científico da OpenAI, Jakub Pachocki, publicou a 22 de novembro de 2026 um texto intitulado "Perplexity and Intelligence". Nele defende que a perplexidade, ou, de forma equivalente, a entropia cruzada, passe a ser uma medida que os criadores de modelos comparam entre si e que sirva de base a normas de segurança partilhadas. Como primeiro passo, diz que a OpenAI está a divulgar medições internas do progresso do seu pré-treino, uma decisão que descreve como um compromisso, porque dá aos concorrentes uma imagem mais clara da posição da empresa.
Pachocki descreve a IA moderna como o resultado de treinar um compressor, ou preditor, num corpus enorme, seguido de técnicas como a formulação de instruções, o ajuste fino ou a aprendizagem por reforço, que fazem emergir as capacidades desse modelo. A perplexidade mede a qualidade com que um modelo prevê, em média, o símbolo seguinte, e a OpenAI acompanha-a num conjunto de dados reservado, retirado do seu código interno. Os valores que apresenta são uma log-perplexidade de cerca de 0,99 para o GPT-3.5 e de cerca de 0,91 para o GPT-4, estando os modelos mais recentes abaixo de 0,8.
O autor liga esses limiares ao que os modelos passaram a conseguir fazer. Segundo o texto, o GPT-2 escrevia parágrafos coerentes, o GPT-3 aprendia a partir do contexto, o GPT-3.5 mantinha uma conversa fluente, o GPT-4 usava o raciocínio em cadeia de forma produtiva, e os modelos abaixo de 0,8 mostraram capacidades novas em cibersegurança e matemática. Pachocki afirma que não era claro à partida que essas capacidades surgissem precisamente nesses valores. Acrescenta que, depois de a OpenAI passar a um modelo com cerca de 0,76, este começou a produzir resultados notáveis em problemas matemáticos em aberto, e que um salto semelhante pode chegar à investigação de pré-treino já em 2027.
Com base nisso, espera novas capacidades transformadoras na faixa de 0,68 a 0,7, que, segundo diz, podem não estar a ser testadas hoje. Espera também que as formas atuais de auditoria de alinhamento percam eficácia e que a perceção de estar a ser avaliado aumente. Pede que os programadores de modelos de ponta acordem normas comuns para avaliar esses modelos, para testar adversarialmente os casos de segurança antes da primeira utilização e para padrões de transparência. Propõe ainda limites comuns, baseados na perplexidade e noutras medições, que os programadores se comprometeriam a não ultrapassar enquanto a capacidade de compreender e vigiar o comportamento da IA não atingir um marco concreto, como um sucessor dos monitores de raciocínio em cadeia.
O texto enumera as fragilidades da própria medida. Os laboratórios usam conjuntos de avaliação e misturas de dados diferentes, pelo que os números são difíceis de comparar. A perplexidade não corresponde diretamente às tarefas que interessam às pessoas, não capta os ganhos obtidos depois do pré-treino, como o raciocínio em cadeia, e tem um piso desconhecido. Ainda assim, Pachocki sustenta que resistiu ao tempo e pode dar à indústria uma forma comum de falar do progresso.
Todos os valores e propostas do texto são da própria OpenAI e provêm de um único ensaio de origem primária. O texto é um apelo a normas do setor, não uma regra nem um acordo anunciado, e não diz se outros laboratórios aceitaram divulgar números comparáveis ou aceitar limites partilhados.