O próximo modelo da OpenAI, Astra, está a gerar uma discussão que vai além das suas novas capacidades. Uma reportagem sobre a arquitetura do modelo descreve uma técnica que pode melhorar o raciocínio, mas que também poderá tornar parte do processamento interno menos visível para os sistemas usados na monitorização de segurança.
Segundo o The Information, Astra utiliza uma técnica chamada recurrent depth, ou profundidade recorrente. Em vez de percorrer uma sequência fixa de camadas apenas uma vez antes de produzir cada passo visível, o modelo pode voltar a processar a informação nas mesmas camadas internas antes de continuar a resposta. Parte do trabalho de raciocínio pode, por isso, acontecer sem aparecer diretamente em texto.
Isto não significa que Astra se tenha tornado impossível de monitorizar. A mesma reportagem diz que a OpenAI limitou deliberadamente a utilização da técnica para manter uma cadeia de raciocínio legível. A empresa também afirma que Astra será lançado com monitorização adicional da cadeia de raciocínio para detetar e interromper mais rapidamente atividades potencialmente não autorizadas.
A questão relevante é mais específica: se uma parte crescente do raciocínio passar a acontecer em estados internos menos visíveis, até que ponto os sistemas de segurança podem continuar a depender das explicações textuais do modelo?
A profundidade recorrente desloca parte do raciocínio para o interior do modelo
Os modelos de raciocínio atuais costumam produzir parte do processo de resolução em texto. Esse registo não representa tudo o que acontece dentro da rede, mas dá às equipas de segurança um sinal útil para identificar planos suspeitos, tentativas de contornar restrições ou indícios de que um agente sabe que saiu do âmbito autorizado.
Com profundidade recorrente, o modelo pode realizar vários ciclos de cálculo nas mesmas camadas internas antes de produzir o elemento seguinte da resposta. Assim, consegue dedicar mais processamento a um problema sem verbalizar todos os passos intermédios.
O The Information descreve a utilização desta técnica em Astra como limitada. TechCrunch e The Verge destacaram a mesma preocupação: se uma parte maior do raciocínio passar para estados internos latentes, a monitorização tradicional da cadeia de raciocínio pode oferecer menos informação.
Ainda assim, não há base para afirmar que Astra seja hoje um modelo opaco. A OpenAI não publicou uma descrição completa da arquitetura e diz que a cadeia de raciocínio continua suficientemente legível para ser monitorizada. O impacto real sobre a visibilidade do raciocínio permanece, por isso, incerto.
As capacidades de Astra tornam esta questão mais importante
O debate surge precisamente quando a OpenAI prepara Astra com medidas de segurança mais fortes do que as aplicadas aos modelos anteriores.
A empresa afirma que Astra é o seu primeiro modelo a atingir o nível «Critical» de capacidade de cibersegurança no Preparedness Framework. Com as ferramentas e os acessos adequados, poderá encontrar vulnerabilidades desconhecidas e desenvolver formas de as explorar em sistemas bem protegidos sem orientação humana passo a passo.
A OpenAI adiou partes do desenvolvimento e do lançamento enquanto reforçava proteções contra abuso cibernético e ações não autorizadas. O acesso às capacidades de cibersegurança mais avançadas também será inicialmente limitado.
Neste contexto, a qualidade da monitorização deixa de ser apenas uma questão académica. Passa a fazer parte da decisão sobre aquilo que pode ser disponibilizado em produção.
Uma cadeia de raciocínio legível nunca foi um registo perfeito
Há uma distinção importante. Ver parte do raciocínio do modelo é útil, mas nunca significou ter acesso completo a todos os cálculos internos que produziram a resposta.
A cadeia de raciocínio pode ser incompleta, simplificada ou não refletir exatamente o processo interno. Por isso, nenhum sistema de segurança robusto deveria tratá-la como único registo de auditoria.
Isso não reduz o seu valor. A OpenAI já explicou que a análise das cadeias de raciocínio ajudou a compreender comportamentos problemáticos de agentes anteriores, e o plano de segurança de Astra inclui precisamente monitorização adicional do raciocínio e das ações.
A preocupação com a profundidade recorrente é que este sinal, já imperfeito, possa perder ainda mais informação se decisões importantes passarem a ocorrer em representações internas que não são naturalmente transformadas em texto.
A governação precisa de vários sinais independentes
Para a Aipolix, a conclusão mais útil não é que a profundidade recorrente deva ser evitada. É que a governação de modelos de fronteira não pode depender de um único canal de observação.
Se a cadeia de raciocínio fornecer menos informação no futuro, serão necessários controlos independentes: autorização explícita para ferramentas, restrições de rede, isolamento do ambiente de execução, regras para operações sensíveis, registos completos de ações, deteção de anomalias, classificadores separados, limites de utilização e mecanismos capazes de parar um agente quando o seu comportamento sai do âmbito autorizado.
O próprio plano da OpenAI para Astra já combina várias destas camadas. A empresa descreve alinhamento do modelo, proteções contra abuso cibernético, monitorização da cadeia de raciocínio, classificadores que analisam raciocínio e ações e mecanismos que podem interromper atividade potencialmente não autorizada.
Quanto menos transparente for o raciocínio interno, maior será a importância destes controlos externos.
Ganhar capacidade não deve significar perder silenciosamente um sinal de segurança
A profundidade recorrente é tecnicamente atraente porque pode aumentar a quantidade de processamento sem exigir um crescimento equivalente do modelo. Se a técnica melhorar a qualidade ou reduzir custos, outros laboratórios terão razões para a explorar.
O problema pode surgir se o ganho de desempenho vier acompanhado pela perda de um sinal que as equipas de segurança usam para compreender o comportamento dos modelos.
Se a indústria medir apenas capacidade, poderá enfraquecer gradualmente uma forma de monitorização que continua a ser útil precisamente porque os modelos atuais verbalizam partes relevantes do seu raciocínio.
Segundo a TechCrunch, o cientista-chefe da OpenAI reafirmou após a divulgação da notícia que preservar a monitorização da cadeia de raciocínio continua a ser um objetivo importante. As reportagens também indicam que a utilização de profundidade recorrente em Astra foi deliberadamente limitada.
É um sinal positivo, mas não encerra a questão. Em modelos futuros será necessário medir não apenas o ganho de capacidade, mas também a informação de monitorização que se perde e a eficácia dos controlos independentes que a substituem.
O que será importante verificar no lançamento
A OpenAI afirma que publicará mais detalhes na system card de Astra quando o modelo for lançado. Esse documento será especialmente relevante para avaliar este tema.
Importa perceber como a empresa mede a capacidade de monitorizar o raciocínio, se o uso de profundidade recorrente varia entre versões ou níveis de acesso, que controlos independentes funcionam quando o texto de raciocínio é incompleto e com que frequência as proteções interrompem trabalho legítimo.
Até lá, a conclusão mais precisa é limitada: Astra utilizará, segundo as reportagens, profundidade recorrente; a OpenAI afirma que a cadeia de raciocínio continua legível e terá monitorização reforçada; e vários investigadores receiam que uma utilização mais intensa da mesma técnica possa enfraquecer uma ferramenta de supervisão importante.
Para organizações que venham a utilizar Astra, a cadeia de raciocínio deve ser tratada como uma fonte de evidência, não como a própria fronteira de controlo.