A Cohere quer que as empresas deixem de confiar apenas na palavra do fornecedor de nuvem. A 22 de outubro, a empresa canadiana de IA empresarial abriu uma beta pública do Confidential Computing no Model Vault, o seu serviço de inferência dedicado e totalmente gerido. A funcionalidade destina-se a dados que muitas organizações têm mantido longe dos modelos alojados, como registos financeiros, processos clínicos, documentos jurídicos sob sigilo, código proprietário e projetos de engenharia.
O alvo é o terceiro estado dos dados. A cifra costuma proteger a informação guardada em disco e em trânsito na rede, mas os pedidos, os documentos e as respostas ficam expostos na memória enquanto o modelo os processa. Na solução da Cohere, a pilha de serviço corre numa máquina virtual confidencial cuja memória é isolada por hardware do anfitrião, incluindo software privilegiado e operadores. O NVIDIA Confidential Computing estende essa fronteira à GPU, protegendo a sua memória e cifrando o tráfego entre processador e acelerador. A beta funciona com chips NVIDIA H100 no Microsoft Azure, que fornece a infraestrutura confidencial de base.
A segunda peça é a verificação. Antes de um pedido sair, o software do lado do cliente confronta provas assinadas sobre o hardware, o firmware e o software do ambiente remoto com uma política aprovada. Se as provas não coincidirem, o cliente simplesmente não envia os dados. A Cohere resume a mudança como passar de confie em nós para verifique por si. O diretor de tecnologia, Phil Blunsom, afirma que os clientes podem confirmar que os dados estão protegidos de acessos não autorizados, incluindo da própria Cohere.
A terceira é o caminho intermédio. O TLS comum protege a ligação, mas pode deixar o conteúdo legível para intermediários que operam um serviço gerido. O Model Vault usa antes Oblivious HTTP para cifrar cada pedido com uma chave que só um gateway dentro do ambiente atestado possui, pelo que as camadas de encaminhamento veem apenas texto cifrado, e as respostas regressam igualmente protegidas. Os programadores continuam a usar a mesma API da Cohere e os mesmos formatos de pedido.
Responsáveis do grupo de computação confidencial do Azure, da Microsoft, e da unidade de software empresarial da NVIDIA apoiaram o lançamento no anúncio da Cohere. A empresa publicou ainda um texto técnico complementar que detalha a fronteira de confiança e o modelo de ameaças. Segundo esse texto, o software de serviço é bloqueado por política, de modo que só código aprovado pode correr e os operadores não têm acesso interativo à carga de trabalho.
A Cohere é prudente quanto aos limites. A computação confidencial não elimina todos os riscos, diz, nem substitui a segurança das aplicações, a conformidade, os contratos ou as regras de residência de dados. A beta limita-se a uma geração de GPU numa só nuvem, e não foram divulgados preços, custo em latência nem auditoria externa. Ainda assim, coloca um fornecedor de modelos de ponta na mesma corrida dos grandes fornecedores de nuvem para fazer da privacidade verificável um argumento junto de clientes regulados.