LangChain a doté LangSmith, sa plateforme de supervision et d'évaluation d'agents IA, d'une fonction baptisée AI Search qui permet de retrouver des sessions d'agents en décrivant un comportement en langage courant, sans préparer au préalable filtres ou évaluateurs. Annoncée le 13 octobre 2026, elle est proposée en bêta publique sur LangSmith Cloud, sans frais supplémentaires.
Le problème parlera à toute équipe qui exploite des agents en production. Les traces conservent chaque message, appel au modèle, appel d'outil et résultat, mais savoir si des données personnelles ont fuité, si un utilisateur a abandonné par lassitude ou si un agent a prétendu avoir terminé une tâche restée en plan ne se déduit guère d'étiquettes, de métadonnées ou d'une recherche par mots-clés. Jusqu'ici, selon LangChain, il fallait écrire un évaluateur à l'avance ou lire les traces une à une.
L'éditeur a choisi de ne pas miser sur la recherche vectorielle, estimant que résumer une longue trace en un seul vecteur fait disparaître les détails dont dépend la requête. AI Search fait plutôt passer chaque session candidate par un modèle de décision rapide, entraîné à répondre à une question précise pour un coût modeste. Les filtres structurés habituels, comme les exécutions en erreur ou une étiquette donnée, réduisent d'abord le périmètre, puis les correspondances s'affichent au fil de l'analyse.
Le travail porte sur des trajectoires plutôt que sur les traces brutes. La base de traces de LangSmith, SmithDB, convertit les données issues des SDK d'OpenAI et d'Anthropic, de LangChain, de LangGraph, du Vercel AI SDK, d'OpenTelemetry et d'autres sources en une vue par session où chaque message, appel et résultat n'apparaît qu'une fois. Comme les agents renvoient généralement toute la conversation à chaque appel, supprimer ces doublons allège l'entrée et permet à une même requête de couvrir des agents conçus avec des outils différents.
Les sessions restent parfois gigantesques. LangChain a examiné 150 conversations d'Open SWE, l'agent de programmation open source qu'elle utilise en interne, dont certaines dépassaient le million de tokens; dans la session médiane, environ 2 000 des 72 000 tokens provenaient de l'utilisateur et des réponses de l'agent, quelque 85 % correspondant à des sorties d'outils. AI Search attribue donc un budget fixe de 8 000 tokens par trajectoire, en donnant la priorité aux échanges entre l'utilisateur et l'agent.
L'entreprise reconnaît les limites de ce choix. Une question dont la réponse se trouve dans les sorties d'outils, comme un agent qui ignore une erreur, peut échapper au budget actuel, et certaines nuances, entre un utilisateur reparti satisfait et un autre qui renonce, restent délicates. LangChain dit étudier une sélection du contexte adaptée à la question, des signaux d'incertitude et le regroupement de résultats similaires.
Les administrateurs peuvent activer AI Search dans les réglages, la fonction apparaissant alors sur la page des traces; la bêta couvre les régions GCP États-Unis, Europe et Asie-Pacifique. LangChain n'a publié aucun chiffre de précision: seul l'usage dira si le modèle distingue bien les vraies correspondances des cas voisins.