LlamaIndex voudrait que les éditeurs d'outils d'analyse documentaire, les concepteurs de benchmarks et les annotateurs s'accordent sur ce qu'est une page correctement convertie. Le 28 octobre, l'entreprise a rendu public le Document Parsing Protocol (DPP) sous la forme d'une version de travail numérotée 0.1. Le texte compte 140 règles pour transformer des pages en Markdown structuré, qu'il s'agisse de texte courant, de tableaux, de formulaires, de graphiques ou de schémas, chacune illustrée par des pages d'exemple et par le résultat attendu.
Le problème visé passe souvent inaperçu. Deux outils peuvent restituer chaque mot et chaque chiffre d'une page tout en divergeant sur la structure : un bloc de texte aligné est-il un vrai tableau, un en-tête sur deux niveaux doit-il être fusionné, un tableau qui se poursuit sur la page suivante en forme-t-il un ou deux, que faire d'un organigramme ? Selon LlamaIndex, ces écarts se répercutent en aval, puisqu'un agent d'IA ne raisonne qu'à partir de ce que lui fournit l'outil d'extraction, et il n'existe aujourd'hui aucune référence partagée pour trancher.
L'entreprise prend l'exemple d'un tableau de ventes, avec les années en haut et les trimestres en dessous. Un outil qui fusionne ces deux niveaux en libellés du type « 2024 Q2 » peut permettre à l'agent de trouver la bonne réponse, mais le DPP juge ce résultat non conforme : ce libellé n'a jamais figuré sur la page et chaque outil l'écrirait à sa façon. Le protocole conserve donc chaque niveau d'en-tête imprimé sur sa propre ligne, avec l'étendue exacte des colonnes. Les tableaux Markdown classiques ne sachant pas exprimer une cellule qui couvre plusieurs colonnes, le DPP impose le balisage HTML là où la syntaxe Markdown fait défaut.
D'autres règles visent à préserver des informations que les outils perdent souvent. Un champ de formulaire laissé vide est noté [blank], pour ne pas être confondu avec un champ manqué, et les cases à cocher restent sous la forme [x] ou [ ]. Les graphiques deviennent des tableaux de données, une ligne par catégorie et une colonne par série, les valeurs lues sur des barres ou des points étant limitées à la précision permise par l'axe. Les schémas sont transcrits dans un langage comme Mermaid lorsque les libellés et le sens des flèches peuvent être conservés ; le texte présent dans le fichier mais invisible sur la page est écarté, et le texte visible mais indéchiffrable est signalé par [illegible].
Le DPP découle des conventions d'annotation que LlamaIndex appliquait pour étiqueter les pages de ParseBench, son benchmark d'analyse documentaire. L'entreprise le présente comme un corrigé commun pour quiconque construit des benchmarks, annote des données d'entraînement ou contrôle les sorties d'un outil d'extraction, afin que deux évaluations cessent d'accepter des réponses différentes pour une même page. Le projet précise aussi les écarts admis : entourer les lignes d'un tableau de balises thead et tbody, ou s'en passer, sont deux formes acceptées, pourvu que le document reste cohérent.
Le projet est ouvert. Le code du dépôt run-llama/document_parsing_protocol sur GitHub est sous licence MIT, tandis que le texte du protocole et ses exemples relèvent de la licence CC BY 4.0, qui autorise un usage commercial avec mention de la source. Le site parseprotocol.com présente chaque règle à côté du résultat attendu, propose une skill pour Claude et un fichier de référence pour ChatGPT afin de tester les règles sur l'image d'une page, et décortique pas à pas le compte de résultat de l'exercice 2024 d'Apple. LlamaIndex invite à ouvrir des issues ou des pull requests dès qu'une règle échoue sur un document réel ou que deux règles mènent à des réponses différentes.
Cette publication arrive quelques jours après OCRia-1, le modèle documentaire lancé par LlamaIndex le 22 octobre, et touche de près son activité commerciale d'extraction, LlamaParse. Reste donc la question de la neutralité. Le site reconnaît qu'une règle « arrêtée » ne l'est qu'au sein de cette version, sans validation par un organisme extérieur, et que le vérificateur fourni sert de guide de relecture, pas de suite automatisée de tests de conformité. L'adoption du DPP par d'autres éditeurs ou par les responsables de benchmarks, ou au contraire l'apparition de conventions concurrentes, dira s'il devient une norme partagée ou reste le guide d'annotation d'une seule entreprise.