LlamaIndex میخواهد سازندگان ابزارهای تجزیه اسناد، طراحان بنچمارکها و تیمهای برچسبگذاری درباره اینکه یک صفحه درست تجزیهشده چه شکلی دارد به توافق برسند. این شرکت روز ۲۸ اکتبر Document Parsing Protocol یا DPP را بهصورت پیشنویس کاری عمومی با شماره نسخه 0.1 منتشر کرد. این سند ۱۴۰ قاعده برای تبدیل صفحههای اسناد به Markdown ساختیافته دارد که متن پیوسته، جدول، فرم، نمودار و دیاگرام را در بر میگیرد و برای هر قاعده صفحههای نمونه و خروجی مورد انتظار آورده شده است.
مشکلی که DPP سراغش رفته کمتر به چشم میآید. دو ابزار ممکن است همه کلمهها و عددهای یک صفحه را بیرون بکشند و باز هم در ساختار با هم اختلاف داشته باشند: آیا یک بلوک متن همتراز واقعاً جدول است، آیا سرتیتر دوطبقه باید در یک ردیف ادغام شود، جدولی که به صفحه بعد ادامه پیدا میکند یک جدول حساب میشود یا دو تا، و با یک فلوچارت چه باید کرد. به گفته LlamaIndex این اختلافها به مراحل بعدی سرایت میکند، چون عامل هوش مصنوعی فقط بر پایه چیزی که ابزار تجزیه به او میدهد استدلال میکند و امروز هیچ مرجع مشترکی برای داوری درباره انتخاب ساختاری درست وجود ندارد.
مثالی که خود شرکت آورده جدول فروشی است که سالها در بالای آن و فصلها زیرشان آمدهاند. ابزاری که این دو طبقه را در برچسبهایی مثل «2024 Q2» ادغام کند شاید به عامل اجازه دهد پاسخ درست را پیدا کند، اما DPP این خروجی را ناسازگار با پروتکل میداند، زیرا چنین برچسبی هرگز روی صفحه چاپ نشده و هر ابزاری آن را به شکل خودش میسازد. در عوض، پروتکل هر طبقه از سرتیتر چاپشده را در ردیفی جداگانه و با گستره دقیق ستونها نگه میدارد. از آنجا که جدولهای ساده Markdown نمیتوانند خانهای را نشان دهند که چند ستون را پوشش میدهد، DPP هر جا Markdown نحو لازم را نداشته باشد استفاده از نشانهگذاری HTML را تعیین کرده است.
قاعدههای دیگر برای حفظ اطلاعاتی است که ابزارهای تجزیه معمولاً از دست میدهند. فیلدی از فرم که خالی مانده با [blank] ثبت میشود تا با فیلدی که ابزار ندیده اشتباه گرفته نشود، و چکباکسها به شکل [x] یا [ ] باقی میمانند. نمودارها به جدول داده تبدیل میشوند، با یک ردیف برای هر دسته و یک ستون برای هر سری، و مقدارهایی که از روی میلهها یا نقطهها برآورد میشوند فقط تا دقتی که محور اجازه میدهد گزارش میشوند. دیاگرامها اگر برچسبها و جهت پیکانها قابل حفظ باشد به زبانی مثل Mermaid نوشته میشوند؛ متنی که در فایل هست اما روی صفحه دیده نمیشود کنار گذاشته میشود و متن دیدنی اما ناخوانا با [illegible] علامت میخورد.
DPP از قراردادهای برچسبگذاریای بیرون آمده که LlamaIndex برای حاشیهنویسی صفحههای ParseBench، بنچمارک تجزیه اسناد خودش، به کار میبرد. شرکت آن را کلید پاسخی مشترک معرفی میکند برای هر کسی که بنچمارک میسازد، داده آموزشی برچسب میزند یا خروجی ابزارهای تجزیه را بازبینی میکند، تا دو ارزیابی دیگر برای یک صفحه پاسخهای متفاوتی را درست ندانند. پیشنویس همچنین روشن میکند کدام تفاوتها پذیرفتنی است؛ مثلاً قراردادن ردیفهای جدول در عنصرهای thead و tbody یا حذف آنها هر دو مجاز است، به شرط آنکه سند از ابتدا تا انتها یکدست بماند.
این پروژه بهصورت باز منتشر شده است. کد مخزن run-llama/document_parsing_protocol در GitHub مجوز MIT دارد و متن پروتکل و نمونههایش تحت مجوز CC BY 4.0 عرضه شده که استفاده تجاری را با ذکر منبع آزاد میگذارد. وبسایت همراه پروژه، parseprotocol.com، هر قاعده را کنار خروجی مورد انتظارش نشان میدهد، یک skill برای Claude و یک فایل مرجع برای ChatGPT ارائه میکند تا بتوان قاعدهها را روی تصویر یک صفحه آزمود، و صورت سود و زیان سال مالی 2024 شرکت Apple را گامبهگام بررسی میکند. LlamaIndex از کاربران خواسته هر جا قاعدهای روی اسناد واقعی شکست خورد یا دو قاعده به پاسخهای متفاوت رسیدند، در GitHub یک issue یا pull request ثبت کنند.
این انتشار چند روز پس از معرفی مدل اسنادی OCRia-1 در ۲۲ اکتبر انجام شده و به کسبوکار تجاری تجزیه اسناد این شرکت، یعنی LlamaParse، نزدیک است. به همین دلیل پرسش اصلی بیطرفی است. خود سایت توضیح میدهد که «قطعی» بودن یک قاعده فقط در چارچوب همین پیشنویس معنا دارد و هیچ نهاد بیرونی آن را تأیید نکرده است، و ابزار بررسی همراه آن راهنمای بازبینی است، نه مجموعهای خودکار برای آزمون انطباق. اینکه دیگر سازندگان ابزارهای تجزیه و گردانندگان بنچمارکها DPP را بپذیرند یا با قراردادهای رقیب پاسخ دهند، تعیین میکند این پروتکل به استانداردی مشترک بدل شود یا در حد راهنمای برچسبگذاری یک شرکت باقی بماند.