LlamaIndex سرویس OpenDocRouter را معرفی کرده است؛ یک API واحد برای تبدیل اسناد به Markdown که چندین مدل تجاری و متن‌باز پردازش سند را پشت یک رابط مشترک قرار می‌دهد. هدف محصول، تیم‌هایی هستند که نمی‌خواهند خط ingest خود را به یک موتور OCR یا parser خاص گره بزنند. توسعه‌دهنده می‌تواند سند را از یک رابط ثابت ارسال کند و میان recipeهای پشتیبانی‌شده انتخاب داشته باشد، بدون اینکه با هر تغییر مدل، قرارداد اصلی برنامه را بازنویسی کند.

در نسخه اولیه، OpenDocRouter فایل‌های PDF، PNG و JPEG و همچنین URL را می‌پذیرد. LlamaIndex می‌گوید درخواست‌های synchronous تا ۵۰ صفحه را پوشش می‌دهند و سقف کلی ورودی به ۵۰۰ صفحه یا ۵۰ مگابایت می‌رسد. خروجی اصلی Markdown است و سرویس می‌تواند اطلاعات layout را نیز با مجموعه‌ای مشترک از کلاس‌ها برگرداند. این لایه مشترک به سامانه‌های بعدی کمک می‌کند اجزایی مثل ناحیه متن، جدول و ساختارهای صفحه را حتی با تغییر مدل زیرساختی به شکل یکنواخت‌تری پردازش کنند.

بخش مهم طراحی، recipeهای نسخه‌بندی‌شده است. OpenDocRouter فقط نام مدل را در اختیار کاربر نمی‌گذارد؛ انتخاب مدل و رفتار پردازش در یک تنظیم نسخه‌دار بسته‌بندی می‌شود که می‌توان آن را صریحاً انتخاب کرد. فهرست اولیه ترکیبی از مدل‌های تجاری پیشرفته و سامانه‌های OCR متن‌باز است و گزینه‌هایی از OpenAI، Google و Anthropic را در کنار parserهای باز ارائه می‌کند. هدف این است که مقایسه کیفیت، تأخیر و هزینه بدون ساخت اتصال جداگانه برای هر ارائه‌دهنده امکان‌پذیر شود.

این رویکرد در خط‌های پردازشی ارزش بیشتری دارد که هیچ parser واحدی برای همه اسناد بهترین نتیجه را نمی‌دهد. فاکتور، مقاله پژوهشی، فرم اسکن‌شده و گزارش‌هایی با صفحه‌آرایی پیچیده هرکدام الگوی خطای متفاوتی دارند و رتبه نسبی مدل‌ها نیز با انتشار نسخه‌های تازه تغییر می‌کند. یک API مشترک هزینه آزمایش را پایین می‌آورد و امکان routing هوشمندتر را فراهم می‌کند؛ مثلاً مدل ارزان‌تر برای صفحه ساده و گزینه قوی‌تر برای سند دشوار.

LlamaIndex برای recipeها قیمت‌گذاری مبتنی بر token و نتایج ParseBench منتشر کرده است، اما این مقایسه‌ها باید با احتیاط خوانده شوند. نتیجه یک benchmark کنترل‌شده تضمین نمی‌کند که همان کیفیت روی اسناد واقعی یک شرکت تکرار شود، و تغییرهای ارائه‌دهندگان مدل نیز می‌تواند عملکرد را عوض کند. در کاربردهای مالی، حقوقی یا عملیاتی که خطای استخراج هزینه جدی دارد، ارزیابی روی فایل‌های نماینده همچنان ضروری است.

طبق اعلام LlamaIndex، OpenDocRouter اکنون در دسترس است. اهمیت محصول بیشتر از اینکه در ساخت یک مدل parsing تازه باشد، در استانداردکردن دسترسی به مدل‌های متعدد است. اگر این abstraction در برابر تغییر سریع مدل‌ها پایدار بماند، مسئله ingest اسناد می‌تواند از «اتصال اختصاصی به هر ارائه‌دهنده» به «routing و ارزیابی» منتقل شود. آزمون واقعی این است که لایه مشترک تا چه حد قابلیت‌های مهم هر مدل را حفظ می‌کند و در عین حال پیچیدگی عملیاتی را واقعاً کاهش می‌دهد.

منابع