ویرگول
ورودثبت نام
علی معمری
علی معمریهر آنچه که به علم و هنر مربوط می‌شود
علی معمری
علی معمری
خواندن ۲ دقیقه·۴ ماه پیش

تجربه‌ای از خواندن متن PDF با Vision Language Models

شکل ۱. VLM عمومی، قسمت‌هایی از فایل PDF را که نتواند تشخیص دهد، در خروجی حذف می‌کند.
شکل ۱. VLM عمومی، قسمت‌هایی از فایل PDF را که نتواند تشخیص دهد، در خروجی حذف می‌کند.
  • ‏PDF parserهایی مثل pypdf روی همهٔ فایل‌ها عملکرد یکسانی ندارن و مخصوصاً در سندهای اسکن‌شده، جدول‌های پیچیده، چندستونه‌ها، فونت‌های خاص یا layoutهای نامعمول با محدودیت‌های جدی مواجه می‌شن. از طرفی، مدل‌های Vision-Language مثل Gemma و Qwen3-VL توانایی درک تصویر دارن و روی بسیاری از تصاویر معمول هم عملکرد خیلی خوبی دارن.

    اما سؤال اصلی: آیا می‌توان از این مدل‌ها به‌عنوان یک PDF parser قابل اتکا استفاده کرد؟ یعنی مدل می‌تونه متن دقیق از PDF استخراج کنه، ساختار جدول‌ها را حفظ کنه، و در موارد حساسی مثل تاریخ‌ها، اعداد، مبلغ‌ها و شناسه‌ها خطا نداشته باشه؟

    من این سناریو رو با Docling و مدل‌های gemma4:26b، gemma3:27b و Qwen3:VL-8B تست کردم. با وجود اینکه خود مدل‌ها از نظر کلی مدل قدرتمندی هستن، خروجی در این مورد برای من قابل اتکا نبود. در خروجی، بعضی بخش‌ها حذف شده بود، برخی مقادیر اشتباه تشخیص داده شده بودن و ساختار بعضی جدول‌ها یا بلوک‌های سند درست بازسازی نشده بود.

    مسئلهٔ اصلی اینجاست که VLMهای عمومی ذاتاً مدل‌های مولد هستن. اگر موفق نشن بخشی از تصویر یا متن رو با اطمینان تشخیص بدن، الزاماً متوقف نمی‌شن یا خطا نمی‌دن؛ بلکه ممکنه به جاش چیز نادرستی رو حدس بزنن. همین مسئله باعث می‌شه خروجی گاهی ظاهراً تمیز و منسجم باشه، اما در جزئیات مهم اشتباه داشته باشه.

    این محدودیت برای اسناد مهم خطرناکه، مخصوصاً وقتی استخراج دقیق اطلاعاتی مثل تاریخ‌ها، اعداد، مبلغ‌ها، نام‌ها یا فیلدهای قراردادی ضروری هستن.

جمع‌بندی تجربهٔ من

‏VLMهای عمومی، حتی اگر درک تصویری خوبی داشته باشن، الزاماً PDF parser یا OCR قابل اتکا نیستن. برای اسنادی که دقت در تاریخ‌ها، اعداد، مبلغ‌ها و ساختار جدول‌ها حیاتی هستش، استفادهٔ مستقیم از VLM بدون validation می‌تونه خطرناک باشه. در چنین مواردی بهتره از OCR/Document AI تخصصی استفاده بشه، یا سراغ مدل‌هایی رفت که مشخصاً برای OCR و document parsing آموزش داده شدن، مثل Deepseek OCR.

لازمه اشاره کنم که من مدل‌های تجاری مثل GPT-5 رو بررسی نکردم و با یک مدل‌های 27b و 8b این کار رو انجام دادم، ممکنه خروجی با مدل‌های تجاری خیلی قدرتمند متفاوت باشه.

کد Docling برای استفاده از API Ollama به‌عنوان VLM Engine:
🔗 https://docling-project.github.io/docling/examples/vlm_pipeline_api_model.py

کدی که برای استفادهٔ راحت‌تر شخصی‌سازی کردم:
🔗 https://gist.github.com/alimoameri/b3888b309a0b2208aa39af095d85f078

ocr
۱
۰
علی معمری
علی معمری
هر آنچه که به علم و هنر مربوط می‌شود
شاید از این پست‌ها خوشتان بیاید