أصدرت Datalab Marker 2، إعادة كتابة كاملة لخط أنابيب تحويل المستندات مفتوحة المصدر. يقوم Marker بتحويل ملفات PDF، والصور، وPPTX، وDOCX، وXLSX، وHTML، وEPUB إلى ملفات Markdown، أو JSON، أو HTML، أو قطع. أعاد فريق Datalab بناءه حول ثلاثة مكونات تم شحنها خلال الأشهر السابقة: سوريا التعرف الضوئي على الحروف 2، أ نموذج تخطيط سريع 20M-param، وإعادة بنائها pdftext وهذا أسرع بمقدار 3 × من السابق.
تأتي النتيجة الرئيسية من olmOCR-bench، وهو معيار مرجعي تابع لجهة خارجية من Allen AI. سجل الوضع المتوازن لـ Marker 2 76.0% بشكل عام و83.5% على ملفات PDF الرقمية الأصلية. يدعم 2.9 صفحة في الثانية على وحدة معالجة الرسومات B200 واحدة. وهذا يزيد عن 5 × إنتاجية الواجهة الخلفية لخط أنابيب MinerU، والتي تسجل 72.7% عند 0.54 صفحة في الثانية. يسجل Docling نسبة 50.3% بمعدل 2.1 صفحة في الثانية على نفس الحزام.
ما الجديد في ماركر 2
تعرض العلامة 2 ثلاثة مسارات تحويل بدلاً من مسار واحد:
- متوازن – يتعامل Surya VLM مع التخطيط، وتتم إعادة التعرف الضوئي على الحروف للصفحة بأكملها عندما يكون النص المضمن سيئًا. أعلى جودة، والأفضل على وحدة معالجة الرسومات. 76.0% olmOCR-bench.
- سريع – كاشف تخطيط rf-detr/onnx خفيف الوزن بالإضافة إلى نص pdf، مع الحد الأدنى من استخدام VLM الجراحي. 66.6%وأرخص بكثير.
- –disable_ocr – استخراج طبقة نصية خالصة، بدون مكالمات VLM على الإطلاق. يعمل بالكامل على وحدة المعالجة المركزية. 43.6%، 23.7 بيكوغرام/ثانية.
الوضع الآن الجهاز على علم بشكل افتراضي: متوازن على وحدة معالجة الرسومات، وسريع على وحدة المعالجة المركزية/MPS، ويمكن تجاوزه باستخدام الوضع. الدعم الكامل لوحدة المعالجة المركزية هو التغيير الهيكلي الثاني. لا يحتاج fast –disable_ocr إلى وحدة معالجة رسومات (GPU) ولا خادم استدلال، ولا يزال نموذج التخطيط 20M يقرأ الأعمدة والجداول والرؤوس على وحدة المعالجة المركزية (CPU).
التغيير الثالث معماري، وهو الذي ينتج أرقام الإنتاجية. يتشارك العديد من العاملين في وحدة المعالجة المركزية (CPU) في خادم استدلال Surya واحد. تقوم العملية الأصلية بموازنة تزامن VLM عبرها، لذا يتم قياس الإنتاجية مع سعة الخادم بدلاً من VRAM لكل عملية. تشير Datalab إلى أن الوضع المتوازن يحافظ على 2.9 بيكوغرام/ثانية تقريبًا مقابل معدل تيار فردي يبلغ 0.3 بيكوغرام/ثانية على نفس الجهاز.
من الجدير وضع علامة على التغييرات العاجلة قبل الترقية. مطلوب الآن بايثون 3.10+. انتقلت التعبئة والتغليف من الشعر إلى الأشعة فوق البنفسجية، مع التظليل كواجهة خلفية للبناء، على الرغم من أن pip install marker-pdf لم يتغير. تمت إزالة محول الاستخراج المنظم ومستخرجات؛ يقوم Datalab بتوجيه المستخدمين إلى واجهة برمجة التطبيقات المستضافة أو سير عمل –use_llm بدلاً من ذلك.
مقارنة
معيار التهديف هو olmOCR-bench من Ai2: 1,403 ملف PDF مع ما يقرب من 8,400 اختبار وحدة نجاح/فشل يغطي عرض الرياضيات، وبنية الجدول، وترتيب القراءة، والرؤوس والتذييلات، وعمليات المسح القديمة. النتيجة الإجمالية هي المتوسط الكلي عبر الفئات الثماني، ويتم حسابها باستخدام مدقق مقاعد البدلاء الرسمي olmOCR. يتم الحفاظ على الإنتاجية متزامن pg/s على مضيف B200 واحد، وليس زمن استجابة للبث الفردي.
ملاحظة حول المصدر. يعد olmOCR-bench معيارًا مرجعيًا لجهة خارجية من Ai2، ولكن كل نتيجة ورقم إنتاجية أدناه يأتي من عمليات التشغيل الخاصة بـ Datalab. جميعها قابلة للتكرار من خلال الحزام المفتوح في مستودع Marker، الذي يشحن العدائين المنافسين لـ MinerU وDocling وLiteParse جنبًا إلى جنب مع مستودع Marker.
تعكس هذه الأرقام أيضًا مجموعة مستندات معيارية واحدة تم قياسها على إعداد جهاز واحد، لذلك قد تختلف النتائج على مستنداتك الخاصة. يجب على الفرق التي تقوم بتقييم هذه الأنظمة أن تستخدم أدواتها في مواجهة مجموعتها الخاصة، وهي الطريقة الوحيدة لمعرفة ترتيب الأربعة في المستندات التي يقومون بمعالجتها فعليًا.
ماركر 2 ضد مينر يو
تعد الواجهة الخلفية لخط أنابيب MinerU هي أقرب تطابق معماري. كلاهما يقرأ طبقة نص PDF والتعرف الضوئي على الحروف بشكل انتقائي. على النتيجة الإجمالية، يتقدم ماركر المتوازن 76.0 إلى 72.7. في المستندات الرقمية المولودة، يرتبط الاثنان بشكل فعال: 83.5 مقابل 83.3.
الفصل هو الإنتاجية. يحمل العلامة المتوازنة 2.9 بيكوغرام / ثانية مقابل 0.54 بيكوغرام / ثانية لـ MinerU، بفارق 5.4 × عند درجة أعلى. يحافظ Marker Fast على 7.4 بيكوغرام/ثانية، أي ما يقرب من 13.7 × معدل خط أنابيب MinerU، لكنه يسجل 6.1 نقطة أقل من MinerU للقيام بذلك.
تقوم MinerU أيضًا بشحن أ الواجهة الخلفية لـ VLM، والتي تشير Datalab إلى أنها حصلت على درجات أعلى من الواجهة الخلفية لخط الأنابيب الخاص بها. هذه الواجهة الخلفية هي طريقة VLM للصفحة الكاملة وهي غير موجودة في هذا الجدول. يجب على فرق الذكاء الاصطناعي التي تقوم بتقييم MinerU قياس هذا المسار بشكل منفصل.
ماركر 2 ضد دوكلينج
Docling هو الهامش الأوسع بين خطوط أنابيب GPU. تقدم العلامات المتوازنة 76.0 إلى 50.3 بشكل عام ومن 83.5 إلى 64.0 على الأجهزة الرقمية الأصلية، بينما تعمل أيضًا بشكل أسرع: 2.9 بيكوغرام/ثانية مقابل 2.1 بيكوغرام/ثانية. يلاحظ Datalab أنه تم تشغيل Docling على المسار الافتراضي الخاص به، والذي يستخدم طبقة النص للصفحات الرقمية الأصلية وOCR لمناطق الصور.
إن الثقل الموازن لـ Docling هو الحوكمة واتساع التنسيق، وليس الدقة. قاعدة التعليمات البرمجية هي مرخص من معهد ماساتشوستس للتكنولوجيا، نشأ في IBM Research، ويتم استضافته كمشروع في مؤسسة LF للذكاء الاصطناعي والبيانات. تعمل قائمة الإدخال الخاصة بها أيضًا على توسيع المستندات السابقة إلى تنسيقات الصوت والبريد الإلكتروني.
ماركر 2 مقابل LiteParse
LiteParse، من فريق LlamaIndex، هو محلل مستندات Rust. ولا تتنافس على نفس المحور. على وحدة المعالجة المركزية، سجلت 22.4 نقطة بشكل عام و20.4 مع إيقاف التعرف الضوئي على الحروف، مقابل 43.6 وحدة المعالجة المركزية الخاصة بـ Marker فقط.
لكن LiteParse مع تقارير التعرف الضوئي على الحروف معطلة 1721 بيكوغرام / ثانية – ما يقرب من 73 × وضع وحدة المعالجة المركزية لـ Marker، وهي المقايضة. يقوم Marker’s fast –disable_ocr بتشغيل نموذج تخطيط 20M على وحدة المعالجة المركزية ولا يزال يستعيد البنية، وهذا هو السبب في أنه يضاعف نتيجة تفريغ النص العادي بأكثر من الضعف. ليس لدى LiteParse نموذج تخطيط وينهار على أي شيء غير خطي.
Marker 2 مقابل طبقة VLM للصفحة الكاملة
يؤكد فريق Datalab على أن Marker مصمم كخط أنابيب بدلاً من VLM، موضحًا أن هذه أدوات متميزة. في هذا التقييم، استضافتهم شاندرا 2 حصل برنامج Gemini Flash 3.5 عبر API على 85.8 نقطة، بينما حصل برنامج Gemini Flash 3.5 على 76.4 نقطة. يقوم مستودع Chandra الخاص بـ Datalab أيضًا بوضع olmOCR 2 الخاص بـ Ai2 عند 82.4 وdots.ocr 1.5 عند 83.9 ضمن جدول منفصل. بالنسبة لعمليات المسح والصفحات ذات العمليات الحسابية الثقيلة وتحقيق أعلى دقة، تظل طبقة VLM متفوقة على جميع خطوط الأنابيب المدرجة.
يعمل الوضع المتوازن لـ Marker على تضييق فجوة الأداء إلى 0.4 نقطة فقط خلف Gemini Flash 3.5 بشكل عام، بل ويتفوق عليه في المستندات الرقمية الأصلية بهامش 83.5 إلى 79.1 – دون الحاجة إلى استدعاء واجهة برمجة التطبيقات لكل صفحة.
السلوك لكل فئة
الوضع الذي تختاره يغير ملف تعريف الفشل، وليس النتيجة فقط. كل صف عبارة عن فئة مقعد olmOCR واحدة، يتم تسجيلها عبر الأوضاع الثلاثة. الرياضيات هي الحافة الحادة: يقرأ الوضع السريع المعادلات من طبقة نص PDF بدلاً من VLM-OCRing لها، لذلك تنخفض قيمة arXiv math من 83.9 إلى 23.4، ويسجل –disable_ocr 0.0 هناك حسب التصميم. خارج فئتي الرياضيات، تعد عمليات المسح القديمة هي الأضعف في كل وضع، حيث تصل إلى 43.2.
الترخيص
هذا هو المكان الذي تتباين فيه الأنظمة الأربعة أكثر بالنسبة للفرق التجارية:
- علامة: الكود هو أباتشي 2.0. تستخدم الأوزان النموذجية ترخيص AI Pubs OpenRAIL-M المعدل – مجانًا للبحث والاستخدام الشخصي والشركات الناشئة التي يقل تمويلها/إيراداتها عن 5 ملايين دولار أمريكي. علاوة على ذلك، يتطلب الاستخدام التجاري للأوزان ترخيصًا مدفوع الأجر.
- مينر يو: الآن بموجب ترخيص MinerU مفتوح المصدر، استنادًا إلى Apache 2.0 مع شروط إضافية. مطلوب ترخيص تجاري منفصل يزيد عن 100 مليون MAU أو 20 مليون دولار أمريكي من الإيرادات الشهرية، ويجب أن تكشف الخدمات عبر الإنترنت المبنية عليه عن هذه الحقيقة.
- التوثيق: MIT، مع تراخيص النماذج التي يتم تتبعها بشكل منفصل في حزمها الأصلية.
- لايتبارس: مفتوح المصدر، من run-llama، مع وضع LlamaParse كمسار سحابي مدفوع للمستندات الصلبة.
حالة الاستخدام- المقارنة
النتيجة وحدها لا تختار الأداة. يحدد ذلك نوع المجموعة والأجهزة ونطاق الترخيص وتنسيق الإخراج. جرب المنتقي التفاعلي أدناه لتصفية عشرة سيناريوهات نشر حسب القيد والأداة، واعرف المحلل اللغوي الذي يناسب حالة الاستخدام الخاصة بك.
الوجبات السريعة الرئيسية
- سجلت Marker 2 درجات متوازنة تبلغ 76.0% على olmOCR-bench بمعدل 2.9 بيكوغرام/ثانية – أكثر من 5 × إنتاجية خط أنابيب MinerU.
- إنه يتفوق على Docling على كلا المحورين في وقت واحد: 76.0% مقابل 50.3%، و2.9 بيكوغرام/ثانية مقابل 2.1 بيكوغرام/ثانية.
- يستبدل LiteParse البنية بالسرعة – 1721 صفحة/ثانية مع إيقاف التعرف الضوئي على الحروف، ولكن بنسبة 20.4% مقابل 43.6% لـ Marker على وحدة المعالجة المركزية.
- يعمل الوضع السريع مع –disable_ocr بالكامل على وحدة المعالجة المركزية، بدون خادم استدلال، بسرعة 23.7 بيكوغرام/ثانية.
- يقسم الترخيص المجال: Docling هو MIT، ويظل MinerU مجانيًا بإيرادات شهرية تبلغ 20 مليون دولار، وتحتاج أوزان Marker إلى ترخيص مدفوع يزيد عن 5 ملايين دولار.
- يتم شحن جميع أرقام القياس والإنتاجية بمقاييس/أدوات قابلة للتكرار.
الشرح الديناميكي التفاعلي
الروابط: جيثب الريبو | ملاحظات الإصدار | تدوينة | تغريدة اعلان
آصف رزاق هو الرئيس التنفيذي لشركة Marktechpost Media Inc.. بصفته رجل أعمال ومهندسًا صاحب رؤية، يلتزم آصف بتسخير إمكانات الذكاء الاصطناعي لتحقيق الصالح الاجتماعي. وكان أحدث مساعيه هو إطلاق منصة وسائط الذكاء الاصطناعي، Marktechpost، والتي تتميز بتغطيتها المتعمقة لأخبار التعلم الآلي والتعلم العميق التي تتميز بأنها سليمة من الناحية التقنية وسهلة الفهم من قبل جمهور واسع. تتمتع المنصة بأكثر من 2 مليون مشاهدة شهريًا، مما يوضح شعبيتها بين الجماهير.
اكتشاف المزيد من كحيل | أخبار التقنية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
