كثيرًا ما يواجه مطورو الذكاء الاصطناعي والباحثون والمهنيون جدارًا محبطًا عند تحليل المستندات الكبيرة باستخدام ماجستير إدارة الأعمال: التكلفة المخفية والمضاعفة لنوافذ السياق. إن لصق ملف PDF مكون من 200 صفحة في الدردشة لا يتم دفعه لمرة واحدة. ونظرًا لإعادة إرسال سجل المحادثة إلى النموذج في كل دورة، يتم دفع ثمن هذا المستند الضخم مرة أخرى مع كل سؤال متابعة.
تم إصدار فريق Marktechpost AI للتو رمز التوقف، امتداد بروتوكول السياق النموذجي (MCP) مفتوح المصدر لـ Claude Desktop (مرخص من معهد ماساتشوستس للتكنولوجيا، حاليًا في الإصدار 1.0). تم تطويره في Marktechpost AI Media Inc بواسطة Arnav Rai (طالب علوم الكمبيوتر في معهد روتشستر للتكنولوجيا) أثناء فترة تدريبه في Marktechpost، تحت إشراف جان مارك موميسين وآصف رزاق. يغير Token Saver بشكل أساسي كيفية تفاعل Claude مع المستندات المحلية. بتنفيذ أ RAG الهجين المحلي (النظام مباشرة على جهازك، فهو يسمح لك بطرح أسئلة حول ملفات PDF كبيرة الحجم دون تحميل الملف الفعلي إلى النموذج.
يتم تقليل استهلاك الرمز المميز بنسبة 92% إلى 99%، ويتم ضمان الخصوصية، ولا يتطلب الإعداد أي بيئات Python أو تكوينات طرفية.
كيف يبدو!
استنزاف الرمز المخفي لملفات PDF الكبيرة
يفترض معظم المستخدمين أنه عندما يقومون بإسقاط ملف PDF في Claude، فإنه ببساطة يستخرج النص. في الواقع، يقوم سلوك كلود الافتراضي بتحويل كل صفحة إلى صورة للحفاظ على المخططات والتخطيطات، مع استخراج النص بشكل منفصل. قبل أن يتم حساب رمز مميز لصورة واحدة، يمكن للنص وحده تشغيل ما بين 1500 إلى 3000 رمز مميز لكل صفحة.
في حين أن التخزين المؤقت الفوري ومشروعات Claude يساعدان في تخفيف هذه الضربة، إلا أنهما لا يحلان المشكلة الأساسية: لا يزال المستند بأكمله يتجاوز الحدود إلى خوادم الموفر. علاوة على ذلك، إذا كنت تحتاج فقط إلى فقرتين ذات صلة من كتاب مدرسي مكون من 1000 صفحة، فإن إجبار ماجستير القانون على البحث في الألف صفحة بأكملها بنفسه يعد أمرًا غير فعال وعرضة للهلوسة.
كيف يحل RAG الهجين المحلي المشكلة
ماركتكبوست رمز التوقف يعمل كخادم MCP محلي: برنامج خلفية خفيف الوزن على جهازك يمكن لكلود الاتصال به كأداة. لا يترك ملف PDF محرك الأقراص الثابتة لديك أبدًا.
عندما تطرح سؤالاً، يستخدم Token Saver RAG الهجين المحلي للعثور على الجواب. يعد Hybrid RAG هو المعيار الذهبي لاسترجاع المستندات لأنه يجمع بين طريقتين قويتين للبحث:
- مطابقة الكلمات الرئيسية (BM25): يتم تشغيله عبر بحث FTS5 المدمج في SQLite (المرجح بـ 0.4) للعثور على المصطلحات الدقيقة.
- البحث الدلالي (تشابه جيب التمام): يستخدم المحلية الكل-MiniLM-L6-v2 نموذج التضمين (المرجح بـ 0.6) لفهم معنى لسؤالك، بدلاً من مجرد مطابقة الكلمات بالضبط.
من خلال مزج هذين النهجين محليًا، يبحث الخادم في الملف ويسلم كلود المقاطع ذات الصلة للغاية فقط. يقوم كلود بعد ذلك بتجميع الإجابة، مشيرًا إلى أرقام الصفحات الدقيقة ويقدم إحصاء مستمرًا للرموز المميزة التي قمت بحفظها للتو.
خط أنابيب المعالجة ذو 8 مراحل
يعمل Token Saver بالكامل داخل عملية محلية واحدة طويلة الأمد. قبل أن يصل أي نص إلى كلود، ينفذ خط أنابيب Hybrid RAG المحلي ثماني خطوات سريعة:
- يستخرج: يستخدم pypdfium2 (مع pypdf كبديل) لسحب النص.
- قطعة: يقسم النص إلى فقرات مكونة من 180 كلمة، متداخلة بـ 40 كلمة بحيث لا يتم قطع السياق بشكل أعمى أبدًا.
- النتيجة (RAG الهجين): يقيم القطع باستخدام نموذج BM25 المخلوط ونموذج التضمين المحلي.
- بوابة: يفرض عتبة الجودة. يجب أن تتجاوز المقاطع التي لا تحتوي على كلمات رئيسية محددة حد تشابه دلالي يبلغ 0.25 حتى تكون مؤهلة.
- إلغاء التكرار: يسقط ممرات شبه متطابقة.
- تقليم: يضيق المقطع بدقة إلى الجمل التي تجيب على مطالبة المستخدم.
- ميزانية: يحدد إجمالي الحمولة المرسلة إلى Claude بـ 8000 حرف.
- ظرف: يلتف النص المسترد في عنصر قطعة مستند يحتوي على الملف المصدر ورقم الصفحة الدقيق.
(ملاحظة: نموذج التضمين اختياري ولكن يوصى به. إذا فشل تحميله، يعود النظام بأمان إلى مطابقة الكلمات الرئيسية فقط).
الأرقام: توفير بنسبة 99% على نطاق واسع
نظرًا لأن خط أنابيب Hybrid RAG يغطي شريحة النص التي تم إرجاعها، فإن توفير الرمز المميز ينمو بشكل كبير مع حجم المستند. إليك كيفية أداء Token Saver في قياس الأداء (يتم قياسه عبر tiktoken، بافتراض سؤال واحد لكل مستند):
| وثيقة | الصفحات | رموز المستند الكاملة | الرموز المعادة | الرموز المحفوظة |
| تسمية الدواء FDA | 33 | 23,959 | 1,021 | 95.7% |
| اللائحة العامة لحماية البيانات (الاتحاد الأوروبي 679/2016) | 88 | 70,260 | 996 | 98.6% |
| SFFA ضد هارفارد | 233 | 133,349 | 740 | 99.4% |
إخلاء المسؤولية: تستخدم أعداد الرموز المميزة cl100k_base كبديل، وتفترض الخطوط الأساسية أنه يتم تحصيل رسوم من المستند بأكمله في كل عملية بحث.
بالنسبة للمحترفين الذين يعملون بشكل متكرر مع آراء المحكمة أو المعايير الفنية أو التقارير المالية أو الكتب المدرسية الكثيفة، يلغي Token Saver ضريبة الرمز المميز المتكررة.
الأمن والخصوصية المحلية
بالنسبة لمستخدمي المؤسسات والمهنيين القانونيين، خصوصية البيانات غير قابلة للتفاوض. يعتمد نموذج أمان Token Saver على ثلاث ركائز:
- التحميلات صفر: لا يغادر المستند جهازك أبدًا.
- القائمة المسموح بها للمجلدات: يمكنك تكوين مجلد محدد لـ Token Saver. سيرفض الخادم بشكل نشط قراءة الملفات خارج هذا الدليل المعين.
- عزل الشبكة: يتصل الخادم مع Claude Desktop عبر الإدخال/الإخراج القياسي (stdio) فقط. لا توجد منافذ شبكة تنصت، مما يقلل بشكل كبير من مساحة الهجوم.
أداء النموذج: Sonnet vs. Opus
ماركتكبوست يعمل Token Saver عبر جميع مستويات Claude 3.5 الثلاثة، لكن الاختبار كشف عن سلوكيات مميزة:
- كلود 3.5 السوناتة (مستحسن): الافتراضي المعقول. فهو يتعامل مع مراجع الملفات الفضفاضة بشكل مثالي، ويطرح أسئلة توضيحية إذا كان هناك ملفان لهما أسماء متشابهة، ويطبق أرقام الصفحات المستردة بشكل صحيح.
- كلود 3 التأليف: يتفوق في المستندات المعقدة ذات الأصوات المتعددة (على سبيل المثال، الأحكام القانونية ذات آراء الأغلبية والمعارضة). تتمتع Opus بالذكاء الكافي للتنبيه عندما تستنتج الإسناد بناءً على السياق بدلاً من النص الصريح.
البدء في دقائق
على عكس العديد من أدوات الذكاء الاصطناعي مفتوحة المصدر التي تتطلب بيئات Python المعقدة وتكوينات JSON، يتم تجميع Token Saver كأداة واحدة .mcpb باقة.
- قم بتنزيل token-saver-ccr.mcpb من صفحة إصدارات GitHub الخاصة بالمشروع.
- يفتح كلود سطح المكتب -> إعدادات -> ملحقات -> تثبيت التمديد.
- تمكين الامتداد، انقر فوق تكوين، وحدد مجلدًا مخصصًا يمكنك من خلاله الاحتفاظ بملفات PDF المرجعية.
- في الموجه الأول، اختر السماح دائما.
لن يتم تشغيل الامتداد حتى يتم اختيار المجلد، لأن هذا الاختيار الفردي يخدم ثلاثة أغراض في وقت واحد.
هذا المجلد يستحق التفكير للحظة. إنه يحدد حدود ما يمكن قراءته، وهو ما يتيح لك طلب ملف بالاسم بدلاً من كتابة المسار، وهي القائمة التي يعرضها الخادم لكلود عندما تبدأ المحادثة. يعمل المجلد الصغير الذي يحتوي فقط على ما تنوي السؤال عنه بشكل أفضل بكثير من الإشارة إليه في جميع المستندات.
الوجبات السريعة الرئيسية
- تخفيض هائل في التكلفة: باستخدام Local Hybrid RAG لتمرير الفقرات ذات الصلة فقط إلى LLM، تنخفض تكاليف الرمز المميز بنسبة تصل إلى 99%. كلما طالت الدردشة، كلما وفرت أكثر.
- دقة يمكن التحقق منها: نظرًا لأن Token Saver يقوم بإرفاق أرقام الصفحات الدقيقة لكل جزء تم استرداده، يمكنك التحقق على الفور من مطالبات Claude عن طريق فتح ملف PDF المحلي الخاص بك.
- الخصوصية المطلقة: الحدود هي جهازك المحلي. لا يتم أبدًا تحميل بيانات الملكية الخاصة بك إلى خادم مزود الذكاء الاصطناعي.
- إعداد بدون احتكاك: لا حاجة لبيثون. يؤدي تثبيت ملف .mcpb البسيط إلى تشغيل Claude Desktop على الفور.
تحقق من جيثب ريبو.
المراجع: تنسيق حزمة MCP | الكل MiniLM-L6-v2 | pdfkb-mcp | ويسليجريفين/pdfrag | الجسد: دوبس ضد منظمة صحة المرأة جاكسون; تقرير بيركشاير هاثاواي السنوي 2023
أرناف حاليًا طالب في معهد روتشستر للتكنولوجيا يسعى للحصول على درجة البكالوريوس في علوم الكمبيوتر وتخصص ثانوي في الاقتصاد مع خبرة عملية في تطوير الواجهة الخلفية، وهو مساهم في Marktechpost، حيث يكتب عن أبحاث الذكاء الاصطناعي/تعلم الآلة.
جان مارك هو مدير تنفيذي ناجح في مجال الذكاء الاصطناعي. وهو يقود ويسرع نمو الحلول التي تعمل بالذكاء الاصطناعي وأنشأ شركة للرؤية الحاسوبية في عام 2006. وهو متحدث معروف في مؤتمرات الذكاء الاصطناعي وحاصل على ماجستير إدارة الأعمال من جامعة ستانفورد.
آصف رزاق هو الرئيس التنفيذي لشركة Marktechpost Media Inc.. بصفته رجل أعمال ومهندسًا صاحب رؤية، يلتزم آصف بتسخير إمكانات الذكاء الاصطناعي لتحقيق الصالح الاجتماعي. وكان أحدث مساعيه هو إطلاق منصة وسائط الذكاء الاصطناعي، Marktechpost، والتي تتميز بتغطيتها المتعمقة لأخبار التعلم الآلي والتعلم العميق التي تتميز بأنها سليمة من الناحية التقنية وسهلة الفهم من قبل جمهور واسع. تتمتع المنصة بأكثر من 2 مليون مشاهدة شهريًا، مما يوضح شعبيتها بين الجماهير.
اكتشاف المزيد من كحيل | أخبار التقنية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
