الذكاء الاصطناعي السائل يقدم LFM2.5-Embedding-350M وLFM2.5-ColBERT-350M: نماذج التشفير الثنائي الكثيفة ونماذج التفاعل المتأخر للبحث السريع متعدد اللغات عبر 11 لغة

أصدرت Liquid AI هذا الأسبوع نموذجين جديدين للاسترجاع. هم LFM2.5-كولبيرت-350M و LFM2.5-التضمين-350M. كلاهما يحمل 350 مليون معلمة. كلاهما أول عضو ثنائي الاتجاه في عائلة LFM. يبنون على LFM2.5-350M-قاعدة، صدر في مارس. يستهدف هذا الزوج البحث السريع متعدد اللغات وعبر اللغات عبر 11 لغة. حجمها صغير بما يكفي لتشغيلها في أي مكان تقريبًا. كلاهما متاح الآن على Hugging Face بموجب ترخيص LFM المفتوح v1.0.

مستردات LFM2.5

يشترك النموذجان في عمود فقري واحد ولكنهما يمثلان النص بشكل مختلف. LFM2.5-التضمين-350M هو تشفير ثنائي كثيف. فهو يحول كل مستند إلى ناقل واحد. اختره عندما تريد أسرع بحث وأصغر وأرخص فهرس.

LFM2.5-كولبيرت-350M هو نموذج التفاعل المتأخر. يقوم بتحويل كل رمز مميز إلى متجه بدلاً من ناقل واحد لكل مستند. يتيح ذلك إمكانية مطابقة الاستعلامات كلمة بكلمة للحصول على دقة أعلى وتعميم أفضل. المقايضة هي مؤشر أكبر. اخترها عندما تكون الدقة أكثر أهمية من التخزين. يبلغ طول الاستعلام الخاص به 32 رمزًا مميزًا. يمكنه أيضًا إعادة ترتيب نتائج المسترد في المرحلة الأولى دون إنشاء فهرس.

كلاهما يستهدف البحث في سياق قصير. تتضمن الملاءمات الجيدة كتالوجات المنتجات وقواعد المعرفة للأسئلة الشائعة ومستندات الدعم. يعمل الذكاء الاصطناعي السائل على وضع كل من استبدال المنسدلة لخط أنابيب RAG الحالي.

التغيير المعماري: السببي إلى ثنائي الاتجاه

يبدأ كلا الطرازين من قاعدة LFM2.5-350M، وهي نقطة تفتيش للأغراض العامة متوسطة التدريب. يطبق الذكاء الاصطناعي السائل مجموعة صغيرة من بقع ثنائية الاتجاه إلى بنية LFM2. تعمل هذه على تكييفها من وحدة فك التشفير السببية إلى وحدة التشفير ثنائية الاتجاه.

في الإعداد السببي، يستخدم كل رمز مميز فقط نفسه والرموز المميزة السابقة. يناسب هذا الجيل من اليسار إلى اليمين ولكنه أقل طبيعية للاسترجاع. يستبدل الفريق قناع الاهتمام السببي بقناع ثنائي الاتجاه. الآن يمكن لكل رمز مميز أن يحضر السياق الأيمن والأيسر. كما أنها تجعل تلافيفات LFM2 القصيرة غير سببية. تعمل هذه على مزج المعلومات المحلية بشكل متماثل حول كل رمز، وليس فقط من الماضي.

وهذا يحافظ على كفاءة العمود الفقري LFM2 مع إنتاج احتياجات استرجاع تمثيلات السياق الكامل. يحتوي كل نموذج على 17 طبقة: 10 طبقات ملتوية، و6 طبقات انتباه، وطبقة واحدة مجمعة أو كثيفة. يصل طول السياق إلى 32,768 رمزًا مميزًا، على الرغم من ضبط المستندات على 512 رمزًا مميزًا. من جهاز التشفير المشترك، يختلف النموذجان فقط في الإخراج. يستخدم التضمين التجميع بنمط CLS لمتجه واحد 1024 خافت. يحتفظ ColBERT بتضمينات 128 باهتة لكل رمز مميز للتفاعل المتأخر مع MaxSim.

التدريب والبيانات

يتبع كلا النموذجين نفس الوصفة المكونة من ثلاث مراحل:

• المرحلة الأولى هي التدريب المسبق المتباين واسع النطاق في اللغة الإنجليزية.
• المرحلة الثانية هي التقطير متعدد اللغات ومتعدد اللغات من معلم قوي لجميع اللغات الـ 11.
• المرحلة الثالثة هي الضبط النهائي للسلبيات المستخرجة بصعوبة.

يتلقى نموذج التضمين بيانات متعددة اللغات أكثر قليلاً من ColBERT. يظهر الاسترجاع عبر اللغات بشكل أكثر طبيعية في إعداد التفاعل المتأخر. تجمع بيانات التدريب بين البيانات الداخلية المنسقة ومجموعات بيانات الاسترجاع مفتوحة المصدر باللغة الإنجليزية. تعمل الترجمة المستندة إلى LLM على توسيع الأزواج متعددة اللغات وعبر اللغات.

المعيار

قام Liquid AI بتقييم قدرتين. الأول هو الاسترجاع متعدد اللغات باستخدام NanoBEIR. والثاني هو ضمان الجودة في المجال المفتوح عبر اللغات مع MKQA-11. يقدم كلا التقريرين النتائج بجميع اللغات الـ 11: العربية والألمانية والإنجليزية والإسبانية والفرنسية والإيطالية واليابانية والكورية والنرويجية والبرتغالية والسويدية.

في المتوسط، كلا النموذجين يقودان صفهما. وإليكم تفاصيل المقارنة:

يتقدم ColBERT في كلا المتوسطين. التضمين قريب من MKQA-11 عند 0.691. كلاهما تغلب على Qwen3-Embedding-0.6B، وهو نموذج أكبر. يعمل ColBERT الجديد أيضًا على تحسين الطراز السابق LFM2-ColBERT-350M، من 0.540 إلى 0.605 على NanoBEIR. يشير Liquid AI أيضًا إلى أن NanoBEIR English يتتبع BEIR الكامل الأكثر تكلفة. يظل الاثنان مترابطين بشكل كبير، حيث سجل NanoBEIR أعلى بنسبة 15٪ تقريبًا. ولذلك يستخدم فريق البحث NanoBEIR كبديل عملي أثناء الدورات التدريبية.

الكمون ونشر الحافة

أصدر Liquid AI متغيرات GGUF لـ llama.cpp. يتيح ذلك تشغيل كلا الطرازين على وحدات المعالجة المركزية وأجهزة الكمبيوتر المحمولة والأجهزة المتطورة. تستخدم الأشكال أدناه جهاز MacBook Pro M4 Max في FP16. الاستعلامات عبارة عن 32 رمزًا؛ الوثائق هي 256 الرموز.

عندما يتم حساب عمليات تضمين المستندات مسبقًا، يظل زمن استجابة الاستعلام المتوسط ​​(p50) أقل من 10 مللي ثانية. يؤدي ترميز المستندات في وقت الاستعلام إلى دفع ColBERT إلى 34.3 مللي ثانية. على مستوى المؤسسات، قامت شركة Liquid AI أيضًا ببناء حزمة GPU داخلية. على H100 عند FP16، يلاحظ زمن وصول منخفض يصل إلى 1 مللي ثانية. وقت استجابة استعلام التضمين هو 1.5 مللي ثانية p50.

استخدام الحالات مع الأمثلة

• التجارة الإلكترونية: ابحث في كتالوج المنتجات عبر العديد من اللغات باستخدام فهرس واحد. يكتب أحد المتسوقين استعلامًا باللغة الكورية ويظهر النظام قائمة منتجات باللغة الإنجليزية. الاسترجاع عبر اللغات يجعل هذا العمل بدون فهارس لكل لغة.
• الأسئلة الشائعة ودعم قواعد المعرفة: احصل على الإجابة الصحيحة بشكل موثوق عبر الأسطح التي تواجه العملاء. يعين سؤال الدعم الفرنسي مقالة تعليمات باللغة الإنجليزية.
• البحث الدلالي على الجهاز: البحث في الملفات ورسائل البريد الإلكتروني والملاحظات محليًا على أجهزة المستهلك. يحتفظ تصميم GGUF بالبيانات الموجودة على الجهاز بتكلفة تقترب من الصفر.
• مساعدو المعرفة المؤسسية: استرداد المستندات القانونية والمالية والفنية الداخلية عبر اللغات. يناسب ColBERT هذا عندما تفوق دقة الإجابة حجم الفهرس.

الكود: البدء

يتم تشغيل نموذج التضمين sentence-transformers. قم دائمًا بتمرير المطالبات غير المتماثلة، query: و document:. يؤدي حذفها بصمت إلى تدهور جودة الاسترجاع.

from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "LiquidAI/LFM2.5-Embedding-350M",
    trust_remote_code=True,
)

queries = ["What is the capital of France?"]
documents = ["Paris is the capital and largest city of France."]

q_emb = model.encode(queries,   prompt_name="query",    normalize_embeddings=True)
d_emb = model.encode(documents, prompt_name="document", normalize_embeddings=True)

scores = q_emb @ d_emb.T  # shape: (n_queries, n_documents)

نموذج ColBERT يعمل من خلال بيلات. يستخدم فهرس PLAID الخاص به FastPLAID للبحث الفعال عن التشابه.

from pylate import indexes, models, retrieve

model = models.ColBERT(
    model_name_or_path="LiquidAI/LFM2.5-ColBERT-350M",
    trust_remote_code=True,
)
model.tokenizer.pad_token = model.tokenizer.eos_token

index = indexes.PLAID(index_folder="pylate-index", index_name="index", override=True)

docs_emb = model.encode(["document 1 text", "document 2 text"], is_query=False)
index.add_documents(documents_ids=["1", "2"], documents_embeddings=docs_emb)

retriever = retrieve.ColBERT(index=index)
q_emb = model.encode(["a search query"], is_query=True)
scores = retriever.retrieve(queries_embeddings=q_emb, k=10)

لإعادة ترتيب مسار المرحلة الأولى الموجود بدلاً من ذلك، قم بتخطي الفهرس واستخدمه rank.rerank.

from pylate import models, rank

model = models.ColBERT(model_name_or_path="LiquidAI/LFM2.5-ColBERT-350M", trust_remote_code=True)

queries = ["query A"]
documents = [["candidate doc 1", "candidate doc 2"]]
documents_ids = [[1, 2]]

q_emb = model.encode(queries, is_query=True)
d_emb = model.encode(documents, is_query=False)

reranked = rank.rerank(
    documents_ids=documents_ids,
    queries_embeddings=q_emb,
    documents_embeddings=d_emb,
)

يمكنك أيضًا ضبط أي من النموذجين وفقًا لبياناتك الخاصة. توفر بطاقة التضمين مقتطفات باستخدام sentence-transformers و MultipleNegativesRankingLoss.

الوجبات السريعة الرئيسية

• تعد أجهزة LFM2.5-ColBERT-350M وLFM2.5-Embedding-350M من Liquid AI أول أجهزة LFM ثنائية الاتجاه، تم تصميمها للبحث متعدد اللغات عبر 11 لغة.
• كلا الطرازين 350M يتصدران فئتهما في NanoBEIR وMKQA-11، متفوقين على الطراز الأكبر Qwen3-Embedding-0.6B.
• التضمين يعطي أصغر وأرخص مؤشر؛ يتداول ColBERT فهرسًا أكبر للحصول على دقة أعلى لكل رمز مميز.
• تعمل إصدارات GGUF على وحدات المعالجة المركزية (CPUs) وأجهزة الكمبيوتر المحمولة وأجهزة Edge عبر llama.cpp، مع زمن استجابة استعلام p50 المخزن مؤقتًا أقل من 10 مللي ثانية.
• إنهم يسقطون في خطوط أنابيب RAG الحالية من خلال sentence-transformers وPyLate، بموجب ترخيص LFM المفتوح v1.0.

الشرح التفاعلي