تم إصدار مختبر آلات التفكير للتو فكرة، نموذجهم الأول الذي تم تدريبه من الصفر، والأوزان مفتوحة، وقابلة للضبط الدقيق على Tinker. ويعرضه المختبر كقاعدة للتخصيص.
ما هو التحبير؟
Inkling عبارة عن محول مزيج من الخبراء مع إجمالي 975B من المعلمات و41B نشط. وهو يدعم نافذة سياق تصل إلى مليون رمز. غطى التدريب المسبق 45 تريليون رمز من النصوص والصور والصوت والفيديو. تقبل المدخلات النص والصور والصوت؛ الإخراج هو نص UTF-8 فقط.
قام فريق البحث أيضًا بمعاينة Inkling-Small، وهو MoE ذو معلمة 276B مع 12B معلمة نشطة. إنه يطابق أو يتفوق على أخيه الأكبر في العديد من المعايير، وأوزانه تصل بمجرد انتهاء الاختبار. نظرًا لأن التخصيص/الضبط الدقيق هو عامل التمييز الرئيسي، فإن البنية مهمة جدًا هنا.
داخل العمارة
تشتمل بنية النموذج على محول مكون من 66 طبقة لوحدة فك التشفير فقط مع عمود فقري متناثر للتغذية الأمامية من MoE. تحتوي كل طبقة من طبقات وزارة التربية والتعليم على 256 خبيرًا موجهًا بالإضافة إلى خبيرين مشتركين. يتم تنشيط ستة خبراء موجهين لكل رمز مميز، ويتم تنشيط كلا الخبراء المشتركين على كل رمز مميز. يتعامل جهاز التوجيه القائم على السيني مع التحديد، باستخدام انحياز موازنة التحميل الإضافي الخالي من الخسارة. يتم تطبيع الدرجات الموجهة والمشتركة بشكل مشترك، ثم يتم استخدامها لترجيح النواتج المجمعة. تصميم MoE يتبع إلى حد كبير DeepSeek-V3.
الاهتمام يخرج عن الاتفاقية. تتشابك الطبقات المنزلقة والطبقات العالمية بنسبة 5:1 مع رؤوس 8 كيلو فولت. يستخدم الموضع التضمين الموضعي النسبي بدلاً من RoPE، والذي تقوم تقارير المختبر باستقراءه بشكل أفضل. يتم تطبيق التلافيفات القصيرة بعد إسقاطات المفتاح والقيمة، وعلى مخرجات الفروع المتبقية.
تعد الوسائط المتعددة خالية من التشفير. يدخل الصوت كمخطط طيفي dMel، وتصبح الصور بقعًا بحجم 40 × 40 بكسل من خلال hMLP رباعي الطبقات. تقوم طبقة التضمين خفيفة الوزن بعرض كليهما، ثم تقوم وحدة فك التشفير بمعالجتهما معًا باستخدام الرموز النصية.
تم استخدام التدريب Muon لأوزان المصفوفة الكبيرة وAdam للمعلمات الأخرى، على أنظمة NVIDIA GB300 NVL72. تم تمهيد مرحلة ما بعد التدريب من SFT على البيانات الاصطناعية، بما في ذلك البيانات التي تم إنشاؤها بواسطة Kimi K2.5. ذهبت معظم الحوسبة إلى RL غير المتزامنة، وتم تجاوز 30 مليون عملية طرح، مما أدى إلى تحسين السجل الخطي طوال الوقت. أنتج تشغيل RL هذا أيضًا سطح التحكم الرئيسي للنموذج.
كيف يعمل التحبير
تفاعلية
يعد Inkling الخاص بـ Thinking Machines Lab عبارة عن محول خليط من الخبراء بمعلمة 975B مع معلمات نشطة تبلغ 41B. تعمل اللوحات الأربع أدناه على تحريك الآليات الموضحة في بطاقة النموذج الخاصة بها ومنشور الإصدار.
1 · توجيه وزارة التربية والتعليم
2 · مزيج الانتباه
3 · الانصهار المتعدد الوسائط
4 · جهد الاتصال
256خبراء التوجيه
6توجيه / رمز مميز
2خبراء مشتركون
41 بالمعلمات النشطة
خبير عاطل
التوجيه (أعلى 6)
مشترك (مشغل دائمًا)
تحتوي كل طبقة من طبقات وزارة التربية والتعليم على 256 خبيرًا موجهًا وخبيرين مشتركين. يختار جهاز التوجيه القائم على السيني 6 خبراء موجهين لكل رمز مميز. تتم تسوية الدرجات الموجهة المحددة والدرجات المشتركة معًا، ثم يتم استخدامها لوزن المخرجات المجمعة. تستخدم موازنة التحميل انحيازًا مساعدًا خاليًا من الخسارة. مناصب الخبراء هنا توضيحية؛ التهم فقط وقاعدة أعلى 6 هي من المصدر.
66طبقات فك التشفير
5:1انزلاق: عالمي
8رؤساء كيلو فولت
1 مرموز السياق
طبقة النافذة المنزلقة
الطبقة العالمية
يعمل التحبير على تشذير النوافذ المنزلقة وطبقات الاهتمام العالمية بنسبة 5: 1 مع رؤوس 8 كيلو فولت. يتم تشفير الموضع باستخدام التضمين الموضعي النسبي بدلاً من RoPE، والذي تقوم تقارير المختبر باستقراءه بشكل أفضل للتسلسلات الأطول. يتم تطبيق التلافيفات القصيرة بعد إسقاطات المفتاح والقيمة، وعلى مخرجات فرع الانتباه وMLP المتبقية. عرض النافذة الموضح توضيحي.
40×40تصحيح الصورة بكسل
4 طبقةالتشفير hMLP
16 كيلو هرتزالصوت WAV في
نصالإخراج فقط
يستخدم Inkling بنية خالية من التشفير لإدخالات الصوت والصورة. يصل الصوت على شكل مخططات طيفية dMel، ويتم ترميز الصور على شكل تصحيحات بحجم 40 × 40 بكسل من خلال hMLP من أربع طبقات. يمر كلاهما عبر طبقة تضمين خفيفة الوزن، ثم تتم معالجتهما معًا باستخدام الرموز النصية. الإخراج هو نص UTF-8 فقط. تحقق الصور أفضل أداء بين 40 بكسل و4096 بكسل لكل بُعد؛ أفضل صوت أقل من 20 دقيقة.
جهد التفكير
0.99
—الرموز النسبية
—الكمون النسبي
0.2-0.99نطاق اجتاحت
63.8%السل 2.1 @ 0.99
توضيحية. الشكل المنحني هو رسم تخطيطي لمبادلة الجهد/الرمز المميز، وليس بيانات مقاسة. نقاط ارتساء تم التحقق منها من Thinking Machines Lab: يتراوح إعداد الجهد من 0.2 إلى 0.99؛ تعمل جميع المعايير المنشورة عند الجهد = 0.99 ودرجة الحرارة 1.0؛ حصل Inkling على نسبة 63.8% في Terminal Bench 2.1 (أفضل أداة مساعدة)؛ وهو يتطابق مع Nemotron 3 Ultra على Terminal Bench 2.1 بحوالي ثلث الرموز المميزة. في معانقة الوجه transformers، يتم تمرير نفس التحكم كما reasoning_effort، مع المستويات المذكورة لا شيء، الحد الأدنى، المنخفض، المتوسط، العالي، xhigh، والحد الأقصى.
جهد التفكير الذي يمكن السيطرة عليه
أثناء RL، بذل فريق البحث جهدًا من خلال تغيير رسالة النظام وتعديل تكلفة كل رمز مميز. وبالتالي، تعلم النموذج إنفاق ميزانيات رمزية مختلفة على عمليات طرح مختلفة. يكتسح عمود الإطلاق الجهد من 0.2 إلى 0.99، ويمكن للأحزمة ضبطه مباشرة. في transformers، يتم كشف نفس عنصر التحكم كـ a reasoning_effort حجة مع المستويات المسماة.
بيانات الكفاءة محددة تمامًا. تنفق Inkling ثلث عدد الرموز المميزة التي ينفقها Nemotron 3 Ultra للحصول على أداء متساوي لـ Terminal Bench 2.1. تصبح التكلفة وزمن الوصول قابلين للضبط لكل مكالمة، وليس ثابتًا لكل نموذج.
إلى جانب الجهد المبذول، استهدف فريق البحث الجدارة بالثقة بشكل مباشر.
أداء
تعمل جميع تقييمات Inkling عند الجهد = 0.99 ودرجة الحرارة 1.0، مع حد مسار يبلغ 256 ألفًا للتشفير. يتم الإبلاغ عن العديد من النتائج خارجيًا عن طريق التحليل الاصطناعي. أمام أقرانهم من ذوي الأوزان المفتوحة، فإن الصورة تنافسية للغاية.
| المعيار | فكرة | نيموترون 3 الترا | كيمي K2.6 | جي إل إم 5.2 | ديب سيك V4 برو |
|---|---|---|---|---|---|
| HLE (نص فقط) | 29.7% | 26.6% | 35.9% | 40.1% | 35.9% |
| إيم 2026 | 97.1% | 94.2% | 96.4% | 99.2% | 96.7% |
| GPQA الماس | 87.2% | 86.7% | 91.1% | 89.5% | 88.8% |
| تم التحقق من SWEBench | 77.6% | 70.7% | 80.2% | 80.0% | 80.6% |
| مقعد المحطة 2.1 | 63.8% | 56.4% | 71.3% | 82.7% | 64% |
| أطلس MCP | 74.1% | 44.7% | 68.1% | 77.8% | 73.2% |
| تم التحقق من SimpleQA | 43.9% | 32.4% | 38.7% | 38.1% | 57.0% |
| IFBench | 79.8% | 81.4% | 76.0% | 73.3% | 76.5% |
| القلعة (العدائية) | 78.0% | 77.6% | 65.6% | 71.3% | 36.0% |
يقود Inkling مجموعة الأوزان المفتوحة هذه في لعبة FORTRESS Adversarial بنسبة 78.0%. يتتبع GLM 5.2 على Terminal Bench 2.1 بمقدار 18.9 نقطة. سجلت نسبة 73.5% على MMMU Pro و91.4% على VoiceBench. لقد نشرت 1257 على لوحة المتصدرين Agentic Web Dev في Design Arena، وهو تقييم بشري أعمى.
ومع تحديد الأعداد، يصبح النشر هو السؤال العملي.
تشغيل وضبط الحبر
سفينة نقطتي تفتيش. يحتاج BF16 إلى ما لا يقل عن 2 تيرابايت من ذاكرة الفيديو المجمعة: 8x NVIDIA B300 أو 16x H200. يقوم NVFP4 بخفض ذلك إلى 600 جيجابايت على الأقل، مع تشغيل W4A4 على 4x B300 أو W4A16 على 8x H200. تتضمن أوقات التشغيل SGLang وvLLM وTokenSpeed وUnsloth وHugging Face transformers.
# pip install -U transformers (5.14.0 or later)
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling" # BF16, Hopper or later
# model_id = "thinkingmachines/Inkling-NVFP4" # NVFP4, Blackwell
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id, dtype="auto", device_map="auto",
)
messages = [
{"role": "user", "content": [
{"type": "audio", "audio": "support_call.wav"}, # 16kHz WAV
{"type": "text", "text": "Transcribe, then list every billing complaint."},
]},
]
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
# none | minimal | low | medium | high | xhigh | max
reasoning_effort="medium",
).to(model.device)
# use_mtp enables the shipped multi-token-prediction drafter.
outputs = model.generate(**inputs, max_new_tokens=2000, use_mtp=True)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))يتطلب العرض المتوافق مع OpenAI أمرًا واحدًا:
vllm serve thinkingmachines/Inkling --tensor-parallel-size 8 --served-model-name inklingمن أجل الضبط الدقيق، يتوفر Inkling مباشرة على Tinker مع خيارات سياق 64K و256K. كما أصدر فريق البحث tml-renderers لمرحلة ما بعد التدريب مع استدعاءات الأداة والمدخلات متعددة الوسائط. توجد واجهات برمجة التطبيقات المستضافة عبر TogetherAI وFireworks وModal وDatabricks وBaseten.
ونظراً لهذه القيود، تتبع ذلك ثلاثة أنماط للنشر.
حيث يناسب الحبر: حالات الاستخدام
- وكلاء الصوت والرؤية: كان أحد أهداف التصميم الرئيسية هو دعم نظام نماذج التفاعل في المختبر. يمكن لوكيل الدعم استيعاب مكالمة WAV بسرعة 16 كيلو هرتز بالإضافة إلى لقطة شاشة، ثم إرسال تذكرة منظمة.
- خطوط الأنابيب الوكيلة ذات مستويات التكلفة: جهد منخفض يعالج التوجيه والفرز؛
maxالجهد يتعامل مع خطوة الإصلاح الصعبة. نشر واحد، ميزانيتين. - ضبط المجال.:يستشهد المختبر بعمل الحكم المالي حيث أدى الضبط الدقيق إلى سد الفجوة العامة. التحليلات ذات الرسم البياني الثقيل مناسبة أيضًا، حيث حصلت على 82.0% على CharXiv RQ مع Python.
وإذا أخذنا هذه المقايضات مجتمعة، فإن المقايضات واضحة.
نقاط القوة والضعف
نقاط القوة
- أوزان Apache 2.0 وسياق الرمز المميز الذي يبلغ مليونًا والنص الأصلي والصورة وإدخال الصوت.
- يطابق الجهد الذي يمكن التحكم فيه نتيجة Nemotron 3 Ultra Terminal Bench بثلث الرموز المميزة.
- أعلى درجة خصومة لـ FORTRESS (78.0%) بين نماذج الأوزان المفتوحة المقارنة.
- دعم اليوم 0 عبر
transformersوSGLang وvLLM وllama.cpp بالإضافة إلى خمس واجهات برمجة تطبيقات مستضافة. - يتم شحن أداة صياغة التنبؤات المتعددة الرموز لفك التشفير التخميني.
نقاط الضعف
- تم التحقق من مسارات GLM 5.2 وKimi K2.6 على HLE وTerminal Bench 2.1 وSWEBench.
- يحتاج BF16 إلى ذاكرة فيديو مجمعة بسعة 2 تيرابايت؛ يتطلب NVFP4 W4A4 أيضًا أجهزة SM100+.
- تم التحقق من SimpleQA بنسبة 43.9%، وهي أقل بكثير من نسبة DeepSeek V4 Pro البالغة 57.0%.
- الحبر-لم يتم إصدار الأوزان الصغيرة، ولا يوجد إخراج صوت أو صورة.
- تستخدم أرقام Terminal Bench 2.1 حزامًا داخليًا، على عكس نتائج المنافسين التي أبلغ عنها ذاتيًا.
- تشير صفحة المشروع إلى لعب الأدوار والمطالبات غير المباشرة كمخاطر متبقية تتعلق بالسلامة.
مصادر
آصف رزاق هو الرئيس التنفيذي لشركة Marktechpost Media Inc.. بصفته رجل أعمال ومهندسًا صاحب رؤية، يلتزم آصف بتسخير إمكانات الذكاء الاصطناعي لتحقيق الصالح الاجتماعي. وكان أحدث مساعيه هو إطلاق منصة وسائط الذكاء الاصطناعي، Marktechpost، والتي تتميز بتغطيتها المتعمقة لأخبار التعلم الآلي والتعلم العميق التي تتميز بأنها سليمة من الناحية التقنية وسهلة الفهم من قبل جمهور واسع. تتمتع المنصة بأكثر من 2 مليون مشاهدة شهريًا، مما يوضح شعبيتها بين الجماهير.
اكتشاف المزيد من كحيل | أخبار التقنية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
