تم إصدار Moonshot AI للتو كيمي ك3. إنه نموذج يحتوي على 2.8 تريليون معلمة مع رؤية أصلية ونافذة سياقية تحتوي على مليون رمز مميز. يطلق عليه Moonshot أول نموذج مفتوح من فئة 3T في العالم.
ما هو كيمي K3؟
Kimi K3 هو نموذج متناثر من الخبراء (MoE) مبني على تحديثين معماريين. تلك هي Kimi Delta Attention (KDA) وAttention Residuals (AttnRes). كلاهما يغير كيفية تدفق المعلومات عبر طول التسلسل وعمق النموذج. يستهدف K3 البرمجة طويلة المدى والعمل المعرفي والتفكير.
يشير فريق Moonshot إلى أن K3 هو أول نموذج مفتوح يصل إلى 2.8 تريليون معلمة. على مدار تسعة أشهر من الاثني عشر شهرًا الماضية، حددت عارضات أزياء كيمي الحد الأعلى لأحجام النماذج المفتوحة.
Moonshot مباشر أيضًا حول مكان وجود K3. لا يزال الأداء العام يتخلف عن أقوى النماذج المسجلة الملكية، Claude Fable 5 وGPT 5.6 Sol. عبر مجموعة التقييم الخاصة بـ Moonshot، تفوقت K3 باستمرار على النماذج الأخرى التي تم اختبارها.
العمارة تحت
Kimi Delta Attention (KDA) هي آلية انتباه خطية هجينة. تنص Moonshot على أنها تتيح فك تشفير أسرع بما يصل إلى 6.3x في سياقات مليون رمز مميز.
يعمل AttnRes على طول المحور الآخر، وهو العمق. فهو يسترد بشكل انتقائي التمثيلات عبر العمق بدلاً من تجميعها بشكل موحد. تنص Moonshot على أن AttnRes توفر كفاءة تدريب أعلى بنسبة 25% تقريبًا وبتكلفة إضافية تقل عن 2%.
Sparsity هو الرافعة الثالثة. يستخدم K3 Stable LatentMoE، مما يؤدي إلى تنشيط 16 خبيرًا من أصل 896 بشكل فعال. في هذا التشتت، يصبح التوجيه والتحسين تحديات من الدرجة الأولى. يستمد التوازن الكمي تخصيص الخبراء مباشرة من الكميات الخاصة بنقاط جهاز التوجيه. وهذا يلغي التحديثات الإرشادية ومعلمة الموازنة الحساسة. يقوم Per-Head Muon بتوسيع Muon من خلال تحسين رؤوس الانتباه بشكل مستقل. تعمل وحدة Tanh السيني (SiTU) وGated MLA على تحسين التحكم في التنشيط وانتقائية الانتباه على التوالي.
تصاحب التدريبات المكررة ووصفات البيانات تلك التغييرات الهيكلية. ينتج عنهما معًا كفاءة توسيع إجمالية أفضل بمقدار 2.5 مرة تقريبًا من Kimi K2.
هذه الاختيارات تؤدي إلى الخدمة. يطبق K3 تدريبًا مدركًا للتكميم بدءًا من مرحلة SFT فصاعدًا. يستخدم أوزان MXFP4 مع عمليات تنشيط MXFP8 من أجل توافق الأجهزة على نطاق واسع. يوصي فريق Moonshot بتكوينات supernode مع 64 مسرعًا أو أكثر. نظرًا لأن KDA تطرح تحديات جديدة للتخزين المؤقت للبادئات، فقد ساهمت Moonshot في تنفيذ vLLM.
أداء
ومع إنشاء الآليات، أصبحت قراءة النتائج المنشورة أسهل. تستخدم جميع نتائج K3 جهد الاستدلال المحدد على الحد الأقصى. تختلف الأدوات حسب المعيار: KimiCode، أو Claude Code، أو Codex.
| المعيار | كيمي ك3 | الخرافة 5 (مع الرجوع) | جي بي تي 5.6 سول | أوبوس 4.8 | جي إل إم-5.2 |
|---|---|---|---|---|---|
| DeepSWE | 67.5 | 70.0 | 73.0 | 59.0 | 46.2 |
| مقعد البرنامج | 77.8 | 76.8 | 77.6 | 71.9 | 63.7 |
| مقعد المحطة 2.1 | 88.3 | 84.6 | 88.8 | 84.6 | 82.7 |
| FrontierSWE | 81.2 | 86.6 | 71.3 | 66.7 | 67.3 |
| سوي ماراثون | 42.0 | 35.0 | 39.0 | 40.0 | 13.0 |
| BrowseComp | 91.2 | 88.0 | 90.4 | 84.3 | — |
| مقعد الأتمتة | 30.8 | 29.1 | 29.7 | 27.2 | 12.9 |
| GPQA-الماس | 93.5 | 92.6 | 94.1 | 91.0 | 91.2 |
| HLE-كامل | 43.5 | 53.3 | 44.5 | 49.8 | — |
| MMMU-برو | 81.6 | 81.2 | 83.0 | 78.9 | — |
| OmniDocBench | 91.1 | 89.8 | 85.8 | 87.9 | — |
هناك تحذيران يشكلان هذا الجدول. “مع خيار احتياطي” يعني أن الطلبات التي يرفضها Fable 5 بموجب مسار سياسة الاستخدام الخاصة به إلى Opus 4.8. أيضًا، استخدم BrowseComp ضغط السياق الذي تم تشغيله عند 300 ألف رمز مميز. بدون إدارة السياق هذه، تحصل K3 على 90.4.
لذا فإن K3 تقود Program Bench، وSWE Marathon، وBrowseComp، وAutomation Bench، وOmniDocBench. إنه يتتبع Fable 5 على FrontierSWE وHLE-Full، وGPT 5.6 Sol على DeepSWE.
استخدام الحالات والأمثلة
| حالة الاستخدام | المثال المبلغ عنه | يعتمد على |
|---|---|---|
| هندسة نطاق الريبو | جلسات طويلة، والحد الأدنى من الإشراف البشري | كود كيمي, /model |
| الرؤية في الحلقة | التكرار بين التعليمات البرمجية ولقطات الشاشة الحية | رؤية، ms://<file-id> |
| الاستنساخ البحثي | علاقات I-Love-Q: أكثر من 20 ورقة، وأكثر من 3000 سطر من لغة بايثون | سياق 1M، التخزين المؤقت التلقائي |
| تقارير بحثية عميقة | دراسة ASIC لمدة 42 عامًا: جلب أكثر من 2.8 ألف صفحة، وأكثر من 11 ألف صفحة | عمل كيمي، الحاجيات |
| تحليل الوثيقة | درجة OmniDocBench 91.1 | الرؤية والإخراج المنظم |
يذكر فريق Moonshot أن هناك بنية أصلية متعددة الوسائط تتعامل مع النص والصور والفيديو معًا.
الوصول والحد الأدنى من المكالمة
K3 متاح على موقع Kimi.com وKimi Work وKimi Code وAPI. يتم تشغيل الوصول من خلال OpenAI SDK مقابل عنوان URL الأساسي لـ Moonshot.
from openai import OpenAI
import os
client = OpenAI(api_key=os.environ["MOONSHOT_API_KEY"],
base_url="https://api.moonshot.ai/v1")
completion = client.chat.completions.create(
model="kimi-k3",
reasoning_effort="max",
messages=[{"role": "user", "content": "Introduce Kimi K3 in one sentence."}],
)
print(completion.choices[0].message.content)أربع قواعد مهمة. reasoning_effort يدعم فقط maxو K2.x thinking لا ينبغي استخدام المعلمة. temperature, top_p، و n ثابتة، لذا احذفها. max_completion_tokens الافتراضي هو 131072 ويصل إلى 1048576. في عمليات الاستدعاء المتعددة والأدوات، قم بإرجاع رسالة المساعد الكاملة.
التسعير ثابت، مع عدم وجود طبقات حسب طول السياق. إدخال ذاكرة التخزين المؤقت هو $0.30/MTok، وذاكرة التخزين المؤقت المفقودة هي $3.00/MTok، والإخراج هو $15.00/MTok. وبالتالي فإن معدل ضربات ذاكرة التخزين المؤقت هو الرقم الذي يجب مراقبته. أبلغ فريق Moonshot عن حدوث ما يزيد عن 90% من نتائج ذاكرة التخزين المؤقت في أعباء عمل الترميز.
الوجبات السريعة الرئيسية
- Kimi K3 هو نموذج MoE مفتوح بمعلمة 2.8T يقوم بتنشيط 16 من 896 خبيرًا.
- توفر الوصفات KDA وAttnRes والتناثر والوصفات المكررة تحجيمًا أفضل بمقدار 2.5 مرة تقريبًا من K2.
- K3 تقود BrowseComp، وSWE Marathon، وOmniDocBench؛ مسارات Fable 5 على FrontierSWE وHLE-Full.
- OpenAI-SDK متوافق بسعر 0.30 دولار/3.00 دولار/15.00 دولار لكل MTok، مع سياق 1 مليون.
تحقق من التفاصيل الفنية و حاول هنا . أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.
هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا
آصف رزاق هو الرئيس التنفيذي لشركة Marktechpost Media Inc.. بصفته رجل أعمال ومهندسًا صاحب رؤية، يلتزم آصف بتسخير إمكانات الذكاء الاصطناعي لتحقيق الصالح الاجتماعي. وكان أحدث مساعيه هو إطلاق منصة وسائط الذكاء الاصطناعي، Marktechpost، والتي تتميز بتغطيتها المتعمقة لأخبار التعلم الآلي والتعلم العميق التي تتميز بأنها سليمة من الناحية التقنية وسهلة الفهم من قبل جمهور واسع. تتمتع المنصة بأكثر من 2 مليون مشاهدة شهريًا، مما يوضح شعبيتها بين الجماهير.
اكتشاف المزيد من كحيل | أخبار التقنية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
