MiniMax Sparse Attention (MSA): انتباه متناثر من فرعين تم تدريبه على MoE بمعلمة 109B مع ميزانية 3T-Tokenكحيل17 يونيو، 20260 أصدرت MiniMax MSA (MiniMax Sparse Attention)، وهي طريقة انتباه متفرقة مبنية مباشرة على انتباه الاستعلام المجمع (GQA). إنه يستهدف عنق…
اختلاف المنظر: انتباه خطي محلي ذو معلمات يحافظ على Softmax ويضيف فرع تصحيح التغاير المكتسبكحيل1 يونيو، 20260 بالكاد تغيرت آلية انتباه المحول منذ عام 2017. وقد حاولت معظم أعمال الكفاءة استبدال انتباه softmax بشكل مباشر. ورقة جديدة…
NVIDIA AI تطلق بوابة DeltaNet-2: طبقة انتباه خطية تفصل المسح والكتابة في قاعدة دلتاكحيل24 مايو، 20260 يستبدل الاهتمام الخطي ذاكرة التخزين المؤقت KV غير المحدودة لانتباه softmax بحالة متكررة ذات حجم ثابت. يؤدي هذا إلى قطع…
