اختلاف المنظر: انتباه خطي محلي ذو معلمات يحافظ على Softmax ويضيف فرع تصحيح التغاير المكتسبكحيل1 يونيو، 20260 بالكاد تغيرت آلية انتباه المحول منذ عام 2017. وقد حاولت معظم أعمال الكفاءة استبدال انتباه softmax بشكل مباشر. ورقة جديدة…
NVIDIA AI تطلق بوابة DeltaNet-2: طبقة انتباه خطية تفصل المسح والكتابة في قاعدة دلتاكحيل24 مايو، 20260 يستبدل الاهتمام الخطي ذاكرة التخزين المؤقت KV غير المحدودة لانتباه softmax بحالة متكررة ذات حجم ثابت. يؤدي هذا إلى قطع…
