AMD مدل بزرگ MoE کاملاً متن باز Instella-MoE را با ۱۶ میلیارد پارامتر منتشر کرد

AMD در تاریخ ۲۵ ژوئیه مدل مخلوط متخصص کاملاً متن باز Instella-MoE را معرفی کرد که دارای ۱۶ میلیارد پارامتر کل است و برای هر توکن ۲.۸ میلیارد پارامتر فعال می‌کند و عملکرد پیشرفته‌ای دارد. این مدل بر پایه GPUهای AMD Instinct MI300X و MI325X و همچنین نرم‌افزار ROCm از صفر آموزش داده شده است و از نوآوری‌های معماری مانند Gated Multi-head Latent Attention و FarSkip-Collective استفاده می‌کند که کارایی آموزش و استنتاج را افزایش می‌دهد. تست‌های عملکرد نشان می‌دهد که مدل پایه Instella-MoE-16B-A3B به طور متوسط نمره ۷۶.۷ را کسب کرده و در بین مدل‌های کاملاً متن باز در رده اول قرار دارد و از مدل‌هایی مانند SmolLM3-3B و OLMo-3-7B پیشی گرفته است و در حالی که تنها ۲.۸ میلیارد پارامتر فعال است، با مدل‌های بزرگ‌تر رقابت می‌کند. این مدل از پردازش متن با طول ۶۴K توکن پشتیبانی می‌کند و فرآیند کامل آموزش شامل پیش‌آموزش، آموزش میان‌مدت، گسترش متن طولانی، تنظیم دقیق نظارتی، بهینه‌سازی ترجیحات مستقیم و یادگیری تقویتی را انجام می‌دهد. AMD به طور همزمان تمام وزن‌های مدل Instella-MoE، تنظیمات آموزشی، نسبت‌های داده، نقاط بازرسی میانی و کد استنتاج را منتشر کرده است تا تحقیقات و بازتولید مدل‌های هوش مصنوعی متن باز را پیش ببرد. AMD اعلام کرد که Instella-MoE توانایی آموزش مدل‌های بزرگ MoE را بر اساس سخت‌افزار AMD و اکوسیستم نرم‌افزار متن باز نشان می‌دهد و در آینده به توسعه مدل‌های زبانی متن باز با مقیاس بزرگ‌تر، توانایی استنتاج قوی‌تر و کارایی بالاتر ادامه خواهد داد.