انتشار نسخه‌های فشرده 1bit و 4bit های3 توسط Tencent

Tencent نسخه‌های فشرده 1bit و 4bit های3 را منتشر کرد که به طور قابل توجهی آستانه استقرار مدل با 295 میلیارد پارامتر را کاهش می‌دهد. وزن اصلی های3 نزدیک به 600GB است، در حالی که نسخه 1bit به 85.5GiB کاهش یافته و تنها با یک کارت گرافیک 96GB NVIDIA H20 قابل اجرا است. در زمان اجرای یک کارت، کاربران باید برخی از قابلیت‌های شتاب‌دهنده را غیرفعال کرده و طول متن پردازش شده توسط مدل را کوتاه کنند. با استفاده از دو کارت گرافیک H20، می‌توان شتاب‌دهنده را فعال کرد. حجم نسخه 4bit برابر با 169.9GiB است و به حداقل دو کارت گرافیک H20 نیاز دارد. اگرچه این نسخه حافظه بیشتری را اشغال می‌کند، اما عملکرد آن به مدل اصلی نزدیک‌تر است. Tencent اعلام کرده است که نسخه 4bit در کد، فراخوانی ابزار، درک متن‌های طولانی و وظایف Agent به مدل اصلی نزدیک است و نسخه 1bit نیز تنها کاهش جزئی دارد. با فعال‌سازی شتاب‌دهنده تولید، سرعت نسخه 1bit حدود 50% افزایش می‌یابد و نسخه 4bit نزدیک به 60% افزایش سرعت دارد. علاوه بر این، Tencent نسخه 4bit مناسب برای استقرار در سرور را نیز ارائه کرده است که می‌تواند به عنوان API برای استفاده چندین کاربر یا برنامه فراخوانی شود.