ادغام داده‌های استنتاج انویدیا با DDN اینفینیا

DDN پلتفرم ذخیره‌سازی اینفینیا را با سیستم انتقال داده‌های استنتاج انویدیا ادغام کرده است. این همکاری بر کاهش زمان انتظار GPU برای داده‌ها در خدمات مدل‌های زبانی بزرگ متمرکز است. DDN در تاریخ 23 ژوئیه در وبلاگ فناوری خود اعلام کرد که پلاگین NIXL اینفینیا در نسخه 1.3 NIXL انویدیا و کانتینر استنتاج داینامو گنجانده شده است. NIXL کتابخانه‌ای است که جابجایی داده‌ها بین GPU، CPU، SSD و ذخیره‌سازی شیء را در محیط‌های استنتاج توزیع‌شده مدیریت می‌کند. این ادغام بر جابجایی کش KV که در فرآیند استنتاج AI رخ می‌دهد، تمرکز دارد و کش KV داده‌های میانی است که LLM برای استفاده مجدد از زمینه ذخیره می‌کند. مستندات داینامو انویدیا توضیح می‌دهد که کش KV می‌تواند به حافظه GPU، حافظه CPU، SSD و ذخیره‌سازی متصل به شبکه منتقل شود تا محاسبات مجدد کاهش یابد و تأخیر پاسخ پایین بیاید. از نسخه 1.3 NIXL، پلاگین اینفینیا به بسته استاندارد اضافه شده و تنها کافی است بسته مشتری DDN را اضافه کنید. DDN اعلام کرده است که می‌تواند قابلیت تسریع کش KV را تنها با تنظیمات فعال کند بدون اینکه نیازی به تغییر کد برنامه باشد. سوون اوما، CTO DDN، توضیح داد که اینفینیا داده‌های زمینه را به‌طور مستقیم به GPU تأمین می‌کند. این همکاری به جریان پاسخ به گلوگاه‌های ذخیره‌سازی و انتقال در مراکز داده AI مربوط می‌شود و DDN و انویدیا در حال بهبود مسیر انتقال داده‌های زمینه ذخیره‌شده به GPU در فرآیند استنتاج هستند.

این محتوا صرفاً برای اطلاع‌رسانی عمومی ارائه شده است و به‌منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌شود. هرگونه رویداد، جایزه، کمپین آنلاین یا اطلاعات مرتبط که در اینجا ذکر شده است، نباید به‌عنوان توصیه، ترغیب یا دعوت به خرید، فروش، معامله یا هرگونه دادوستد دیگر دارایی‌های رمزارزی تلقی شود. دارایی‌های رمزارزی از نوسان بالایی برخوردار هستند و ممکن است منجر به زیان شوند. دسترسی به خدمات، محصولات و رویدادهای مرتبط با WEEX ممکن است بسته به منطقه جغرافیایی متفاوت باشد. اطمینان از اینکه استفاده شما از این خدمات با قوانین و مقررات محلی مطابقت دارد، بر عهده خود شماست.