RAISE Summit Paris'te DDN, Avrupalı egemen hibrit bulut sağlayıcısı Nebul ile büyük ölçekli AI çıkarım (inference) dağıtımlarının verimliliğini artırmaya yönelik iş birliğini duyurdu. Geçtiğimiz hafta açıklanan çalışma, Nebul'un çıkarım platformu, DDN'nin Infinia veri zekası mimarisi ve NVIDIA hızlandırılmış bilgi işlemini birleştirerek üretim AI'da büyüyen bir kısıt olan veri taşıma maliyeti ve performansını ele alıyor.
DDN, çalışmayı GPU kullanımı, token çıktısı, token başına maliyet ve gecikme süresi gibi temel üretim metrikleri etrafında konumlandırıyor. Temel argüman, model eğitiminin AI varlığının değerini belirlerken, çıkarımın operasyonel ve ticari getirisini belirlediği yönünde. Ajan AI, retrieval-augmented generation ve yüksek eşzamanlı çıkarım yaygınlaştıkça, depolama ve veri altyapısı hızlandırıcı kullanımını ve yanıt süresini doğrudan etkileyebiliyor.
Çalışma devam eden bir konsept kanıtlama (proof-of-concept) aşamasında ve DDN şu ana kadarki sonuçları umut verici erken veriler olarak nitelendiriyor. Şirketler, KV cache etkinleştirildiğinde ilk token süresinde (time to first token) ölçülebilir iyileştirmeler bildiriyor ve RoCE tabanlı altyapı doğrulamasını tamamladı. Kıyaslama çalışmaları daha büyük çıkarım dizi uzunluklarında devam ediyor ve Infinia platformunda daha fazla optimizasyon fırsatı belirleniyor. Proje ayrıca NVIDIA ile kıyaslama metodolojileri, ölçeklenebilirlik doğrulaması ve gelecekteki teknik yayınlar üzerinde iş birliğini de kapsayacak şekilde genişledi.
Platform, dağıtık KV cache hizmetleri, GPU-native veri taşıma, veri orkestrasyonu ve yüksek performanslı depolama mimarileri kullanıyor. KV cache hızlandırması, önceden hesaplanmış dikkat durumunu koruyup hızlıca alarak tekrarlanan hesaplamayı azalttığı ve GPU'ları boşta bırakabilecek veri teslim gecikmelerini sınırladığı için çıkarımda özellikle önemli.
DDN CEO'su Alex Bouzari ve Nebul CEO'su Arnold Juffer, model ölçeğinin tarihsel öncelik olduğunu ancak mevcut zorluğun çıkarım ekonomisi ve daha düşük token maliyetleriyle üretim AI'ını ticari olarak uygulanabilir kılmak olduğunu vurguladı. NVIDIA Bulut Altyapısı Başkan Yardımcısı Rod Evans, kuruluşlar büyük ölçekli ajan iş yüklerine geçtikçe altyapı başarısının ham bilgi işlem kapasitesinden ziyade GPU kullanımı ve gecikme süresiyle ölçüldüğünü ekledi.
DDN, AI altyapısının geleneksel depolama işlemlerinin ötesine geçmesi ve AI yürütmesinde aktif bir katılımcı haline gelmesi gerektiğini savunuyor. Şirket, platformlarının hiper ölçekleyiciler, bulut oluşturucular, kuruluşlar, hükümetler ve araştırma kurumları dahil olmak üzere küresel olarak bir milyondan fazla GPU'yu desteklediğini belirtiyor.
Neden önemli
AI endüstrisi eğitimden çıkarıma geçerken, KV cache hızlandırması gibi altyapı optimizasyonları GPU kullanımını ve token başına maliyeti doğrudan etkiliyor. DDN ve Nebul'un bu iş birliği, özellikle Avrupa'da egemen bulut gereksinimleriyle büyük ölçekli AI dağıtımlarında maliyet verimliliğini artırma potansiyeli taşıyor. NVIDIA'nın da dahil olduğu kıyaslama çalışmaları, sektörün GPU ediniminden operasyonel verimliliğe kaydığını gösteriyor. Altyapı ekipleri için GPU kullanımı, token başına maliyet ve watt başına token gibi metrikler, AI hizmetlerinin ticari başarısında belirleyici hale geliyor.
