SambaNova, yapay zeka çıkarım (inference) pazarında Nvidia'nın GPU'larına alternatif olarak geliştirdiği yeniden yapılandırılabilir veri akışı birimi (RDU) ile dikkat çekiyor. Şirketin Ürün ve Strateji Şefi Abhi Ingle, Fierce Network'e yaptığı açıklamada, geleneksel GPU tabanlı sistemlere kıyasla daha hızlı, daha soğuk ve daha az enerji tüketen bir mimari sunduklarını belirtti.
SambaNova'nın RDU'su, eğitim (training) sırasında oluşturulan bilgi grafikleri üzerinde sorgulama yapmayı içeren çıkarım iş yükleri için optimize edilmiş. Ingle, "Veri hareketini en aza indirgemeye odaklanıyoruz; grafiği çip üzerinde akıtarak yanıtlara ulaşıyoruz" dedi. Bu yaklaşım, daha enerji verimli, düşük ısı üreten ve yüksek hızda çalışan bir çip ortaya çıkarıyor.
Mevcut veri merkezlerine uyum
SambaNova'nın hava soğutmalı çipi, sıvı soğutma gerektiren birçok üst düzey çipin aksine, mevcut veri merkezi altyapısına sorunsuz entegre olabiliyor. Ingle, mevcut nesil raflarının ortalama 10 kW, en yüksek 19 kW tükettiğini ve bu sayede herhangi bir tadilat gerektirmeden bulut veri merkezlerine yerleştirilebildiğini söyledi. Yıl sonunda piyasaya sürülmesi planlanan SN50 çipli raflar ise ortalama 20 kW tüketecek.
SambaNova'nın üç katmanlı bellek yapısı (SRAM, DDR ve HBM), tek bir rafta DeepSeek gibi modellerin birden çok kopyasını barındırabiliyor. Bu da şirket içi (on-prem) AI dağıtımlarını daha uygulanabilir kılıyor. J.Gold Associates Kurucusu Jack Gold, "SambaNova, çıkarım için özel yeteneklere sahip bir işlemci inşa ediyor; çipe ekstra bellek koyarak harici belleğe daha az başvurulmasını sağlıyor. Bu, aracı (agentic) AI ve özellikle Fiziksel AI için kritik olan gecikmeyi azaltıyor" değerlendirmesini yaptı.
Pazar konumlandırması
SambaNova, çiplerini neobulutlar (OVHCloud gibi), AI laboratuvarları, kurumsal şirketler, telekom sağlayıcıları ve egemen AI (sovereign AI) girişimlerine pazarlıyor. Ingle, hedeflerinin Nvidia'yı tahtından indirmek değil, çıkarım görevlerini üstlenerek GPU'ları eğitim gibi ağır işler için serbest bırakmak olduğunu söyledi. Hibrit ayrıştırılmış çıkarım (hybrid disaggregated inferencing) konseptinde, çıkarım görevlerinin (istem, kod çözme, eylem) en uygun çipe yönlendirilebileceğini ve SambaNova çiplerinin Nvidia GPU'larının kullanımını ve performansını artırabileceğini belirtti.
Şirketin ABD dışında bir telekom müşterisi bulunuyor ve özellikle enerji kullanımı ve egemenlik konularına odaklanan ülkelerdeki birçok sağlayıcıyla görüşmeleri devam ediyor. Ingle, "Egemen çıkarım sağlayıcısı olmak onlar için doğal bir rol" dedi.
Kurumsal çıkarım dalgası
Analistler, çıkarımın eğitimi geçerek AI'nın baskın iş yükü haline geleceğini öngörüyor. IDC verilerine göre, çıkarım artık AI operasyonlarının %47'sini oluşturuyor ve AI iş yüklerinin %37'sinin hibrit dağıtımlarla şirket içinde çalışması bekleniyor. SambaNova, Rebellions, Cerebras ve Nvidia tarafından satın alınan Groq gibi şirketlerle aynı fırsatın peşinde. Moor Insights and Strategy Başkan Yardımcısı Matt Kimball, "SambaNova, düşük gecikmeli çıkarımda Cerebras veya Groq'a benziyor. Ancak Groq'tan farklı olarak SRAM, HBM ve DDR kullanıyor. Bu sayede daha büyük modelleri destekleyebiliyor" dedi.
Finans devi JPMorgan Chase, SambaNova'nın RDU tabanlı sunucularını şirket içinde AI iş yükleri için kullanıyor. Ingle, AI benimsenmesinin dalgalar halinde gerçekleştiğini ve kurumsal şirketlerin kavram kanıtlama aşamasından üretime geçtiğini belirtti. Çoğu kuruluşun hibrit bir strateji izleyeceğini öngören Ingle, "Bu eğrinin başladığını düşünüyorum" dedi.
Gelecek planları
Yaklaşık 2,5 milyar dolar fon toplayan SambaNova, gelecek yıl halka arz (IPO) planlıyor. Son 1 milyar dolarlık turda Intel (%9 hisse) ve özel sermaye yatırımcıları yer aldı. Şirket, SN50 çipini Şubat ayında duyurdu ve TSMC tarafından üretilen çipin yıl sonunda ticari olarak kullanıma sunulması planlanıyor. Ingle, bellek ve bileşen sıkıntılarının tüm tedarikçileri etkilediğini ancak Intel ve diğer yatırımcılarla olan bağlantılarının tedarik zincirini güvence altına almalarına yardımcı olduğunu söyledi. Yeni fonlar, tedarik zinciri, SN60 ve SN70 çiplerinin geliştirilmesi ve müşteri dağıtımlarına ayrılacak.
Neden önemli
SambaNova'nın yaklaşımı, AI donanım pazarında çıkarımın giderek artan önemini vurguluyor. Nvidia'nın GPU'ları eğitimde baskın olsa da, çıkarım iş yükleri farklı optimizasyonlar gerektiriyor. SambaNova'nın hava soğutmalı, düşük güç tüketimli çipi, mevcut veri merkezlerine uyum sağlayarak maliyetli altyapı değişikliklerini ortadan kaldırıyor. Özellikle egemen AI ve telekom gibi enerji ve veri egemenliğine duyarlı sektörlerde, bu tür özel çözümler önemli bir pazar payı yakalayabilir. Ancak Groq, Cerebras ve Rebellions gibi rakiplerin varlığı, bu alanın rekabetçi olacağını gösteriyor.
