Phancy Group (6682.HK) ve RiseUnion Technology, kurumsal ölçekte büyük dil modeli (LLM) dağıtımı ve işletimini tek bir platformda toplayan açık kaynak ModelSphere'i duyurdu. Şirket, platformun kurumsal kullanıcılar için ücretsiz ve açık kaynak olduğunu, GitHub üzerinden Apache 2.0 lisansıyla erişilebilir olduğunu belirtti.
Duyuruya göre ModelSphere; hesaplama kaynağı yönetimi, model dağıtımı ve çalışma zamanı optimizasyonunu aynı platformda bir araya getiriyor. Amaç, büyük modellerin ticari ölçekte kullanıma girmesiyle ortaya çıkan düşük kaynak kullanımı, parçalı çip ekosistemi, yüksek dağıtım bariyerleri ve üretim ortamlarında zorlu ayar süreçlerini azaltmak.
Dört temel avantaj
Basitleştirilmiş dağıtım ve kararlı servis: ModelSphere, grafik bir konsol ve hazır dağıtım yetenekleri sunarak geliştiricilerin yazması gereken ortam yapılandırma kodunu azaltıyor. Otomatik elastik ölçekleme, prefill-decode (PD) ayrıştırılmış dağıtım, üç katmanlı KV önbellekleme, yüksek erişilebilirlik için yük dengeleme ve kesinti sonrası otomatik akış devamı gibi kurumsal düzey yetenekler yerleşik olarak geliyor.
Sürekli otomatik ayar: Platformun AutoTune akıllı model zamanlama stratejisi, donanım hızlandırmadan yararlanan uyarlanabilir yük dengeleme ile birlikte çalışıyor. Şirkete göre AutoTune, tepe verimliliği temel seviyeye kıyasla yaklaşık yüzde 285 artırıyor ve genel performansı önceki seviyenin yaklaşık dört katına çıkarıyor; istek işleme kapasitesi ile ilk token süresi (TTFT) iyileşirken token başına çıkarım maliyeti düşüyor.
Çeşitli çiplerde tekrarlı adaptasyon gerektirmeyen yönetim: EngineX çıkarım motoruyla entegre çalışan ModelSphere, Huawei Ascend, Iluvatar CoreX, Moore Threads ve Hygon DCU dahil olmak üzere çok sayıda yapay zeka hızlandırıcısını destekliyor ve bu donanımlar için derinlemesine optimize edilmiş durumda. Platform, tüm hesaplama kaynaklarının birleşik ve karma zamanlanmasına imkan tanıyor; kullanıcıların her çip için alt seviye kodu yeniden yazması gerekmiyor.
Güncel modeller için hızlı dağıtım: ModelSphere ekibi açık kaynak topluluğundaki gelişmeleri yakından takip ediyor. Platform, DeepSeek-V4/V4-Flash, Qwen, Kimi, MiniMax ve GLM gibi önde gelen modeller için uyarlanmış ve optimize edilmiş durumda. Yeni modeller yayınlandıktan sonra hızlıca dağıtılabiliyor ve üretim düzeyinde performansa ayarlanabiliyor.
ModelSphere yapay zeka yığınında nerede duruyor?
Teknik düzeyde ModelSphere, vLLM ve SGLang gibi çıkarım motorlarının yanında konumlanıyor. Çıkarım motorları tek sunucu üzerinde hesaplama verimliliğini artırırken ModelSphere, küme mimarisi düzeyinde yönetim ve optimizasyonu üstleniyor: yük ve önbellek farkındalıklı istek yönlendirme, birleşik KV önbellek havuzu, hizmet kalitesi (QoS) tabanlı otomatik ölçekleme, kesinti sonrası otomatik akış devamı, canlı üretim verisine dayalı otomatik performans ayarı, çalışma zamanı izleme ve servis yönetimi.
Neden önemli
Büyük modellerin üretim ortamına taşınmasında darboğaz artık yalnızca model kalitesi değil; kaynak kullanımı, çip uyumu ve operasyon yükü. ModelSphere'in açık kaynak yaklaşımı, Phancy'nin dağıtım ve optimizasyon mühendisliğini daha geniş bir kurumsal ve geliştirici kitlesine açıyor. Platformun farklı hızlandırıcıları tek çatı altında karma zamanlayabilmesi, donanım adaptasyon bariyerini düşürerek mevcut hesaplama kaynaklarının daha verimli kullanılmasını hedefliyor. Çıkarım motorlarının üstünde konumlanan bu tür bir yönetim katmanı, kurumların altyapı ayrıntıları yerine uygulama geliştirmeye odaklanmasını kolaylaştırabilir. Şirketin verdiği verimlilik rakamları, ölçekli çıkarım maliyetlerinin rekabet açısından ne kadar kritik hale geldiğini gösteriyor.
