Alibaba, 13 Ağustos'ta Qwen3.8-2.4T model ağırlıklarını resmi olarak açık kaynak yaptı. Bu, Qwen serisinde ağırlıkları yayınlanan ilk Max ölçekli model olma özelliğini taşıyor. Alibaba, Moonshot AI'nin Temmuz sonunda yayınladığı Kimi K3'ün ardından trilyon parametreli amiral gemisi modelini açık kaynak topluluğuna sunan ikinci Çinli teknoloji şirketi oldu.
Model, toplam 2,4 trilyon parametreye sahip ve her token için yaklaşık 95 milyar parametreyi etkinleştiriyor. 92 katmandan oluşan model, 512 uzman kullanıyor ve her seçimde 10 uzmana ek olarak bir paylaşılan uzmana yönlendirme yapıyor. Dikkat mekanizması tarafında Qwen3.8, Qwen3.5'ten miras aldığı hibrit mimariyi sürdürüyor: 92 katman, her biri 3 Gated DeltaNet katmanı ve 1 Gated Attention katmanı içeren 23 özdeş yapısal gruba ayrılıyor. Bu, 69 doğrusal dikkat katmanı ve 23 geleneksel dikkat katmanı anlamına geliyor; oran yaklaşık 3:1.
Bu mimari tercih, Kimi K3'ün yaklaşımıyla neredeyse birebir örtüşüyor. K3'ün 93 katmanı, 69 Kimi Delta Attention (KDA) katmanı ve 24 Gated MLA katmanı içeriyor ve aynı 3:1 doğrusal-geleneksel dikkat oranını koruyor. İki model benzer bir teknik soydan geliyor; KDA, Gated DeltaNet'in unutma mekanizmasının daha ince taneli bir uzantısı olarak öne çıkıyor. Ancak K3, katmanlar arası bilgi akışı için AttnRes (dikkat artıkları) kullanırken, Qwen3.8 Qwen3.5'teki daha geleneksel Pre-Norm artık yapısını koruyor.
Bağlam uzunluğu açısından Qwen3.8, 262.144 tokeni yerel olarak destekliyor ve 1.010.000 tokena kadar genişletilebiliyor. Model, çok adımlı MTP (çoklu token tahmini) ile eğitildi. DeepSeek V4'ün teknik raporunda da MTP'yi açıkça benimsemesi, çıkarım verimliliği optimizasyonunda sektörün ortak bir yöne ilerlediğini gösteriyor.
Açık kaynaklı mega modellerin karşılaştığı ilk pratik engel, dağıtım altyapısı gereksinimleri. Qwen resmi olarak BF16 ve FP8 hassasiyetinde kontrol noktaları sunuyor; topluluk ise NVFP4 ve MXFP4 nicelenmiş sürümler ekledi. Tam BF16 veya FP8 sürümleri en az iki NVIDIA B300 veya AMD MI355X düğümü gerektirirken, FP4 niceleme dağıtımı tek bir düğüme indirebiliyor. Çıkarımda tensör paralelliği, veri paralelliği ve uzman paralelliği bir arada kullanılıyor: dikkat mekanizması matris hesaplamalarını bölmek için tensör paralelliğine, MoE bileşeni ise farklı uzmanları GPU'lara dağıtmak için uzman paralelliğine dayanıyor. Kimi K3 ise aynı sorunu MoonEP çözümüyle ele aldı; bu çözüm, sıcak uzmanları mevcut yüke göre ek GPU'lara dinamik olarak kopyalıyor. Moonshot bu yeniliği 2,8 trilyon parametreli, 896 uzmanlı Stable LatentMoE modelini eğitirken kullandı.
Neden önemli
Qwen3.8 ve Kimi K3 arasındaki mimari ve stratejik benzerlikler, Çin'in mega model ekosisteminde belirgin bir yakınsamaya işaret ediyor. Her iki model de doğrusal dikkat mekanizmalarını geleneksel dikkatle yaklaşık 3:1 oranında harmanlıyor; bu, uzun bağlam ve ajan görevlerinde verimlilik arayışının ortak bir teknik çözümde buluştuğunu gösteriyor. Eğitim sonrası stratejilerde de benzer bir yönelim var: Qwen3.8, kodlama ajanları ve uzun vadeli görevlere odaklanırken, geleneksel bilgi muhakeme kıyaslamalarında yalnızca marjinal iyileşmeler elde etti. Örneğin, Terminal Bench 2.1'de 74,5'ten 86,6'ya, PaperBench'te 64,8'den 93,0'a, JobBench'te 31,3'ten 53,4'e ve Toolathlon Verified'da 49,7'den 72,5'e yükseliş görülürken, GPQA Diamond 92,4'ten 92,6'ya, HLE ise 41,4'ten 43,6'ya ancak ilerledi. Bu, yeni nesil amiral gemisi modellerinin artık tek turlu bilgi soru-cevabından çok ajan senaryolarına odaklandığını net biçimde ortaya koyuyor.
Lisanslama tarafındaki değişim de dikkat çekici. Qwen3.8, Apache 2.0 yerine özel bir Qwen3.8-Max Lisansı kullanıyor; bu lisans, aylık 100 milyondan fazla aktif kullanıcıya veya 20 milyon dolar aylık gelire ulaşan ticari ürünlerde model adının arayüzde belirtilmesini ve MaaS işletmeleri için ayrı yetkilendirme alınmasını şart koşuyor. Kimi K3'ün lisansı da benzer eşikler içeriyor. Trilyon parametreli amiral gemisi modellerinde açık ağırlıklar ve özel ticari lisans kombinasyonu, önceki küçük model dönemindeki Apache tarzı açıklığın yerini alıyor. Bu, yapay zeka açık kaynağının temel çelişkisini yansıtıyor: model eğitimi ağır bir varlık yatırımı ve her dağıtım sonrası çıkarım sürekli GPU, depolama, ağ ve enerji kaynağı tüketiyor. Açıklığın sürdürülebilir bir ekonomik mantığa ihtiyacı var. Linux Foundation'ın Ağustos ayında başlattığı Tokenomics Foundation, yapay zeka maliyetlerini ve değerini ölçmek için açık standartlar oluşturmayı hedefliyor; bu girişim, sektörün bu çelişkiyi çözme arayışının bir göstergesi.
