Alman araştırma konsorsiyumu Soofi, 15 Temmuz 2026'da Soofi S 30B-A3B adlı açık temel modelin ön eğitim raporunu yayınladı. Model, Almanca ve İngilizce için geliştirilmiş, Mixture-of-Experts (MoE) hibrit Mamba-Transformer mimarisine sahip. Toplam ~31,6 milyar parametre içeren model, her token için ~3,2 milyar parametreyi aktif hale getiriyor. Ön izleme ağırlıkları Hugging Face üzerinde erişime açıldı.

Eğitim, Deutsche Telekom'un Münih'teki Endüstriyel AI Bulutu'nda uçtan uca gerçekleştirildi. 24 Mart - 13 Mayıs 2026 tarihleri arasında 512 adet NVIDIA B200 GPU kullanılarak yaklaşık 253.000 B200 GPU-saat tüketildi.

Mimari Detaylar

Soofi S, 52 katmandan oluşuyor: 23 Mamba-2 dizi karıştırma katmanı, 23 granüler MoE katmanı ve 6 Gruplandırılmış Sorgu Dikkati (GQA) katmanı. Yalnızca 6 GQA katmanı KV önbelleği tutuyor. Her MoE katmanında 128 yönlendirilmiş uzman bulunuyor, token başına 6 uzman aktif hale geliyor ve 2 paylaşımlı uzman ekleniyor. Model boyutu 2688, kare ReLU, RMSNorm ve konumsal gömme kullanılmıyor. Soofi S, Nemotron 3 Nano referans tasarımını değişiklik yapmadan benimsiyor.

Eğitim Verisi ve Aşamaları

Eğitim üç aşamada gerçekleşti ve toplam ~26,68 trilyon token tüketildi:

  • Aşama 1: ~20 trilyon token, çeşitli ve kalite kademeli bir karışım, 1e-3 plato.
  • Aşama 2: ~6,58 trilyon token yüksek kaliteli tavlama verisi, 1e-3'ten 1e-5'e düşüş, ardından sabit 1e-5.
  • Aşama 3: ~0,10 trilyon token, 1.048.576 token dizi uzunluğu, 1 milyon tokena kadar bağlam penceresi.

Almanca oranı Aşama 1'de %7,2 iken Aşama 2'de %15,32'ye yükseltildi. Referans Nemotron 3 Nano karışımında tüm İngilizce dışı dillere yaklaşık %5 ayrılmıştı. Almanca kaynaklar arasında HPLT v3 ve v4, German Commons, German FinePDFs, FineWiki ve ticari lisanslı Genios (916 gazete ve ticari yayın arşivinden 193 milyon makale) yer alıyor.

Performans

Soofi S, 16 açık temel modelle karşılaştırıldı. Aşağıda bazı modellerle karşılaştırma sonuçları yer alıyor:

| Benchmark (%) | Soofi S 30B-A3B | Olmo 3 32B | Apertus 70B | EuroLLM 22B | Alia 40B | |---|---|---|---|---|---| | İngilizce toplam | 70.1 | 67.3 | 62.4 | 61.2 | 59.0 | | Almanca toplam | 79.1 | 69.2 | 72.8 | 70.6 | 68.4 | | Held-out (EN / DE) | 41.4 / 41.8 | 33.1 / 36.2 | 27.6 / 33.5 | 30.8 / 33.9 | 28.0 / 29.4 | | HumanEval (pass@1) | 73.8 | 63.0 | 30.2 | 39.3 | 23.8 | | MBPP-DE (pass@1) | 84.2 | 70.8 | 50.9 | 59.4 | 45.6 | | GSM8K | 86.1 | 80.7 | 65.4 | 25.1 | 65.4 |

Soofi S, tamamen açık temel modeller arasında en yüksek İngilizce (70.1) ve Almanca (79.1) toplam puanlarına ulaştı. Ancak Qwen3.5 35B-A3B, İngilizce, Almanca ve held-out ortalamalarında daha yüksek puan aldı. Mimari olarak aynı olan Nemotron 3 Nano referansına kıyasla Soofi S, İngilizce toplamda 1.8 puan, Almanca toplamda 4.2 puan ve held-out İngilizce'de 6.7 puan artış gösterdi.

Neden önemli

Soofi S, Alman egemen AI altyapısı hedefiyle geliştirilmiş, tamamen açık bir model. 512 B200 GPU ile ~253.000 GPU-saatte eğitilen model, özellikle Almanca dilinde güçlü performans sergiliyor. Alman hükümetinin desteklediği KI Bundesverband koordinasyonunda Fraunhofer IAIS, DFKI, TU Darmstadt, ellamind ve Merantix Momentum gibi kurumların katılımıyla geliştirilmesi, Avrupa'nın yapay zeka alanındaki stratejik bağımsızlık çabalarının bir parçası. Modelin yalnızca 6 katmanda KV önbelleği tutması, uzun bağlamlı ve yüksek eşzamanlılık gerektiren sunucu senaryolarında verimlilik vaat ediyor. Ancak ağırlıkların kapılı ön izleme olarak sunulması ve lisansın henüz kesinleşmemiş olması, tam açıklık açısından dikkatle izlenmesi gereken noktalar.