Alman Yapay Zeka Birliği (KI Bundesverband) koordinasyonundaki bir araştırma konsorsiyumu, tamamen açık kaynak dil modeli Soofi S 30B-A3B'yi yayınladı. Model, eğitim raporuna göre, tamamen açık modeller arasında İngilizce ve Almanca kıyaslamalarında en yüksek puanları alarak OLMo 3 32B ve Apertus 70B gibi önceki liderleri geride bıraktı.
Verimli hibrit mimari
Soofi S, toplam 31,6 milyar parametreye sahip olmasına rağmen, üretilen her token için yalnızca yaklaşık 3,2 milyar parametreyi etkinleştiren bir uzman karışımı (MoE) modelidir. Bu sayede hesaplama maliyeti geleneksel bir 30B modelden çok 3B modele yakındır. Konsorsiyum, Nvidia'nın Nemotron 3 Nano mimarisini değişiklik yapmadan benimsemiştir; bu mimari Mamba-2 katmanlarını standart dikkat katmanlarıyla birleştiren hibrit bir tasarımdır.
Geleneksel transformatörlerde, dikkat hesaplaması için önceki tokenleri depolayan KV önbelleği, bağlam uzunluğuyla doğrusal olarak büyür. Soofi S'in 52 katmanından yalnızca 6'sı böyle bir önbellek tutar. Pratikte bu, 40.000 token bağlam uzunluğunda ve 32 paralel istekte, Soofi S'in saniyede GPU başına 14-24 milyar parametre aralığındaki yoğun modellerden yaklaşık sekiz kat daha fazla token üretmesi anlamına gelir. Geleneksel modellerin üretim hızı bağlam büyüdükçe keskin bir şekilde düşerken, Soofi S 4.000'den 256.000 tokena kadar neredeyse sabit kalır.
Almanca odaklı eğitim
Konsorsiyum, üç aşamada toplam yaklaşık 27 trilyon token işledi. İlk aşamada model, geniş bir web, kod, matematik ve alan metinleri karışımından yaklaşık 20 trilyon token ile dil temellerini öğrenir. İkinci aşamada yaklaşık 6 trilyon token ile daha yüksek kaliteli kaynaklardan eğitim yapılır. Üçüncü aşamada ise bir milyon tokena kadar uzun belgelerle bağlam penceresi genişletilir.
Almanca odaklı eğitim merkezi öneme sahiptir. İlk aşamada Almanca eğitim karışımının yüzde 7,2'sini oluştururken, ikinci aşamada bu oran yüzde 15,3'e yükselir. Nvidia'nın Nemotron referans tarifinde tüm İngilizce dışı diller toplamda yalnızca yüzde 5 civarındadır. Veri kaynakları arasında HPLT'den Alman web metinleri, açık lisanslı German Commons külliyatı, FinePDFs ve FineWiki'nin Almanca bölümleri ile 916 Alman yayınından 193 milyon gazete makalesi içeren ticari lisanslı Genios külliyatı yer alır.
Kıyaslama sonuçları
Soofi S, 16 açık modelle karşılaştırıldığında hem Almanca hem de İngilizce toplam puanlarda tüm tamamen açık modeller arasında liderdir. Buna Allen Institute for AI'dan OLMo 3 32B ve ETH Zürih ile EPFL'den Apertus 70B de dahildir. Kod kıyaslamalarında Soofi S, HumanEval'de yüzde 73,8, MBPP'de yüzde 70,2 ve Almanca MBPP varyantında yüzde 84,2 ile açık kaynak emsalleri arasında en iyi sonuçları alır. Almanya'ya özgü bölgesel bilgi testi INCLUDE-DE'de, daha büyük Qwen3.5 35B-A3B ile 61,2 puanla birinciliği paylaşır.
Model, Almanca yarışma matematiğinde (Minerva MATH-DE) 56 puanla Qwen3.5 35B-A3B (76,5) ve Gemma 3 27B'nin (65,6) gerisinde kalır. Ayrıca NaturalQuestions'ta açık olgusal erişimde zorlanır; bu durum muhtemelen yalnızca 3 milyar aktif parametreye sahip olmasıyla ilgilidir. RULER uzun bağlam testinde, 32.000 token ötesinde sık geçen kelimeleri çıkarmada başarı oranı yüzde 3'e düşerken, karşılaştırılabilir Nemotron modeli yüzde 60-64 arasında kalır. Yazarlar bunu, uzun bağlam eğitim verilerinde çıkarma görevleri için sentetik veri eksikliğine bağlamaktadır.
Neden önemli
Soofi S, Avrupa'nın egemen yapay zeka altyapısı hedefleri açısından önemli bir adımdır. Model, Deutsche Telekom'un Münih'teki Endüstriyel AI Cloud'unda, tamamen yenilenebilir enerjiyle çalışan ve Eisbach kanalından su soğutmalı 512 Nvidia B200 GPU'da eğitilmiştir. Konsorsiyum, model ağırlıklarını, ara kontrol noktalarını, eğitim ve değerlendirme kodlarını ve ayrıntılı bir veri envanterini açık kaynak olarak yayınlamıştır. Bu şeffaflık, Soofi S'in Açık Kaynak Girişimi'nin Açık Kaynak AI Tanımı 1.0'ını karşılamasını sağlar. Ancak, ticari lisanslı Genios verilerinin yüzde 1,3'lük payı nedeniyle, her tokenin serbestçe dağıtılabilir olmasını gerektiren daha katı bir Avrupa açık veri tanımını karşılamaz. Proje, açık Avrupa AI model ailesi oluşturmayı ve endüstriyel uygulamalarda test etmeyi hedeflemektedir.
