NVIDIA, embedding modelleri ailesi Nemotron 3 Embed'i yayınladı. Koleksiyon, üretim ölçeğinde RAG (Retrieval-Augmented Generation), ajanik erişim, kod erişimi ve ajan belleği gibi kullanım senaryolarını hedefliyor. Tüm modeller OpenMDW-1.1 lisansıyla açık kaynak olarak sunuluyor.

Koleksiyonda üç kontrol noktası yer alıyor:

  • Nemotron-3-Embed-8B-BF16: Doğruluk odaklı, ~8B parametre.
  • Nemotron-3-Embed-1B-BF16: Aynı tasarımı daha küçük bir ayak izinde sunan 1.14B parametreli model.
  • Nemotron-3-Embed-1B-NVFP4: Blackwell optimizasyonlu, 4-bit nicelemeli 1.14B parametreli model.

Her üç model de çift yönlü dikkat maskesi ile eğitilmiş transformer kodlayıcılar. Nihai embedding, token seviyesi temsillerinin ortalama havuzlanmasıyla elde ediliyor. Maksimum dizi uzunluğu 32.768 token. Modeller 34 dilde değerlendirilmiş. 8B modelin temeli Ministral-3-8B-Instruct-2512, 1B varyantlarının temeli ise Ministral-3-3B-Instruct-2512.

Performans

Nemotron-3-Embed-8B-BF16, RTEB (Retrieval Embedding Benchmark) sıralamasında 78.46 ortalama NDCG@10 ile 16 görevde birinci sırada yer alıyor. 1B-BF16 modeli 72.38, NVFP4 modeli ise 72.00 puan alıyor. 1B modeller, önceki nesil taban çizgisi llama-nemotron-embed-vl-1b-v2'ye kıyasla 10.4 puanlık bir artış sağlıyor. NVFP4 nicelemesi, BF16'ya göre yalnızca 0.38 puan kaybıyla %99.5 doğruluk korunumu sunuyor.

1B Modelin Oluşturulması

1B modeller, daha küçük bir eğitim sürecinden değil, bir sıkıştırma hattından geçiyor. Önce 3B ebeveyn model, NVIDIA ModelOpt mcore_minitron Sinir Mimarisi Arama (NAS) ile 2B'ye budanıyor. Ardından 2B model, ince ayarlı 8B embedding öğretmeninden damıtılıyor. Aynı işlem 1.14B kontrol noktasını üretmek için tekrarlanıyor.

NVFP4 modelinde ise ağırlıklar ve aktivasyonlar niceleme ile NVFP4 veri türüne dönüştürülüyor. Niceleme-Farkında Damıtma (QAD) ile uzun girdilerde doğruluk geri kazanılıyor. NVIDIA, NVFP4'ün Blackwell'de BF16'ya kıyasla 2 kata kadar daha yüksek verim sağladığını ve %99+ doğruluk koruduğunu belirtiyor. NVFP4 modeli ayrıca dinamik embedding boyutlarını (2048, 1024 veya 512) destekliyor.

Kullanım ve Dağıtım

Modeller farklı runtime yolları kullanıyor. 8B-BF16 ve 1B-BF16, Transformers ve Sentence Transformers kütüphaneleriyle çalışırken, NVFP4 modeli vLLM 0.25.0 veya NVIDIA NIM mikroservisi ile kullanılabiliyor. NIM, Rust tabanlı olup GB200 ve RTX PRO 6000'de optimize edilmiş performans sunuyor.

Kod kullanımında sorgular query: ve belgeler passage: ön ekiyle işaretleniyor. encode_query ve encode_document fonksiyonları bu önekleri otomatik ekliyor. vLLM ile /v2/embed API'si üzerinden input_type parametresi ile sorgu/belge ayrımı yapılabiliyor.

Kullanım Örnekleri

  • Çok dilli kurumsal arama: Hintçe, Japonca ve İngilizce ticketların tek bir indekste taranması.
  • Kod erişimi: Eğitimde coir_apps, coir_cosqa, sentetik_text2sql ve SWE-bench gibi veri kümeleri kullanıldı.
  • Ajan belleği: 32.768 token limiti ile uzun konuşma özetlerinin gömülmesi.
  • Maliyet kademeli RAG: Yüksek hacimli taramalarda 1B-NVFP4, zor sorgularda 8B model kullanımı.

Neden önemli

Nemotron 3 Embed, açık kaynak embedding modellerinde hem doğruluk hem de verimlilik açısından yeni bir referans noktası oluşturuyor. 8B modelin RTEB'de birinci sıraya yerleşmesi, NVIDIA'nın bu alandaki rekabet gücünü gösteriyor. NVFP4 nicelemesi ile Blackwell donanımında 2 kata varan hız artışı, üretim ortamlarında maliyetleri düşürebilir. Ayrıca 1B modellerin NAS ve damıtma ile elde edilmesi, büyük modelleri daha küçük ve verimli hale getirme stratejisinin başarılı bir örneği. Tüm modellerin açık kaynak lisansıyla sunulması, topluluk tarafından benimsenmeyi ve daha geniş kullanımı teşvik edebilir.