Mistral AI, 8 milyar parametreli görsel-dil modeli Robostral Navigate'i 8 Temmuz 2026'da yayınladı. Model, robotların yalnızca tek bir sıradan RGB kamera kullanarak doğal dil talimatlarıyla karmaşık alanlarda gezinmesini sağlıyor. Bu yaklaşım, LiDAR, derinlik sensörleri veya çoklu kamera ihtiyacını ortadan kaldırırken standart kıyaslamalarda üstün sonuçlar sunuyor.

Mimari ve Girdi-Çıktı Tasarımı

Robostral Navigate, Mistral'ın görsel-dil modeli üzerine inşa edilmiş olup navigasyonu nesne lokalizasyonu ve işaretleme yeteneklerinin bir uzantısı olarak ele alıyor. Mevcut kamera karesi ve talimat geçmişi göz önüne alındığında, bir sonraki hedef konumunun görüntü koordinatlarını ve varışta istenen yönelimi tahmin ediyor. Hedef görüş alanı dışında olduğunda, model yerel çerçevede yer değiştirme komutlarına geri dönüyor. Gerçek zamanlı çıkarım, standart düşük güçlü kartlarda 50 milisaniyenin altında kalıyor.

Tek Kamera Performansı

Geleneksel robot navigasyon yığınları RGB kameraları LiDAR, derinlik sensörleri ve IMU'lar ile birleştirir. Robostral Navigate, güçlü öğrenilmiş ön bilgiler ve verimli eğitim ile tek bir RGB kameranın yüksek başarılı navigasyon için yeterli olduğunu gösteriyor. R2R-CE doğrulama unseen bölümünde model %76,6 başarıya ulaşarak önceki en iyi tek kamera sistemini 9,7 puan, en iyi çok sensörlü sistemi ise 4,5 puan geride bırakıyor. LiDAR ve derinlik donanımını kaldırmak, birim başına maliyeti binlerce dolar azaltıyor ve enerji tüketimini düşürüyor.

Kıyaslama Sonuçları

R2R-CE kıyaslamasında Robostral Navigate, validation seen bölümünde %79,4, validation unseen bölümünde %76,6 başarı kaydediyor. Bu metrikler, yeni düzenlere ve ifadelere güçlü genelleme yapıldığını gösteriyor. Önceki tek kamera yaklaşımları unseen bölümlerde genellikle %70'in altında kalırken, çok sensörlü liderler karmaşık sensör füzyonu gerektiriyordu.

İşaretleme Mekanizması ve Hibrit Eylem Alanı

İşaretleme tabanlı navigasyon çekirdeği, modelin hedef koordinatlarını doğrudan mevcut RGB karesinde çıkarmasını sağlıyor. Hedef görünürdeyken robot işaretlenen piksele yöneliyor; görünürde değilse yerel yer değiştirme komutları veriyor. Hibrit tasarım, modelin ulaşılamaz hedefler halüsinasyonu görmesini engelliyor ve adımlar arasında süreklilik sağlıyor.

Eğitim Verisi ve Verimlilik

Robostral Navigate, 6.000 farklı sahnede yaklaşık 400.000 yörünge üreten simülasyon içi bir hat ile eğitildi. Sahneler ofisler, evler, ticari binalar ve dış mekanları gerçekçi aydınlatma ve dokularla kapsıyor. Önek önbelleğe alma eğitim algoritması, eğitim tokenlarını 22 kat azaltarak aylar süren hesaplamayı günlere indiriyor.

Çevrimiçi Pekiştirmeli Öğrenme

Denetimli ön eğitimin ardından Mistral, CISPO algoritması ile çevrimiçi pekiştirmeli öğrenme uyguladı. Bu aşama başarı oranını 3,2 puan artırdı ve düşüş eğilimi göstermeden iyileşmeye devam ediyor. Pekiştirmeli öğrenme, davranış klonlamanın dağılım kaymasını ele alarak kurtarma davranışlarını ve keşif eylemlerini teşvik ediyor.

Robot Türleri ve Kamera Kurulumları Arasında Genelleme

Robostral Navigate, tekerlekli, bacaklı ve uçan platformlarda aynı ağırlıklarla çalışıyor. Model, farklı lens odak uzunlukları veya montaj açılarına sahip kameralarla yeniden eğitim gerektirmeden genelleme yapıyor. Çapraz platform testleri, iç mekan ve dış mekan ortamlarında yüksek başarı oranlarını koruduğunu gösteriyor.

Neden Önemli

Robostral Navigate, pahalı sensör donanımını ortadan kaldırarak robot otonomisini ölçeklenebilir ve uygun maliyetli hale getiriyor. Tek bir kamerayla yüksek başarı, özellikle teslimat, denetim ve lojistik robotları için benimseme engellerini düşürüyor. Modelin farklı robot türlerine genelleme yapabilmesi, karma filolarda dağıtımı kolaylaştırıyor. Ancak, dış mekan veya yüksek dinamik ortamlarda ek ince ayar gerektirebilir; yine de bu çalışma, görsel olarak gerekçelendirilmiş politikaların çok sensörlü sistemlere kıyasla daha iyi performans gösterebileceğini kanıtlıyor.