SenseTime, bilgisayarlı görü alanındaki parçalanmış yapıya son veren SenseNova-Vision adlı birleşik görsel büyük modelini tamamen açık kaynak olarak yayınladı. Model, Hugging Face Any-to-Any Liderlik Tablosu'nda küresel olarak birinci sıraya yerleşti ve bu kapsamlı çok modlu kıyaslamada zirveye çıkan ilk Çinli görsel yapay zeka şirketi oldu.
SenseNova-Vision, nesne tespiti, görüntü segmentasyonu, derinlik tahmini ve 3B rekonstrüksiyon gibi görevleri tek bir mimaride birleştiriyor. Geleneksel olarak bu görevler ayrı uzman modeller gerektiriyor, bu da karmaşık ve silolanmış sistemlere yol açıyordu. SenseNova-Vision, bu çıktıları tek bir üretici çerçeve içinde çok modlu üretim problemleri olarak yeniden formüle ederek göreve özgü model başlıkları, kayıp fonksiyonları ve kod çözme kurallarına olan ihtiyacı ortadan kaldırıyor.
Teknik mimari, veri ve akıl yürütme arasında çift sarmal bir yapı oluşturuyor. Onlarca yıllık endüstriyel görsel veri (tespit, segmentasyon, derinlik tahmini) doğrudan büyük modele besleniyor. Buna karşılık, büyük dil modeli akıl yürütme yetenekleri görsel görev performansını artırmak için uygulanıyor. Geliştiriciler, eğitim sırasında hiç tanımlanmamış yeni görsel görevleri doğal dil kullanarak tanımlayabiliyor; bu da mekansal anlayışın programlanmış bir yetenek olmaktan çıkıp modele içkin hale geldiğini gösteriyor.
Kıyaslama testlerinde SenseNova-Vision, dört temel görevin tamamında uzman modellerle eşleşiyor veya onları geçiyor. Model, Minecraft sahneleri gibi oyun görüntülerinde herhangi bir ince ayar yapmadan eşzamanlı yüzey normali tahmini, örnek segmentasyonu ve nesne tespiti yaparak dikkate değer sıfır atış genelleme yetenekleri sergiliyor. Yoğun örtüşen nesneler, ayna yansımaları ve derinlik illüzyonları içeren görsel olarak zorlu senaryolarda model, geleneksel uzman modellere göre tutarlı bir üstünlük gösteriyor.
Açık kaynak sürümü, tam model, kod, eğitim tarifi ve 50 milyon örneklik yüksek kaliteli görsel veri kümesini içeriyor. SenseTime, topluluk tarafından herkese açık veri kümeleri kullanılarak çoğaltılması için eksiksiz dönüştürme kuralları ve betikler sağladı. Bu açıklık, çoğu büyük modelin kapalı veya kısmen açık kaldığı görsel yapay zeka alanında nadir görülen bir durum.
Neden önemli
SenseTime'nin bu hamlesi, şirketin on yıldır Çin'in bir numaralı görsel yapay zeka sağlayıcısı ve 2025'ten itibaren küresel video analitiği lideri olmasıyla birlikte değerlendirildiğinde, stratejik bir dönüşüme işaret ediyor. Tek bir modelin endüstriyel denetim, otonom sürüş ve akıllı perakende gibi yüksek frekanslı görsel yapay zeka dağıtım ihtiyaçlarının çoğuna hizmet edebildiği platform tabanlı bir yetenek yeniden kullanım modeline geçiş sinyali veriyor. Bu, bilgisayarlı görü alanında 'dikiş canavarı' (stitch-monster) olarak adlandırılan, farklı görevler için ayrı modellerin birbirine eklendiği dönemin sonu anlamına gelebilir.
