Mistral AI, formal doğrulama alanındaki açık kaynak modeli Leanstral'ın yeni sürümü 1.5'i duyurdu. Apache-2.0 lisansıyla yayınlanan model, 119B toplam parametreye sahip olmasına karşın yalnızca 6B aktif parametre kullanarak çalışıyor. Model, matematiksel teorem kanıtlama ve kod doğrulama görevlerinde önemli başarılar elde etti.
Performans ve Kıyaslamalar
Leanstral 1.5, miniF2F kıyaslamasını hem doğrulama hem de test setlerinde %100 başarıyla doyurdu. Putnam Matematik Yarışması'ndan 672 problemin 587'sini çözerken, FATE-H'de %87, FATE-X'te ise %34 ile yeni bir çığır açtı. Bu sonuçlar, Seed-Prover 1.5 ve AxProverBase gibi rakiplerini geride bırakıyor. Özellikle PutnamBench'te Seed-Prover 1.5'i 7 problemle geçerken, problem başına maliyeti yaklaşık 4 dolar seviyesinde; Seed-Prover'ın maliyeti ise 300 doların üzerinde.
Eğitim Süreci
Model üç aşamalı bir eğitim sürecinden geçiyor: orta eğitim (mid-training), denetimli ince ayar (supervised fine-tuning) ve CISPO ile pekiştirmeli öğrenme. İki farklı pekiştirmeli öğrenme ortamında eğitilen model, çok turlu ortamda teorem kanıtlama, kod ajanı ortamında ise dosya düzenleme, bash komutları çalıştırma ve Lean dil sunucusuyla gerçek zamanlı etkileşim gibi yetenekler kazanıyor.
Kod Doğrulama ve Hata Keşfi
Leanstral 1.5, matematik dışında kod doğrulamada da güçlü yetenekler sergiliyor. AVL ağaçlarının zaman karmaşıklığını kanıtlama görevinde 2,7 milyon token ve 22 sıkıştırma (compaction) ile O(log n) garantisini ispatladı. Ayrıca, 57 açık kaynak deposunda yapılan otomatik testlerde 47 ihlal edilmiş özellik tespit edildi; bunlardan 11'i gerçek hata, 5'i ise daha önce raporlanmamıştı. Örneğin, datrs/varinteger kütüphanesindeki zigzag kod çözme fonksiyonunda Std.U64.MAX girdisinde taşma hatası bulundu.
Neden Önemli
Leanstral 1.5, formal doğrulamayı hem güçlü hem de pratik hale getiriyor. Açık kaynak lisansı ve düşük maliyeti sayesinde, geliştiricilerin gerçek dünya kodlarında resmî yöntemleri kullanmasının önünü açıyor. Modelin test-time scaling özelliği, token bütçesi arttıkça performansın düzenli olarak yükselmesini sağlıyor; bu da uzun ve karmaşık kanıtların üstesinden gelebileceğini gösteriyor. Geleneksel test ve fuzzing yöntemlerinin gözden kaçırdığı hataları yakalayabilmesi, formal doğrulamanın yazılım güvenliğinde önemli bir araç haline gelebileceğine işaret ediyor.
Kullanıma Hazır
Leanstral 1.5, Apache-2.0 lisansıyla Hugging Face üzerinden indirilebilir ve ücretsiz API endpoint'i olarak kullanılabilir. Mistral Vibe aracılığıyla kolayca kurulup çalıştırılabiliyor.
