OpenAI'ın SWE-Bench Pro üzerinde yaptığı denetim, kodlama kıyaslamalarının göründüğü kadar güvenilir olmadığını gösterdi. Şirket, benchmark'ın genel kullanıma açık bölümündeki görevlerin yaklaşık %30'unun hatalı olduğunu tespit etti.
SWE-Bench Pro, daha önceki kodlama değerlendirmelerinin zayıflıklarını gidermek için tasarlanmıştı: daha uzun vadeli görevler, daha gerçekçi depolar ve eğitim verisi kirlenmesini azaltmayı hedefleyen kodlar içeriyordu. 731 görevlik genel bölümünde, öncü modellerin performansı sekiz ay içinde %23,3'ten %80,3'e yükseldi.
OpenAI bu yükselişi sorgulayarak, sonuçların ne kadarının modele, ne kadarının teste ait olduğunu araştırdı. Ajan destekli denetimde 200 görev (%27,4) hatalı olarak işaretlendi. Deneyimli yazılım mühendislerinin katıldığı paralel bir çalışmada ise 249 görev (%34,1) hatalı bulundu.
Hatalar arasında, doğru çözümleri reddeden, eksik çözümleri kabul eden veya prompt'ta belirtilmeyen davranışları talep eden görevler yer alıyor. OpenAI, bu bulguların ardından SWE-Bench Pro'nun benimsenmesi yönündeki önceki tavsiyesini geri çekti.
Neden önemli
Bu denetim, kodlama kıyaslamalarının yalnızca kesin puanlar vermesinin yeterli olmadığını gösteriyor. Bir benchmark'ın geçerliliği, puanın hassasiyetinden daha kritiktir. OpenAI'ın kullandığı ajan destekli denetim yöntemi, gelecekteki kıyaslamaların kalitesini artırmak için bir araç haline gelebilir. Ayrıca, yapay zeka modellerinin kodlama yeteneklerini değerlendirirken daha sağlam ve şeffaf metodolojilere ihtiyaç duyulduğu açıkça ortaya çıkıyor.
