OpenAI, 30 Haziran 2026'da yayımladığı bir makaleyle GeneBench-Pro'yu duyurdu. Bu yeni kıyaslama, yapay zeka ajanlarının hesaplamalı biyolojide belirsizlikle başa çıkma, varsayımları revize etme ve sonuçların karar vermeye hazır olup olmadığını değerlendirme gibi üst düzey muhakeme becerilerini ölçmeyi hedefliyor.
GeneBench-Pro, orijinal GeneBench'in üzerine inşa edilmiş olup genomik, kantitatif biyoloji ve translasyonel tıp alanlarında 129 sorudan oluşuyor. Sorular 10 alan ve 21 alt alana yayılıyor: istatistiksel genetik, popülasyon genetiği, kantitatif genetik, düzenleyici omik, fonksiyonel genomik, proteomik, klinik/farmakogenomik/diagnostik, kanser genomik, mikrobiyal genomik ve adli genetik.
Her soru, modele gerçekçi ve dağınık bir veri seti, kısa deneysel bağlam ve bir hedef tahmin değişkeni sunuyor. Modelin doğru yanıtı verebilmesi için veriyi keşfetmesi, uygun analitik yaklaşımı seçmesi, yinelemeli bir deney süreci yürütmesi ve nihai bir cevap üretmesi gerekiyor.
Kıyaslama Tasarımı
GeneBench-Pro, yaygın kıyaslama hatalarından kaçınmak için sentetik olarak oluşturuldu. Veri üretim sürecinin tam nedensel yapısı bilindiğinden, problemlerin karmaşıklığı ayarlanabiliyor ve farklı ancak savunulabilir analitik seçimlerin kabul edilebilir sayısal sonuçlar üretmesi sağlanıyor. Ayrıca ablasyon çalışmalarıyla yanlış analizlerin başarısız olması garanti altına alınıyor.
Soruların 82'si, UCLA'dan Alexander Strudwick Young ve Jennifer Grundman gibi dış uzmanlar tarafından incelendi. Young, "İncelediğim problemler, deneyimli bir danışmandan yinelemeli geri bildirim almadan bir yüksek lisans öğrencisinin tamamlamasının zor olacağı türdendi" dedi.
Değerlendirme ve Sonuçlar
Değerlendirme, deterministik olarak bilinen doğru yanıtlara göre yapılıyor. OpenAI'nin en güçlü modeli GPT-5.6 Sol, en yüksek muhakeme seviyesinde %28,7 başarı oranına ulaştı (Pro modunda %31,5). Bu, orijinal GeneBench'in başlangıcında en iyi model olan GPT-5'in %5'in altındaki performansına kıyasla büyük bir artış.
Test zamanı hesaplama ölçeklendirmesinin etkisi de gözlemlendi: En düşük muhakeme seviyesinde GPT-5.6 Sol tek haneli başarı oranı alırken, en yüksek seviyede GPT-5.2'nin neredeyse altı katı kadar soruyu, üçte iki oranında daha az token kullanarak çözdü.
Açık kaynak modellerle karşılaştırıldığında, GPT modelleri arasındaki farkın kodlama kıyaslamalarından beklenenden daha büyük olduğu görüldü. Bu, açık kaynak modellerin kodlamada uzmanlaştığını ancak genel muhakeme becerisinde geride kaldığını gösteriyor.
Neden önemli
GeneBench-Pro, yapay zeka araştırmalarında genellikle ihmal edilen bir alanı hedef alıyor: sistem düzeyinde muhakeme ve belirsizlik altında karar verme. Mevcut kıyaslamalar çoğunlukla çok adımlı soruları tarihsel veri kümeleriyle test ederken, GeneBench-Pro sentetik veriyle her sorunun net bir doğru yanıtı olmasını sağlıyor. Bu, model performansını daha nesnel ölçmeyi mümkün kılıyor.
İnsan uzmanların bir soruyu çözmesinin 20-40 saat ve binlerce dolar maliyetle gerçekleştiği tahmin edilirken, AI ajanlarının maliyeti yalnızca birkaç dolar. Bu, kısmi otomasyonun bile önemli ekonomik ve bilimsel değer yaratabileceğini gösteriyor. Ancak mevcut başarı oranları, AI ajanlarının henüz insan uzmanların yerini alamayacağını ortaya koyuyor.
OpenAI, 10 temsili soruyu Hugging Face üzerinde açık kaynak olarak yayımladı ve 50 soruluk bir alt kümeyi yakında Artificial Analysis aracılığıyla bağımsız testlere sunacak.
