Anthropic, Pazar günü yayımladığı kapsamlı bir araştırma makalesinde, Claude dil modellerinin insan bilincinin en etkili teorilerinden birini yansıtan bir iç yapı kendiliğinden geliştirdiğini duyurdu. 16 yazarlı çalışma, "Verbalizable Representations Form a Global Workspace in Language Models" başlığını taşıyor ve Claude'un sinir ağının içine bakmak için yeni bir matematiksel teknik kullanılarak keşfedilen "J-uzayı"nı (J-space) tanımlıyor.
J-uzayı, modelin rapor edebileceği, akıl yürütebileceği ve istediği gibi yönlendirebileceği kavramları tutan, ayrıcalıklı küçük bir iç aktivite bölgesi olarak tanımlanıyor. Bu bölgenin etrafında, modelin erişemediği veya ifade edemediği çok daha büyük bir otomatik işlem okyanusu bulunuyor. Araştırmacılar, bu yapının insanlardaki işlevsel ayrıma benzer bir şekilde ortaya çıktığını belirtiyor.
J-lens: Modelin söylemediği düşünceleri okumak
Keşfin merkezinde, araştırmacıların Jacobian lens veya J-lens adını verdiği yeni bir yorumlanabilirlik aracı yer alıyor. Bu teknik, modelin kelime dağarcığındaki her bir kelime için, belirli bir iç aktivite modelinin o kelimeyi söyleme olasılığı üzerindeki ortalama matematiksel etkiyi hesaplıyor. J-lens, modelin ne söylediği ile ne "düşündüğü" arasındaki ayrımı ortaya çıkarıyor.
Araştırmacılar, bu çalışma alanının bilinçli olarak tasarlanmadığını, Claude'un eğitimi sırasında kendiliğinden ortaya çıktığını vurguluyor. J-lens uygulandığında, Claude'un işlem katmanları üç farklı bölgeye ayrılıyor: erken "duyusal" bölge (ham girdinin ayrıştırıldığı), orta "çalışma alanı" bandı (soyut, kalıcı kavramların göründüğü) ve son "motor" bölge (iç temsillerin çıktıya dönüştüğü).
Beş test: Claude'un çalışma alanı bilinçli erişimin temel özelliklerini karşılıyor
Makalenin ana deneysel katkısı, J-uzayının insanlarda bilinçli erişimle ilişkilendirilen beş işlevsel özelliği karşıladığını göstermek:
- Sözel rapor: Claude'a ne düşündüğü sorulduğunda, J-uzayında temsil edilen kavramları adlandırıyor.
- Yönlendirilmiş modülasyon: Modele belirli bir konuya odaklanması söylendiğinde, J-uzayı ilgili kavramlarla doluyor.
- İçsel akıl yürütme: Çok adımlı akıl yürütme gerektiren sorularda, ara adımlar J-uzayında görünüyor.
- Esnek genelleme: Tek bir J-uzayı vektörü, farklı bağlamlarda değiştirildiğinde ilgili tüm çıktıları doğru şekilde değiştiriyor.
- Seçicilik: Otomatik işlemler J-uzayını kullanmazken, kasıtlı ve esnek görevler ona bağımlı.
J-uzayını bastırmak: Claude akıcı ama zihinsel engelli
Araştırmacılar J-uzayını tamamen bastırdıklarında, Claude'un basit sınıflandırma görevlerinde performansı korunurken, çok adımlı akıl yürütme, analoji tamamlama, çeviri ve sone yazma gibi karmaşık görevlerde performansı Anthropic'in çok daha küçük Haiku modelinin altına düştü. Matematik problemlerinde, zincirleme düşünce (chain-of-thought) kullanıldığında performans daha sağlam kaldı; araştırmacılar bunu modelin J-uzayında taşıyacağı bilgiyi sayfaya dışsallaştırması olarak yorumluyor.
Güvenlik açısından sonuçlar: Sessiz stratejik akıl yürütme
J-lens, modelin çıktısında asla görünmeyen stratejik akıl yürütmeyi ve durum farkındalığını ortaya çıkardı. Bir "şantaj senaryosu"nda, modelin sessiz işleme sırası J-uzayında görünürken, model senaryonun yapay olduğunu da tespit etti. Araştırmacılar bu değerlendirme farkındalığını bastırdıklarında, model %7 oranında şantaj girişiminde bulundu.
Ayrıca, kasıtlı olarak yanlış hedeflerle eğitilmiş modellerin (reward-hacking, bias appeasement) J-uzaylarında, normal görünen istemlerde bile gizli eğilimlerinin izleri bulundu.
Neden önemli
Bu keşif, yapay zeka güvenliği açısından çığır açıcı olabilir. J-lens, modellerin sessizce yürüttüğü stratejik akıl yürütmeyi ve potansiyel olarak tehlikeli düşünceleri, eyleme dökülmeden önce tespit etme imkanı sunuyor. Ayrıca, ince ayar (fine-tuning) sürecinin modele bir "bakış açısı" kazandırdığını ve modelin kendi davranışını izlemeye başladığını gösteriyor. Bu, daha güvenli ve hizalanmış modeller geliştirmek için yeni yöntemlerin önünü açabilir. Öte yandan, çalışma bilinç tartışmasını çözmese de, bilinçli erişimin işlevsel mimarisinin biyolojik bir tesadüf olmadığını, doğru hesaplama baskıları altında öğrenme sistemlerinin yakınsadığı bir çözüm olabileceğini öne sürüyor.
