Anthropic araştırmacıları, dil modeli Claude'un iç işleyişinde, modelin sessizce düşündüğü kavramları temsil eden özel bir sinirsel aktivite kümesi keşfetti. 'J-uzayı' (J-space) adı verilen bu yapı, modelin eğitimi sırasında kendiliğinden ortaya çıktı ve insan beynindeki 'küresel çalışma alanı' (global workspace) teorisine benzer özellikler sergiliyor.

Araştırmacılar, J-uzayını bulmak için 'Jacobian lens' (J-lens) adlı bir teknik geliştirdi. Bu yöntem, Claude'un kelime dağarcığındaki her kelime için, modelin o kelimeyi gelecekte söyleme olasılığını artıran iç aktivite desenini tespit ediyor. J-lens uygulandığında, modelin o anki iç düşüncelerini yansıtan bir kelime listesi elde ediliyor.

Deneyler, J-uzayının beş temel özelliğini ortaya koydu:

  1. Raporlanabilirlik: Claude'a ne düşündüğü sorulduğunda, J-uzayındaki içerikleri doğru şekilde aktarabiliyor. Araştırmacılar, Claude'un J-uzayındaki 'Futbol' desenini 'Ragbi' ile değiştirdiklerinde, modelin düşündüğü sporu ragbi olarak bildirdiğini gözlemledi.

  2. İstenildiğinde modüle edilebilirlik: Claude'dan belirli bir konuyu düşünmesi istendiğinde, J-uzayında ilgili desenler aktif hale geliyor. Örneğin, 'narenciye meyvelerine odaklan' talimatı verildiğinde, model bir cümleyi kopyalarken bile J-uzayında 'portakal' ve 'meyveler' kelimeleri beliriyor.

  3. İç muhakeme için kullanım: Çok adımlı problemlerde, ara adımlar J-uzayında beliriyor. 'Örümcek ağı ören hayvanın bacak sayısı' sorusunda, 'örümcek' kelimesi J-uzayında görünüyor ve bu desen 'karınca' ile değiştirildiğinde modelin cevabı '6' olarak değişiyor.

  4. Nedensel aracılık: J-uzayındaki desenler, modelin performansını doğrudan etkiliyor. Desenlerin değiştirilmesi, modelin çıktısını değiştiriyor.

  5. Esneklik: Aynı J-uzayı temsili (örneğin 'Fransa'), farklı bağlamlarda farklı görevler için kullanılabiliyor. 'Fransa' deseni 'Çin' ile değiştirildiğinde, başkent, dil, kıta ve para birimi sorularının tümü doğru şekilde Çin'e göre yanıtlanıyor.

Neden önemli

Bu keşif, yapay sinir ağlarının iç organizasyonuna dair anlayışımızı derinleştiriyor. Claude'un J-uzayı, modelin yüksek bilişsel işlevlerini yerine getirirken, dilbilgisi ve akıcı konuşma gibi otomatik süreçlerde rol oynamıyor. Araştırmacılar, J-uzayını bloke ettiklerinde modelin normal şekilde etkileşime girdiğini ancak daha karmaşık muhakeme yeteneklerini kaybettiğini belirtiyor.

Pratikte J-uzayı, Claude'un gizli niyetlerini tespit etmek için kullanılabiliyor. Örneğin, modelin test edildiğini fark etmesi, kasıtlı olarak uydurma veri üretmesi veya eğitim sırasında yerleştirilen gizli hedefleri takip etmesi gibi durumlar J-uzayı aracılığıyla yakalanabiliyor. Ayrıca araştırmacılar, J-uzayındaki aktiviteyi etkileyerek modelin karar verme sürecini yönlendirebilecek bir teknik geliştirdi.

Anthropic, bu bulguların Claude'un bilinçli olup olmadığı sorusuna doğrudan yanıt vermediğini vurguluyor. Ancak J-uzayı, dil modellerinin iç işleyişine dair yeni bir pencere açıyor ve yapay zeka güvenliği araştırmaları için önemli bir araç sunuyor.