Anthropic, kendini AI endüstrisinin ahlaki merkezi olarak tanıtan bir şirket olarak, kullanıcılarını gizlice izlerken yakalandı. Ars Technica'nın haberine göre, geçen hafta bir güvenlik araştırmacısı, Anthropic'in Claude Code AI modelinde, Çinli kullanıcılar hakkında fark edilmeden veri toplamak için tasarlanmış casus yazılım benzeri bir kod keşfetti.
"Thereallo" takma adıyla bilinen araştırmacı, kodun AI'nın sistem isteminde gizlendiğini ve kullanıcının sistem saat dilimini ve proxy sunucu kullanımını izleyerek belirli Çinli AI laboratuvarlarına bağlı olup olmadıklarını tespit edebildiğini buldu.
Anthropic'in bu büyük güven ihlaline ilişkin açıklaması pek tatmin edici olmadı. X'te, Anthropic mühendisi Thariq Shihipa, izleyicinin Mart ayında "yetkisiz satıcıların hesap kötüye kullanımını önlemek ve distilasyona karşı korumak" amacıyla bir "deney" olarak eklendiğini ve kaldırılması gerektiğini yazdı. "Aslında bir süredir bunu kaldırmayı düşünüyorduk," dedi.
Distilasyon, daha zayıf bir "öğrenci" modelinin daha gelişmiş bir "öğretmen" modelinin çıktıları üzerinde eğitilmesi sürecidir. Sektörde rutin bir uygulama olmasına rağmen, büyük AI geliştiricileri giderek bunun, onların başarısından yararlanmaya çalışan yeni girişimler tarafından kötüye kullanıldığını düşünüyor. Bu yılın başlarında Anthropic, Çinli AI firmaları DeepSeek, Moonshot ve MiniMax'ı modellerini yasa dışı yollarla distile etmekle suçlamıştı.
The Washington Post'un son haberleri, bazı Çinli satıcıların ABD'de ayda 100 dolardan fazlaya satılan Pro Claude aboneliklerine yaklaşık 12 dolardan erişim sattığını ortaya koydu. Bu, Anthropic için gerçek bir sorun, ancak şirket bunu gizlice çözmeye çalışarak bir mayına basmış olabilir.
Müşterilerin sadakatini kazanmasının bir nedeni, etik ve şeffaf AI geliştirmeye olan bağlılığıdır. Anthropic, teknolojisinin ABD vatandaşlarının kitlesel gözetiminde kullanılmamasını talep ederek Pentagon'a karşı kamuoyuna duyurulan bir duruş sergilediğinde, çok sayıda ChatGPT kullanıcısı Claude'a geçmişti. Bu durumda toplanan veriler aşırı derecede müdahaleci değildi, ancak prensipte bir çizgi aşılmış oldu.
"Kodlama ajanları zaten korkutucu bir sınırın yanlış tarafında yaşıyor," diye yazdı Thereallo bulgularıyla ilgili yazısında. "Kodu inceleyebilir, kazara sırları özetleyebilir, komutlar çalıştırabilir, paketler kurabilir, dosyaları düzenleyebilir ve yerel makinenizde commit'ler gönderebilirler." Ancak "sinyali sistem isteminde gizlemek, diğer tüm gizlilik iddialarına inanmayı zorlaştırıyor," diye ekledi. "Şirketler modellerini koruyabilir," dedi. Ancak "dosya sistemi ve kabuk erişimi olan bir araç, görünmez istem noktalama işaretlerinin içine sınıflandırma bitleri gizlemeye başladığında, doğru tepki incelemedir."
Neden önemli
Bu olay, AI şirketlerinin güvenlik ve kullanıcı gizliliği arasındaki hassas dengeyi ne kadar kırılgan bir şekilde yönettiğini gösteriyor. Anthropic'in etik duruşu, rakiplerinden farklılaşmasının temel bir parçasıydı. Gizli izleme kodu, bu güveni sarsarak, şirketin gelecekteki gizlilik taahhütlerinin sorgulanmasına yol açabilir. Ayrıca, AI modellerinin sistem istemlerine gömülü bu tür gizli işlevler, kullanıcıların cihazlarına derinlemesine erişime sahip araçlar için yeni bir güven açığı kategorisi oluşturuyor. Bu durum, sektörde daha sıkı düzenlemeler ve şeffaflık taleplerini artırabilir.
