Meta, genç kullanıcılarının yapay zeka sohbet botuyla intihar veya kendine zarar verme konularını konuşması durumunda ebeveynleri uyaracak yeni bir bildirim sistemi başlattı. Şirket daha önce bu tür konuşmalarda gençleri kriz hattına yönlendiriyor veya bir ebeveynle konuşmalarını öneriyordu. Ancak yeni sistemle birlikte ebeveynlere de doğrudan bildirim gönderilecek.
Meta'nın 16 Temmuz'da yaptığı açıklamaya göre, bu uyarılar şu anda ABD, İngiltere, Avustralya ve Kanada'da Instagram ebeveyn denetimlerini kullanan ebeveynler için aktif durumda. Yıl sonuna kadar küresel çapta tüm denetleyici ebeveynler için kullanıma sunulması planlanıyor.
Nasıl çalışıyor?
Instagram ebeveyn denetimleri, velilerin sisteme kaydolmasını gerektiriyor. Ancak 16 yaş altındaki yeni kullanıcılar, varsayılan olarak yalnızca ebeveyn izniyle değiştirilebilen kısıtlamalara sahip Teen Accounts'a (Genç Hesapları) kaydediliyor. 16-17 yaş arası gençler ise ebeveyn denetimi altında olmadıkları sürece bu ayarları kendileri değiştirebiliyor.
Sohbetlerdeki intihar veya kendine zarar verme sinyallerini tespit etmek için yapay zeka kullanılıyor. Ancak Meta, teknolojinin hata yapabileceğini göz önünde bulundurarak, yapay zeka tarafından işaretlenen tüm sohbetlerin bir uyarı gönderilmeden önce manuel olarak inceleneceğini belirtiyor. Şirket, "Bir gencin niyeti belirsizse, ihtiyatlı davranarak ebeveyni uyaracağız" ifadelerini kullandı.
Meta, hangi yapay zeka konuşmalarının uyarı gerektirdiğini belirlemek için ebeveynler ve uzmanlarla çalıştı. Örneğin, bir gencin kendine zarar vermeye yönelik net bir atıfta bulunması (bu atıf ince bile olsa) uyarı sebebi sayılıyor. Bu konuşmaları tespit etmek için özel bir yapay zeka sistemi geliştirildi.
Diğer önlemler ve bağlam
Meta, ayrıca hem genç hem de yetişkin kullanıcılar için geçerli olacak başka bir intihar önleme sistemi üzerinde çalışıyor. Bir sohbet botuyla yapılan konuşmada yakın zamanda kendine zarar verme riski görülürse, şirket müdahale için acil servislerle iletişime geçecek. Meta bu özelliğin ne zaman kullanıma sunulacağını açıklamadı, ancak aynı uygulamayı platformlarındaki gönderiler veya Facebook ile Instagram'daki sık aramalar için zaten yapıyor. Geçen yıl dünya çapında 19.000'den fazla bu tür yönlendirme yaparak, intihar riski altındaki kişilere wellness kontrolleri yapılmasını sağladı.
Meta AI sohbet botu, bağımsız bir uygulama ve web sitesinin yanı sıra Facebook, Instagram, Messenger ve WhatsApp üzerinden de kullanılabiliyor. İronik bir şekilde, şirket aynı zamanda WhatsApp için kullanıcıların yapay zeka sohbet konuşmalarını gizli tutmasını sağlayan bir Gizli Mod (Incognito Mode) geliştirdi.
Bu gelişme, OpenAI'ın ChatGPT'sinin birkaç kullanıcıyı intihara veya cinayete teşvik ettiği iddiasıyla karşı karşıya kaldığı davaların ardından geldi. Geçen yıl OpenAI, yaklaşık 1,2 milyon kullanıcının ChatGPT ile intihar planlaması veya niyeti hakkında konuştuğunu açıklamıştı; bu, haftalık aktif kullanıcıların yalnızca %0,15'ine denk geliyor.
Neden önemli
Meta'nın bu hamlesi, yapay zeka sohbet botlarının genç kullanıcılar üzerindeki potansiyel risklerine karşı proaktif bir adım olarak değerlendirilebilir. Şirketin, yapay zeka tespitlerini manuel incelemeye tabi tutması, hatalı pozitif uyarıların önüne geçmeyi hedefliyor. Ancak sistemin yalnızca ebeveyn denetimlerine kayıtlı aileler için geçerli olması, kapsamını sınırlıyor. Ayrıca, WhatsApp'taki Gizli Mod gibi özelliklerin varlığı, kullanıcıların bu uyarı sistemini atlatmasına olanak tanıyabilir. Meta'nın acil durumlarda acil servisleri devreye sokma planı ise, içerik denetiminden gerçek dünya müdahalesine geçişte önemli bir adım.
