Google'ın yeni Magic Pointer özelliği, ekran içeriğini Gemini'ye göndererek çalışıyor. Android Authority'nin gerçekleştirdiği bir kod incelemesi, özelliğin neredeyse tamamen AI prompt'ları (yapay zeka komutları) ile inşa edildiğini ve geleneksel kod yerine doğrudan Gemini'ye metin prompt'ları gönderdiğini ortaya koydu.
Magic Pointer, kullanıcıların ekranda bir bölge seçmesine ve Gemini'nin bağlama göre öneriler sunmasına olanak tanıyor. Özellik, Google'ın yakında piyasaya sürmesi beklenen yeni dizüstü bilgisayarlarında (Googlebook) yer alacak. Kod incelemesi, Magic Pointer'ın çalışması için Google uygulamasının varsayılan asistan olarak ayarlanması gerektiğini, ancak özelliğin isteğe bağlı olduğunu gösteriyor. Kullanıcılar, imleci sallayarak veya klavye kısayoluyla Magic Pointer'ı etkinleştirebilecek; sallama hassasiyeti ayarlanabiliyor veya tamamen kapatılabiliyor.
Google'ın Gemini'ye gönderdiği sistem prompt'u şöyle: "Role & goal: You are the intelligence behind the Magic Pointer for Android laptop OS feature. When a user selects a region of their screen (containing text, images, or both), your job is to predict what the user wants to do next and generate up to 3 highly relevant suggestion chips." Bu prompt, Magic Pointer'ın tüm etkileşimlerde nasıl davranacağını belirliyor. Ayrıca dört kategori tanımlanmış: anlama (understand), dönüştürme (transform), fikir üretme (ideate) ve yürütme (execute).
Google, cinsiyetten bağımsız dil ve "kültürel olarak uygun" yanıtlar gibi güvenlik önlemleri eklemiş, ancak bunlar katı kod yerine yine AI prompt'larıyla uygulanıyor. Bu yaklaşım, Magic Pointer'ı güncellemeyi sadece bir prompt'u değiştirmek kadar basit hale getiriyor, ancak aynı zamanda AI'nın yanlış veya uygunsuz yanıtlar verme riskini de beraberinde getiriyor. Kullanıcıların prompt'ları değiştirmesine izin verilmesi durumunda, prompt enjeksiyonu veya Gemini modellerine sınırsız ücretsiz erişim gibi ciddi güvenlik açıkları ortaya çıkabilir.
Google, kullanıcı verilerinin cihaz üzerindeki Gemini Nano modeliyle mi yoksa bulutta mı işleneceğini henüz açıklamadı. Bu, önemli bir gizlilik sorusu olarak duruyor. Magic Pointer'ın işletim sisteminin bir parçası değil, bağımsız bir uygulama olması, kullanıcıların istedikleri gibi devre dışı bırakabilmesini sağlıyor.
Neden önemli
Magic Pointer, Google'ın yazılım geliştirme yaklaşımında bir dönüm noktasına işaret ediyor. Geleneksel kodlama yerine AI prompt'larıyla çalışan bir kullanıcı arayüzü öğesi, gelecekteki işletim sistemlerinin nasıl inşa edilebileceğine dair bir önizleme sunuyor. Bu yaklaşım, güncellemeleri kolaylaştırırken, güvenlik ve gizlilik risklerini de beraberinde getiriyor. Özellikle, verilerin nerede işleneceği sorusu henüz yanıtlanmış değil. Google'ın bu teknolojiyi ne kadar benimseyeceği ve kullanıcıların prompt'ları özelleştirmesine izin verip vermeyeceği, hem geliştiriciler hem de kullanıcılar için kritik öneme sahip.
Google AI Studio'da iki resmi Magic Pointer demosu mevcut: Point and speak to Edit an image ve Interact with Google Maps.
