Cisco, kuruluşların üçüncü taraf yapay zeka modellerini kullanırken karşılaştıkları güvenlik ve uyumluluk sorunlarını ele almak için Model Provenance Kit adlı açık kaynak bir aracı kullanıma sundu. Python tabanlı bu araç, modellerin 'parmak izini' çıkararak kökenlerini ve yapılan değişiklikleri izlemeyi mümkün kılıyor.
Günümüzde kuruluşlar, HuggingFace gibi model havuzlarından milyonlarca modeli kullanabiliyor. Ancak Cisco'ya göre, bu modellerin kaynağı, güvenlik açıkları ve eğitim önyargıları gibi iddialar genellikle doğrulanmıyor. Bu durum, zehirli modellerin kullanılmasına, düzenleyici uyumluluk sorunlarına ve tedarik zinciri risklerine yol açabiliyor.
Cisco, "Bu güvenlik açıkları, ister dahili bir sohbet robotunu, ister bir ajan uygulamasını veya müşteriye yönelik bir aracı etkilesin, kontrol edilmezse yayılmaya devam edebilir" uyarısında bulundu. Ayrıca, modelin soyağacı bilinmediğinde bir olayın kök nedenine ulaşmanın ve diğer etkilenen modelleri tespit etmenin zorlaştığı vurgulandı.
Model Provenance Kit, metadata sinyalleri, tokenizer benzerliği ve ağırlık düzeyinde kimlik sinyalleri (gömme geometrisi, normalizasyon katmanları, enerji profilleri ve doğrudan ağırlık karşılaştırmaları) kullanarak her model için benzersiz bir parmak izi oluşturuyor. Araç iki modda çalışıyor:
- compare: İki modeli karşılaştırarak ortak soyağacını belirler.
- scan: Bir modelin parmak izini, Cisco tarafından derlenen bir veritabanındaki parmak izleriyle karşılaştırarak en yakın kökeni bulur.
Cisco, "Modeller sürekli olarak ince ayar, damıtma, birleştirme ve yeniden paketleme işlemlerinden geçtikçe, model dosyaları statik varlıklar olmaktan çıktı. Soyağacını takip etmek zorlaştı ve gizlenmesi kolaylaştı. Model Provenance Kit, model kökenine kanıta dayalı bir yaklaşım sağlama yolunda bir adımdır" dedi.
Araç GitHub'da açık kaynak olarak yayınlanırken, Cisco'nun temel model parmak izi veri seti Hugging Face üzerinde erişime açıldı.
Neden önemli
Yapay zeka modellerinin tedarik zinciri güvenliği, kuruluşlar için kritik bir konu haline geliyor. Cisco'nun bu aracı, modellerin kökenini doğrulamak ve olası güvenlik açıklarını tespit etmek için pratik bir çözüm sunuyor. Özellikle düzenleyici kurumların yapay zeka kullanımına ilişkin belgeleme gereklilikleri arttıkça, bu tür araçlar uyumluluk süreçlerinin bir parçası haline gelebilir. Ayrıca, olay müdahale ekiplerinin bir güvenlik ihlali durumunda sorunun kaynağını hızlıca bulmasına yardımcı olarak yanıt sürelerini kısaltabilir.
