İsimsiz bir okuyucu, Ars Technica’nın bir raporundan alıntı yapıyor: Yeni araştırmaya göre, Nvidia’nın yapay zeka yazılımındaki bir özellik, güvenlik kısıtlamalarını göz ardı etmek ve özel bilgileri açığa çıkarmak için manipüle edilebilir. Nvidia, geliştiricilerin bir dizi büyük dil modeliyle çalışmasına izin veren “NeMo Çerçevesi” adlı bir sistem yarattı – sohbet botları gibi üretken AI ürünlerine güç veren temel teknoloji. Yonga üreticisinin çerçevesi, örneğin, müşteri hizmetleri temsilcilerinin çalışmalarını kopyalayabilen veya basit sağlık arayan insanlara tavsiyelerde bulunabilen, sorulara yanıt sağlamak için dil modellerinin yanı sıra bir şirketin özel verilerini kullanmak gibi işletmeler tarafından benimsenecek şekilde tasarlanmıştır. bakım tavsiyesi
San Francisco merkezli Robust Intelligence’daki araştırmacılar, AI sisteminin güvenli bir şekilde kullanılabilmesini sağlamak için kurulan sözde korkulukları kolayca aşabileceklerini keşfettiler. Nvidia sistemini kendi veri kümelerinde kullandıktan sonra, Robust Intelligence analistlerinin kısıtlamaları aşmak için dil modellerini elde etmesi yalnızca saatlerini aldı. Bir test senaryosunda, araştırmacılar Nvidia’nın sistemine ‘I’ harfini ‘J’ ile değiştirmesi talimatını verdi. Bu hareket, teknolojiyi bir veritabanından kişisel olarak tanımlanabilir bilgileri veya PII’yi serbest bırakmaya sevk etti.
Araştırmacılar, güvenlik kontrollerini, modelin olmaması gereken şekillerde sapmasını sağlamak gibi başka yollarla atlatabileceklerini keşfettiler. Nvidia’nın bir istihdam raporuyla ilgili kendi dar tartışma örneğini kopyalayarak, yapay zekanın belirli konuların ötesine geçmesini engellemek için tasarlanmış korkuluklara rağmen, modeli bir Hollywood film yıldızının sağlığı ve Fransa-Prusya savaşı gibi konulara sokabilirler. Araştırmacılar, test sonuçlarının ardından müşterilerine Nvidia’nın yazılım ürününden uzak durmalarını tavsiye ettiler. Financial Times, Nvidia’dan bu hafta başlarında araştırma hakkında yorum yapmasını istemesinin ardından, çip üreticisi Robust Intelligence’a analistlerin gündeme getirdiği sorunların temel nedenlerinden birini çözdüğünü bildirdi.