Stanford tarafından yapılan yeni bir araştırma (PDF), ChatGPT’nin Haziran ayında belirli görevlerde Mart sürümünden daha kötü performans gösterdiğini ortaya çıkardı. Makale, AI dil modelinin kodlama ve kompozisyon görevlerindeki performansının son aylarda kötüleştiğine dair kanıtlanmamış olsa da yaygın olarak kabul edilen bir görüşü desteklemektedir. Şans raporları: Çalışma, OpenAI tarafından oluşturulan sohbet robotunun performansını birkaç ay boyunca dört “farklı” görevde karşılaştırdı: matematik problemlerini çözme, hassas soruları yanıtlama, yazılım kodu oluşturma ve görsel akıl yürütme. Araştırmacılar, teknolojinin belirli görevleri yerine getirme yeteneğinde – sürüklenme adı verilen – vahşi dalgalanmalar buldular. Çalışma, zaman diliminde OpenAI teknolojisinin iki versiyonunu inceledi: GPT-3.5 adlı bir versiyon ve GPT-4 olarak bilinen bir başka versiyon. En dikkate değer sonuçlar, GPT-4’ün matematik problemlerini çözme yeteneği üzerine yapılan araştırmalardan geldi.
Çalışma boyunca araştırmacılar, Mart ayında GPT-4’ün 17077 sayısının asal sayı olduğunu sorulduğunda %97,6 oranında doğru bir şekilde tanımlayabildiğini buldu. Ancak sadece üç ay sonra doğruluğu %2,4’e düştü. Bu arada, GPT-3.5 modeli neredeyse tam tersi bir yörüngeye sahipti. Mart versiyonu aynı soruya yalnızca %7,4 oranında doğru cevap verirken, Haziran versiyonu tutarlı bir şekilde doğru cevap vererek zamanın %86,8’inde doğru cevap verdi. Araştırmacılar modellerden kod yazmalarını ve teknolojiden bir örüntüdeki bir sonraki rakamı tahmin etmesini isteyen görsel bir muhakeme testi yapmalarını istediğinde de benzer şekilde değişen sonuçlar elde edildi.
Çalışmanın yazarlarından biri olan Stanford bilgisayar bilimi profesörü James Zou, “sofistike ChatGPT”den “değişimin büyüklüğünün” beklenmedik olduğunu söylüyor. Mart’tan Haziran’a ve iki model arasındaki çok farklı sonuçlar, modelin belirli görevleri yerine getirmedeki doğruluğunu değil, modelin bir bölümündeki değişikliklerin diğerleri üzerindeki öngörülemeyen etkilerini yansıtıyor. […] Bu istenmeyen yan etkilerin kesin doğası, araştırmacıların ve benzer şekilde halkın ChatGPT’ye güç veren modellere ilişkin bir görünürlüğü olmadığı için hala tam olarak anlaşılamamıştır. Bu, OpenAI’nin Mart ayında kodunu açık kaynak yapma planlarından geri adım atmaya karar vermesinden bu yana daha da şiddetli hale gelen bir gerçek. Zou, “Bunlar kara kutu modelleri” diyor. “Yani, modelin kendisinin, sinirsel mimarilerin veya eğitim verilerinin nasıl değiştiğini gerçekten bilmiyoruz.”
News
