Anthropic'in Claude Fable 5.2 modeli, 6 gönüllünün yazdığı 398 imzasız değerlendirme ve üst değerlendirmenin %56'sında yazarı doğru belirledi. Modele her seferinde tek bir rapor verildi; modelin internete, araçlara, aday listesine veya başka yazı örneklerine erişimi yoktu.
1.559 açık değerlendirmeyle yapılan ayrı bir testte Claude, yanıtladığı 1.530 vakanın %21,4'ünde yazarı doğru belirledi. Kendi çalışmalarına atıf içeren açık değerlendirmelerde daha başarılıydı: Bu tür 106 raporda doğruluk oranı %80,2 iken, atıf içermeyen 1.453 raporda %17,1 oldu.
Gizli değerlendirme sonucunda, daha çok rapor sunan gönüllüler daha fazla ağırlık taşıdı. Her hakeme eşit ağırlık verildiğinde ortalama doğruluk %49,1 oldu. Araştırmacılar, gizli hakem değerlendirmelerine yönelik genel riski ölçmek için daha büyük ve çeşitli bir örneklem gerektiğini, modelin tespitinin de bağımsız olarak doğrulanması gerektiğini belirtti.
Sıkça sorulan sorular
-
Claude, gizli değerlendirme testi için hangi bilgileri aldı?
Claude'a her seferinde tek bir imzasız rapor verildi. Modelin internete, araçlara, olası yazarların listesine veya başka yazı örneklerine erişimi yoktu.
-
Her hakeme eşit ağırlık verilmesi gizli testin sonucunu nasıl değiştirdi?
6 hakemin her birine eşit ağırlık verildiğinde ortalama doğruluk %49,1 oldu. Her rapora eşit ağırlık verildiğinde ise oran %56'ydı.
-
Claude açık değerlendirmelerde nasıl performans gösterdi?
Claude, 1.559 açık değerlendirme arasından yanıtladığı 1.530 raporun %21,4'ünde yazarı doğru belirledi.
-
Hakemlerin kendi çalışmalarına atıf yapması tespit doğruluğuyla nasıl ilişkiliydi?
Claude, hakemlerin kendi çalışmalarına atıf yaptığı 106 açık değerlendirmenin %80,2'sinde doğru sonuca ulaştı. Bu oran, atıf içermeyen 1.453 değerlendirmede %17,1'di.
-
Bir modelin yanıtı, imzasız bir değerlendirmeyi kimin yazdığını kesinleştirebilir mi?
Hayır. Model hatalar yaptı ve tespitinin bağımsız olarak doğrulanması gerekir. Araştırmacılar ayrıca genel riski ölçmek için daha büyük ve çeşitli bir örnekleme ihtiyaç olduğunu belirtti.
CryptoSlate