CryptoSlate
Anthropic'in Fable 5.2 modeli, Scale'in Remote Labor Index sınavında serbest çalışan projelerinin %41.3'ünün profesyonel referans standardını karşıladığı şeklinde değerlendirilerek 12 Kasım liderlik tablosunun en yüksek skorunu elde etti. Onu takip eden en iyi model olan Opus 5.5 ise %21.25'te kaldı. Anthropic bu sonucu 9 Kasım'da yayımladığı duyurusunda açıklayarak skoru, güvenlik önlemleri etkinleştirilmiş şekilde "High effort" olarak etiketledi.
Center for AI Safety ve Scale AI araştırmacılarınca geliştirilen RLI, tekil sorular yerine eksiksiz serbest çalışan projelerini test ediyor. Veri seti; belgelerden ses kayıtlarına, videolardan 3B modellere ve CAD dosyalarına kadar 23 kategoride 240 projeyi kapsıyor. Eğitimli insan hakemler her yapay zekâ teslimini hem müşteri brief'iyle hem de profesyonel bir insan referans ürünüyle karşılaştırıyor ve bir proje yalnızca iş bu referans standardını geçtiğinde başarılı sayılıyor. İşe yarar bir prototip veya kısmi sonuç bile başarısız sayılabiliyor; bu da %41.3'ü uçtan uca yeteneğin zorlu bir ölçütü hâline getiriyor.
Neden önemli
Fable 5.2'nin farkı, tamamlanmış ve denetlenebilir işlere dayanan bir kıyaslamada en yakın rakibin iki katından fazlasını yakalayan pratik yapay zekâ yeteneğinde gerçek bir sıçrama. Ancak aynı rakam modelin değerlendirilen projelerin %58'ini başarısız olduğunu da gösteriyor; üstelik çalışma, müşteri etkileşimi, ekip çalışması veya fiziksel emek gerektiren işleri zaten kapsam dışı bırakıyor. Anthropic'in duyuru sayfası ayrıca proje başına harcamayı ya da dahil olan insan desteğinin boyutunu belirtmiyor; bu da denklemin maliyet tarafını açık bırakıyor.
Piyasa etkisi
Yapay zekâyı serbest çalışan piyasalarıyla kıyaslayan herkes için RLI, bugüne kadarki en katı ölçütü sunuyor: makul bir müşterinin kabul edeceği bir ürüne dönüştürülmüş bir görev. %41.3'lük başarı oranı bir ikame eşiğinden çok uzak; ancak birkaç ay önce modelleri çok daha düşük seviyelerde ölçen bir liderlik tablosundaki gelişim hızı, prototip kalitesiyle müşteri kalitesi yapay zekâ çıktısı arasındaki farkın hızla kapandığını gösteriyor. Rakip laboratuvarların kendi RLI skorlarını yayımlayıp yayımlamayacağını ve Anthropic'in gelecekteki denemelerde yürütme maliyetlerini açıklayıp açıklamayacağını izleyin.
Sıkça sorulan sorular
-
Remote Labor Index (RLI) nedir?
Center for AI Safety ve Scale AI araştırmacılarının geliştirdiği, yapay zekâyı belgelerden 3B modellere kadar 23 kategoride eksiksiz serbest çalışan projelerinde test eden bir kıaslama. Bir proje yalnızca insan hakemler teslimi profesyonel bir referans standardı kadar iyi bulduğunda geçer sayılır.
-
Anthropic'in Fable 5.2 modeli RLI'de nasıl bir skor aldı?
Fable 5.2 %41.3 alarak Scale'in 12 Kasım liderlik tablosunda birinci oldu. Anthropic, 21.25'te kalan bir sonraki model Opus 5.5'in önünde, güvenlik önlemleri etkin şekilde sonucu "High effort" olarak etiketledi.
-
%41.3 skoru aslında ne anlama geliyor?
Değerlendirilen serbest çalışan projelerinin %41.3'ünün profesyonel kabul standardını karşılayan teslimler ürettiğini, kalan %58'inin ise başarısız olduğunu gösterir. İşe yarar prototipler veya kısmi sonuçlar, müşteri kabulüne uygun tamamlanmış işin gerisinde kaldığı için başarısız sayılır.
-
RLI hangi işleri kapsam dışı bırakıyor?
Çalışma, doğası gereği müşteri etkileşimi, ekip çalışması veya fiziksel emek gerektiren projeleri ve sonuçlarının değerlendirmeden önce beklenmesi gereken projeleri dışlar. Bu dışlamalar, sonuçların geniş uzaktan çalışma ekonomisine uygulanabilirliğini sınırlar.
-
Anthropic RLI denemesi hakkında hangi ayrıntıları vermedi?
Duyuru sayfası "High effort" belirtiyor ancak kesin yürütme düzenini, proje başına harcamayı veya dahil olan insan desteğinin boyutunu netleştirmiyor; bu da yetenek tablosunun maliyet tarafını belirsiz bırakıyor.
Crypto News
WatcherGuru
CoinTelegraph
TheBlock
CoinDesk