Epoch AI, Anthropic'in Claude Opus 5.5 modelinin, insan araştırmacıların genellikle 16 saatte tamamladığı bir veri merkezi araştırmasını üç saatten kısa sürede bitirdiğini açıkladı. Model, Epoch'un değerlendirme kriterlerinde %87,5 puan aldı ve maliyeti bir insan araştırmacıdan daha düşük oldu. Çalışması profesyonel araştırmacılarınkiyle karşılaştırılabilir düzeydeydi, ancak yine de düzeltmeler gerektirdi.
Neden önemli?
Görev, Epoch'un veri merkezi veritabanındaki EcoDataCenter 1 tesisini kapsıyordu. Araştırmacıların tesis hakkındaki bilgileri belirlemek için haberleri, düzenleyici kurumlara yapılan bildirimleri ve uydu görüntülerini incelemesi gerekiyordu. Epoch, insan araştırmacılara uyguladığı standartlarla değerlendirme yapmadan önce modellere araştırmacı yönergelerini, araştırma araçlarını ve değerlendirme kriterlerini verdi.
Claude Fable 5.2, %97,5 ile daha yüksek puan aldı, ancak yaklaşık altı buçuk saat sürdü ve maliyeti bir insan araştırmacıyı aştı. Her iki Anthropic modeli de Epoch'un temel araştırma standartlarını karşılasa da ekipman sınıflandırmaları, görüntü açıklamaları ve yazılı betimlemelerde düzeltme gerektirdi. OpenAI'ın GPT-6.2 Astra modeli %65 puan aldı. Epoch'a göre model, mevcut kanıtlarla sunulabilecek bazı bilgi ve tahminleri atladı.
Piyasa etkisi
Sonuçlar, profesyonel araştırmaların otomasyonunda hem potansiyel verimlilik kazanımlarını hem de değişken maliyetleri ortaya koyuyor. Opus, karşılaştırılabilir bir çalışmayı daha hızlı ve düşük maliyetle sunarken Fable'ın daha yüksek puanı, insan araştırmacıdan daha yüksek bir maliyetle geldi.
Epoch, dış kaynaklı araştırmacıların bilgi toplama ve derlemeye ayırdığı zamanın bir kısmını, yapay zekâ tarafından hazırlanan çalışmaların ve diğer veri merkezi analizlerinin incelenmesine kaydırmayı değerlendiriyor. İnsan kontrolü, özellikle uydu görüntülerinin yorumlanması ve ekipmanların tanımlanmasında önemini koruyor.
Sıkça sorulan sorular
-
Epoch AI, Claude'dan neyi araştırmasını istedi?
Görev, Epoch'un veri merkezi veritabanı için EcoDataCenter 1 tesisini haberler, resmi bildirimler ve uydu görüntüleriyle araştırmayı kapsıyordu.
-
Claude Opus 5.5, bir insan araştırmacıyla nasıl karşılaştırıldı?
Opus, %87,5 puan aldı ve görevi daha düşük maliyetle üç saatten kısa sürede tamamladı. Epoch'a göre aynı görev insan araştırmacıların genellikle 16 saatini alıyor.
-
Claude Fable 5.2 görevde nasıl performans gösterdi?
Fable, Opus'tan yüksek bir puanla %97,5 aldı, ancak yaklaşık altı buçuk saat sürdü ve maliyeti bir insan araştırmacıyı aştı.
-
Hangi hatalar için hâlâ insan denetimi gerekti?
Anthropic modellerinin çalışmalarındaki ekipman sınıflandırmaları, görüntü açıklamaları ve yazılı betimlemeler düzeltme gerektirdi. Görsel yorumlama özellikle zorlayıcıydı.
-
Epoch, dış kaynaklı araştırmacılardan yararlanma biçimini nasıl değiştirebilir?
Epoch, araştırmacıların bilgi toplama ve derlemeye ayırdığı zamanın bir kısmını yapay zekâ çalışmalarını ve diğer veri merkezi analizlerini incelemeye kaydırmayı değerlendiriyor.
CryptoSlate