CryptoSlate
Science Prediction Universe çalışması, kimya, malzeme bilimi, biyoloji ve tıp alanlarını kapsayan 100 herkese açık ve 16 özel görev üzerinde 12 modelde 13 ajan yapılandırmasını test etti. Yapılandırmalar arasındaki ortalama uyumun Spearman sıra korelasyonu 0.52'ye ulaştı; ölçülen sonuçlarla olan korelasyon ise 0.33'tü. Ajan uyumu, 100 herkese açık görevin 81'inde ölçümlerle olan korelasyonu aştı.
Makaleye göre sıralamaların birleştirilmesi, bireysel gönderimlerin ortalamasının 0.08 puan üzerinde uzlaşı sonuçları üretti ve 100 herkese açık görevin 73'ünde performansı iyileştirdi. Bu kazanç için bildirilen 95% güven aralığı 0.05 ile 0.11 arasındaydı.
Neden önemli
Ana uyarı, model uzlaşısının bilimsel doğrulukla aynı şey olmadığıdır. Ortalama alma, sistemler arasında farklılık gösteren hataları götürebilir; ancak hepsinin ortak hatalarını korur. Bir onkoloji görevi bu riski ortaya koydu: 11 yapılandırma 0.9 düzeyinde anlaşırken ölçümlere göre ortalama puanları yalnızca 0.27'ydi.
Araştırmacılar bazı ortak hataları, deneysel sonuçların nasıl yükselmesi veya düşmesi gerektiğine ilişkin ortak varsayımlarla ilişkilendirdi. Dolayısıyla daha fazla ajan, bağımsız bilgi eklemeden daha güçlü görünen bir uzlaşı yaratabilir. Bu durum, araştırma, malzeme veya ilaç keşfi adaylarını önceliklendirmek amacıyla çoklu ajan sistemleri kullanan şirketler açısından bir sınırlama oluşturuyor.
Pazar etkisi
Sonuçlar, toplulukların otomatik laboratuvar doğrulamasının yerine geçen araçlar yerine karar desteği olarak kullanılmasını destekliyor. Kapsama düzensizdi. Claude Opus 5.5 ve Claude Fable 5.1, büyük ölçüde güvenlik retlerine bağlı olarak yalnızca 44 ve 30 herkese açık görevde puan aldı. Tüm 13 yapılandırma yalnızca 28 puanlanmış görevi ortaklaşa kapsarken özel küme, dört yayımlanmamış deney serisine ait yalnızca 16 görev içeriyordu.
Kıyaslama, insan tahmini temel çizgisini de içermiyordu. Herkese açık görevler ise pilot değerlendirmelerin ardından seçilen yayımlanmış ölçümlere dayanıyordu. Çalışma yine de özel kümede anlamlı performans buldu. 13 yapılandırmanın 12'si, yayımlanmamış deneyleri şansa göre belirgin biçimde daha iyi sıraladı. Ancak en güçlü çıkarımı yöntemseldir: Yapay zekâ uzlaşısı, kendisi kanıt sayılmamalı, dış kanıta karşı ölçülmelidir.
Sıkça sorulan sorular
-
Yapay zekâ ajanları laboratuvar ölçümleriyle ne kadar güçlü bir uyum gösterdi?
Ölçülen sonuçlarla ortalama Spearman korelasyonları 0.33 iken, yapılandırmalar arasındaki korelasyon 0.52'ydi. Ajan uyumu, 100 herkese açık görevin 81'inde ölçümlerle olan korelasyonu aştı.
-
Birden fazla yapay zekâ ajanının tahminlerini birleştirmek sonuçları iyileştirdi mi?
Evet. Uzlaşı sıralamaları, bireysel gönderimlerin ortalamasının 0.08 puan üzerinde puan aldı ve 100 herkese açık görevin 73'ünde performansı iyileştirdi. Bildirilen 95% güven aralığı 0.05 ile 0.11 arasındaydı.
-
Yapay zekâ ajanları arasındaki uyum neden doğruluğu göstermeyebilir?
Ortalama alma, sistemler arasında farklılık gösteren hataları azaltır; ancak ortak hataları korur. Birkaç ajan aynı hatalı varsayıma dayanırsa uzlaşı güçlü görünürken tutarlı biçimde yanlış kalabilir.
-
Science Prediction Universe çalışmasının hangi sınırlamaları vardı?
Kapsama yapılandırmaya göre değişiyordu, tüm 13 sistem yalnızca 28 puanlanmış görevi ortaklaşa kapsıyordu ve özel küme 16 görev içeriyordu. Çalışma ayrıca insan tahmini temel çizgisini içermiyordu.
-
Ajanlar, özel bilimsel görevlerde herhangi bir tahmin yeteneği gösterdi mi?
Evet. 13 yapılandırmanın 12'si, yayımlanmamış deneyleri genel olarak şansa göre belirgin biçimde daha iyi sıraladı. Bununla birlikte, cevapları doğrulamak için laboratuvar ölçümleri hâlâ gerekiyordu.
CoinTelegraph
WatcherGuru
CoinDesk
Crypto News