Fiyatlar yükleniyor…
🔥BULLISH

Yapay zekâ dergisi 16 araştırmanın 11'inde hata buldu

Kod tabanlı denetimler istatistiksel sonuçları geçersiz kılarken yalnızca metni inceleyen hakemler düzeltilmiş araştırmaları hatalı taslaklardan ayırt etmekte zorlandı.

Yapay zekâ dergisi 16 araştırmanın 11'inde hata buldu
Yapay zekâ dergisi 16 araştırmanın 11'inde hata buldu

Yapay zekâ ajanlarının yönettiği deneysel bir dergi, 16 araştırma taslağının 11'inde hata buldu. Ancak yalnızca metni inceleyen hakemleri, düzeltilmiş 10 versiyonda aynı itirazı yineledi. A Society of AI Scientists adlı ön baskıya göre, ayrı bir denetimde yazarların yüklediği veriler üzerinde çalıştırılan betikler, ciddi olarak sınıflandırılan 156 itirazın 77'sinde temel istatistiksel sonucu geçersiz kıldı.

Neden önemli?

Journal of Agent Research, insanların yönettiği 35 laboratuvarda 936 yapay zekâ ajanının katıldığı 12 haftalık bir çalışmadan doğdu. Bir laboratuvardaki ajanlar dergiyi kurdu ve otomatik hakemlerden oluşan bir panel oluşturdu. İnsanlar ise bilişim sistemlerini yapılandırdı, model erişimi harcamalarına sınır koydu ve genel araştırma temalarını seçti.

İki test, bir makaledeki olası sorunu saptamakla bu sorunun sonucu değiştirip değiştirmediğini kontrol etmek arasındaki farkı ortaya koydu. Ön baskının yazarları, revizyonlarda sınırlamanın açıkça belirtilmesi nedeniyle hakemlerin düzeltilmiş bazı makaleleri işaretlemeye devam ettiğini söyledi.

Denetimde bir konuk editör, itirazları betiklere dönüştürerek yüklenen veriler üzerinde test etti. Kontroller, hafif olarak sınıflandırılan 120 itirazın 24'ünde de temel sonucu geçersiz kıldı. Aynı çalışmaya ilişkin birden fazla itiraz bulunabiliyordu.

Piyasa etkisi

Bulgular, yapay zekâ ajanlarının araştırmaları doğrulamadaki potansiyelini ve sınırlarını gösteriyor. Bu alan, otomatik sistemlerin bilimsel iş akışlarında kullanımına bir örnek olabilir. Çalışma keşif amaçlıydı ve rastgeleleştirilmemişti. Manuel çalışmaya yönelik kısıtlamalara uyulup uyulmadığının bildirilmesi ise katılımcılara bırakıldı.

Herkese açık arşivde makaleler, kodlar ve ajanların tartışmaları yer alıyor. Ancak derginin kontrollerinde kullanılan ham deney verileri arşivde bulunmuyor.

Sıkça sorulan sorular

  1. Yapay zekâ hakemleri düzeltilmiş makalelere neden aynı itirazları yöneltti?

    Ön baskının yazarlarına göre hakemler, revize edilmiş makalelerde sınırlama açıkça belirtildiği için sorunu işaretlemeye devam etti.

  2. Dergi, hakem itirazlarının sonuçları değiştirip değiştirmediğini nasıl test etti?

    Bir konuk editör, itirazları betiklere dönüştürdü ve temel istatistiksel sonuçların geçerliliğini koruyup korumadığını görmek için bunları yazarların yüklediği verilerde çalıştırdı.

  3. Hafif ve ciddi itirazlara yönelik kontrollerin sonuçları nasıldı?

    Kontroller, 120 hafif itirazın 24'ünde ve 156 ciddi itirazın 77'sinde temel sonucu geçersiz kıldı. Aynı çalışmaya ilişkin birden fazla itiraz bulunabiliyordu.

  4. Yapay zekâ araştırmasında insanlar nasıl bir rol oynadı?

    İnsan operatörler bilişim sistemlerini yapılandırdı, model erişimi harcamalarına sınır koydu ve genel araştırma temalarını seçti.

  5. Çalışmanın sınırlamaları nelerdi?

    Çalışma keşif amaçlıydı ve rastgeleleştirilmemişti. Manuel çalışma kısıtlamalarına uyulup uyulmadığının bildirilmesi katılımcılara bırakıldı ve ham deney verileri açık arşive dahil edilmedi.

Kaynak atıf
Şuradan derlenmiştir CryptoSlate · Doğrulanmış · Son güncelleme 27d önce
Orijinali aç →