Preise werden geladen…
🔥BULLISH

AI Agents: Konsens untereinander stärker als mit der Realität

Der Konsens verbesserte die Rankings bei 73 von 100 öffentlichen Aufgaben, doch gemeinsame Annahmen können Fehler bewahren, die Labormessungen aufdecken.

AI Agents: Konsens untereinander stärker als mit der Realität
AI Agents: Konsens untereinander stärker als mit der Realität

Die Studie Science Prediction Universe testete 13 Agentenkonfigurationen mit 12 Modellen anhand von 100 öffentlichen und 16 privaten Aufgaben aus den Bereichen Chemie, Materialwissenschaft, Biologie und Medizin. Die durchschnittliche Übereinstimmung zwischen den Konfigurationen erreichte eine Spearman-Rangkorrelation von 0,52. Gegenüber gemessenen Ergebnissen lag sie bei 0,33. In 81 der 100 öffentlichen Aufgaben übertraf die Übereinstimmung der Agenten die Korrelation mit den Messwerten.

Laut der Studie führten die zusammengeführten Rankings zu Konsensergebnissen, die 0,08 Punkte über dem durchschnittlichen Einzeleintrag lagen, und verbesserten die Leistung bei 73 der 100 öffentlichen Aufgaben. Das angegebene 95%-Konfidenzintervall für diesen Zuwachs lag bei 0,05 bis 0,11.

Warum es wichtig ist

Der zentrale Hinweis lautet, dass Modellkonsens nicht mit wissenschaftlicher Genauigkeit gleichzusetzen ist. Die Mittelung kann Fehler aufheben, die sich zwischen den Systemen unterscheiden, bewahrt aber Fehler, die ihnen gemeinsam sind. Eine Aufgabe aus der Onkologie veranschaulichte dieses Risiko: 11 Konfigurationen stimmten mit 0,9 überein, während ihr Mittelwert gegenüber den Messwerten lediglich 0,27 betrug.

Die Forschenden verbanden einige gemeinsame Fehler mit übereinstimmenden Annahmen darüber, wie experimentelle Ergebnisse steigen oder fallen sollten. Mehr Agenten können daher einen stärker wirkenden Konsens erzeugen, ohne unabhängige Informationen hinzuzufügen. Für Unternehmen, die Multi-Agenten-Systeme zur Priorisierung von Forschungsarbeiten, Materialien oder Arzneistoffkandidaten einsetzen, stellt dies eine Einschränkung dar.

Marktauswirkung

Die Ergebnisse sprechen für den Einsatz von Ensembles als Entscheidungsunterstützung, nicht als automatischen Ersatz für Laborvalidierung. Die Abdeckung war uneinheitlich. Claude Opus 5.5 und Claude Fable 5.1 erzielten wegen Sicherheitsverweigerungen lediglich bei 44 beziehungsweise 30 öffentlichen Aufgaben Ergebnisse. Alle 13 Konfigurationen teilten nur 28 bewertete Aufgaben, während der private Datensatz lediglich 16 Aufgaben aus vier unveröffentlichten Experimentreihen umfasste.

Der Benchmark umfasste außerdem keine menschliche Vorhersagebaseline. Für die öffentlichen Aufgaben wurden veröffentlichte Messungen herangezogen, die nach Pilotbewertungen ausgewählt worden waren. Die Studie fand dennoch eine nützliche Leistung im privaten Datensatz: 12 der 13 Konfigurationen ordneten die unveröffentlichten Experimente insgesamt signifikant besser als dem Zufall zu. Die wichtigste Schlussfolgerung ist jedoch methodischer Natur: KI-Konsens sollte anhand externer Belege gemessen und nicht als Beleg für sich selbst behandelt werden.

Häufig gestellte Fragen

  1. Wie stark stimmten die KI-Agenten mit den Labormessungen überein?

    Ihre durchschnittliche Spearman-Korrelation mit den gemessenen Ergebnissen lag bei 0,33, während die Übereinstimmung zwischen den Konfigurationen 0,52 betrug. In 81 der 100 öffentlichen Aufgaben übertraf die Übereinstimmung der Agenten die Korrelation mit den Messwerten.

  2. Verbesserte die Zusammenführung von Vorhersagen mehrerer KI-Agenten die Ergebnisse?

    Ja. Die Konsensrankings lagen 0,08 Punkte über dem durchschnittlichen Einzeleintrag und verbesserten die Leistung bei 73 der 100 öffentlichen Aufgaben. Das angegebene 95%-Konfidenzintervall lag bei 0,05 bis 0,11.

  3. Warum kann die Übereinstimmung zwischen KI-Agenten kein Genauigkeitsmaß sein?

    Die Mittelung verringert Fehler, die sich zwischen den Systemen unterscheiden, bewahrt aber gemeinsame Fehler. Wenn mehrere Agenten dieselbe fehlerhafte Annahme verwenden, kann der Konsens stark wirken und dennoch durchgängig falsch sein.

  4. Welche Einschränkungen hatte die Studie Science Prediction Universe?

    Die Abdeckung variierte je nach Konfiguration, alle 13 Systeme teilten nur 28 bewertete Aufgaben und der private Datensatz enthielt 16 Aufgaben. Die Studie umfasste außerdem keine menschliche Vorhersagebaseline.

  5. Zeigten die Agenten private wissenschaftliche Aufgaben gegenüber den privaten Datensatz eine Vorhersagefähigkeit?

    Ja. Zwölf der 13 Konfigurationen ordneten die unveröffentlichten Experimente insgesamt signifikant besser als dem Zufall zu, wobei zur Überprüfung der Antworten weiterhin Labormessungen erforderlich waren.

Quellenangabe
Aggregiert von CryptoSlate · Verifiziert · Zuletzt aktualisiert vor 7d
Original öffnen →