Preise werden geladen…
〽️NEUTRAL

Claude identifiziert Autoren von 56 % privater Gutachten

Eine kleine Studie zeigt, wie unsignierte Fachgutachten ihre Autoren verraten können. Die Stichprobe von sechs Personen lässt das allgemeine Risiko jedoch offen.

Claude identifiziert Autoren von 56 % privater Gutachten
Claude identifiziert Autoren von 56 % privater Gutachten

Anthropics Claude Fable 5.2 identifizierte die Autoren von 56 % der 398 unsignierten Gutachten und Metagutachten von sechs Freiwilligen korrekt. Das Modell erhielt jeweils einen Bericht, ohne Webzugang, Werkzeuge, Kandidatenliste oder andere Schreibproben.

In einem separaten Test mit 1.559 öffentlichen Gutachten identifizierte Claude den Autor in 21,4 % der 1.530 beantworteten Fälle korrekt. Bei öffentlichen Gutachten mit Selbstzitaten war das Modell genauer: Die Trefferquote lag bei 80,2 % für 106 solche Berichte, gegenüber 17,1 % für 1.453 Berichte ohne Selbstzitate.

Beim Ergebnis für vertrauliche Gutachten hatten Freiwillige mit mehr eingereichten Berichten ein höheres Gewicht. Bei gleicher Gewichtung aller Gutachter lag die durchschnittliche Trefferquote bei 49,1 %. Laut den Forschern ist eine größere, vielfältigere Stichprobe nötig, um das allgemeine Risiko für vertrauliche Begutachtungsverfahren abzuschätzen. Zudem müsste die Identifizierung durch ein Modell unabhängig überprüft werden.

Häufig gestellte Fragen

  1. Welche Informationen erhielt Claude im Test mit vertraulichen Gutachten?

    Claude sah jeweils einen unsignierten Bericht, ohne Webzugang, Werkzeuge, eine Liste möglicher Autoren oder andere Schreibproben.

  2. Wie veränderte die gleiche Gewichtung der Gutachter das Testergebnis?

    Bei gleicher Gewichtung der sechs Gutachter lag die durchschnittliche Trefferquote bei 49,1 %, gegenüber 56 % bei gleicher Gewichtung jedes Berichts.

  3. Wie schnitt Claude bei öffentlichen Gutachten ab?

    Claude identifizierte den Autor in 21,4 % der 1.530 beantworteten Fälle korrekt. Insgesamt umfasste der Datensatz 1.559 öffentliche Gutachten.

  4. Wie wirkten sich Selbstzitate auf die Trefferquote aus?

    Claude lag bei 80,2 % von 106 öffentlichen Gutachten mit Selbstzitaten richtig, gegenüber 17,1 % von 1.453 Gutachten ohne Selbstzitate.

  5. Kann die Antwort eines Modells den Autor eines unsignierten Gutachtens belegen?

    Nein. Das Modell machte Fehler, und seine Identifizierung müsste unabhängig überprüft werden. Laut den Forschern ist zudem eine größere, vielfältigere Stichprobe nötig, um das allgemeine Risiko abzuschätzen.

Quellenangabe
Aggregiert von CryptoSlate · Verifiziert · Zuletzt aktualisiert vor 1h
Original öffnen →