Claude Fable 5.2, le modèle d'Anthropic, a correctement identifié les auteurs de 56 % des 398 évaluations et méta-évaluations non signées rédigées par six volontaires. Le modèle recevait un rapport à la fois, sans accès au Web, outils, liste de candidats ni autres échantillons de texte.
Dans un test distinct portant sur 1 559 évaluations publiques, Claude a correctement identifié l'auteur dans 21,4 % des 1 530 cas où il a répondu. Il était plus précis lorsque les évaluations publiques contenaient des autocitations : 80,2 % pour 106 rapports de ce type, contre 17,1 % pour les 1 453 autres.
Le résultat sur les évaluations confidentielles accordait plus de poids aux volontaires ayant fourni davantage de rapports. En attribuant le même poids à chaque évaluateur, la précision moyenne atteignait 49,1 %. Les chercheurs estiment qu'un échantillon plus large et plus varié est nécessaire pour évaluer le risque global pesant sur la confidentialité de l'évaluation par les pairs. L'identification par un modèle nécessiterait par ailleurs une vérification indépendante.
Questions fréquemment posées
-
Quelles informations Claude a-t-il reçues pour le test sur les évaluations confidentielles ?
Claude voyait un rapport non signé à la fois, sans accès au Web, outils, liste d'auteurs possibles ni autres échantillons de texte.
-
Quel effet a eu une pondération égale des évaluateurs sur le résultat du test confidentiel ?
La précision moyenne était de 49,1 % lorsque chacun des six évaluateurs avait le même poids, contre 56 % lorsque chaque rapport avait le même poids.
-
Quelle a été la performance de Claude sur les évaluations publiques ?
Claude a correctement identifié l'auteur dans 21,4 % des 1 530 rapports publics auxquels il a répondu, sur un ensemble de 1 559.
-
Quel lien existe-t-il entre autocitations et précision de l'identification ?
Claude a vu juste pour 80,2 % des 106 évaluations publiques contenant des autocitations, contre 17,1 % des 1 453 autres.
-
La réponse d'un modèle peut-elle établir l'identité de l'auteur d'une évaluation non signée ?
Non. Le modèle a commis des erreurs et son identification nécessiterait une vérification indépendante. Les chercheurs estiment aussi qu'un échantillon plus large et plus varié est nécessaire pour évaluer le risque global.