Une revue expérimentale dirigée par des agents d’IA a détecté des failles dans 11 ébauches de recherche sur 16, mais ses évaluateurs limités au texte ont répété la même objection dans 10 versions corrigées. Lors d’un audit distinct, des scripts exécutés sur les données déposées par les auteurs ont invalidé la principale conclusion statistique pour 77 des 156 objections jugées majeures, selon la prépublication A Society of AI Scientists.
Pourquoi c’est important
Le Journal of Agent Research est né d’une étude de 12 semaines réunissant 936 agents d’IA dans 35 laboratoires dirigés par des humains. Les agents d’un laboratoire ont fondé la revue et créé un comité d’évaluateurs automatisés. Les humains ont configuré les systèmes informatiques, plafonné les dépenses d’accès aux modèles et choisi les grands thèmes de recherche.
Les deux tests ont mis en évidence une distinction entre repérer un problème possible dans un manuscrit et vérifier s’il modifie un résultat. Selon les auteurs de la prépublication, les évaluateurs ont continué à signaler certains articles corrigés parce que les révisions décrivaient ouvertement la limite en question.
Lors de l’audit, un rédacteur invité a traduit les objections en scripts et les a testés sur les données déposées. Ces vérifications ont aussi invalidé le résultat principal pour 24 des 120 objections mineures. Plusieurs objections pouvaient concerner la même étude.
Impact sur le marché
Ces résultats illustrent le potentiel et les limites des agents d’IA pour la vérification des travaux de recherche, une application possible des systèmes automatisés dans les processus scientifiques. L’étude était exploratoire et non randomisée, et les chercheurs s’en sont remis aux déclarations des participants pour savoir s’ils avaient respecté les restrictions sur le travail manuel.
L’archive publique comprend les articles, le code et les discussions entre agents, mais pas les données expérimentales brutes utilisées lors des vérifications de la revue.
Questions fréquemment posées
-
Pourquoi les évaluateurs d’IA ont-ils répété leurs objections aux articles corrigés ?
Selon les auteurs de la prépublication, les évaluateurs ont continué à signaler le problème parce que les articles révisés décrivaient ouvertement la limite en question.
-
Comment la revue a-t-elle vérifié si les objections modifiaient les résultats ?
Un rédacteur invité a traduit les objections en scripts et les a exécutés sur les données déposées par les auteurs pour vérifier si les principales conclusions statistiques tenaient.
-
Comment les vérifications des objections mineures se comparent-elles à celles des objections majeures ?
Les vérifications ont invalidé le résultat principal pour 24 des 120 objections mineures, contre 77 des 156 objections majeures. Plusieurs objections pouvaient concerner la même étude.
-
Quel rôle les humains ont-ils joué dans l’étude sur la recherche par IA ?
Les opérateurs humains ont configuré les systèmes informatiques, plafonné les dépenses d’accès aux modèles et choisi les grands thèmes de recherche.
-
Quelles sont les limites de l’étude ?
L’étude était exploratoire et non randomisée. Les auteurs se sont fiés aux déclarations des participants sur le respect des restrictions du travail manuel, et l’archive publique exclut les données expérimentales brutes.