IA & Recherche · arXiv AI · publications

Stop Automating Peer Review Without Rigorous Evaluation

Extrait de la source

Cette page structure un contenu IA & recherche pour faciliter la lecture, la citation et la vérification par les chercheurs, étudiants et moteurs IA.

arXiv:2605.03202v1 Announce Type: new Abstract: Large language models offer a tempting solution to address the peer review crisis. This position paper argues that today's AI systems should not be used to produce paper reviews. We ground this position in an empirical comparison of human- versus AI-generated ICLR 2026 reviews and an evaluation of the effect of automated paper rewriting on different AI reviewers. We identify two critical issues: 1) AI reviewers exhibit a hivemind effect of excessive agreement within and across papers that reduces perspective diversity. 2) AI review scores are trivially gameable through paper laundering: prompting an LLM to rewrite a paper could significantly increase the scores from AI reviewers, demonstrating that LLM reviewers are easy to game through stylistic changes rather than scientific results. However, non-gameability and review diversity are necessary but not sufficient conditions for automation. We argue that addressing the peer review crisis requires a science of peer review automation -- not general-purpose LLMs deployed without rigorous evaluation.

Votre atelier DzCademia

Évaluer un jeu de données ou un benchmark

Un score n’a de sens qu’avec les données, la séparation entre apprentissage et test et les règles d’évaluation. Vérifiez la provenance, la licence, les catégories couvertes et les risques de recouvrement avec les données du modèle. Une performance sur ce benchmark ne suffit pas à démontrer une capacité générale.

Un exercice concret

Choisissez un sous-ensemble et décrivez ce qu’il mesure réellement. Comparez deux méthodes avec le même protocole et conservez les erreurs, pas seulement la moyenne des scores.

Repères de cette fiche

Sujet: Stop Automating Peer Review Without Rigorous Evaluation
Site source: arxiv.org
Date de publication à la source: 2026-05-07
Date de collecte sur DzCademia: 2026-05-08

Mon plan de préparation

Liste personnelle indicative, distincte des pièces ou règles officielles. Vos cases restent sur cet appareil ; aucun compte nécessaire.

Vérifier provenance, licence et version.Lire les règles de séparation et d’évaluation.Définir une référence de comparaison.Examiner des erreurs représentatives.Documenter ce qui ne peut pas être conclu.

0 / 5 étapes cochées

Consulter la source

Conseils et exercices DzCademia, distincts du résumé et des exigences de la source. Aide structurée avec assistance automatisée ; elle ne vaut ni validation scientifique ni promesse de sélection. Source consultée le 2026-10-28.

Voir la source originale

Source officielle ou originale : arXiv AI. Vérifiez toujours les détails sur la source primaire.

Retour IA & Recherche

Stop Automating Peer Review Without Rigorous Evaluation

Évaluer un jeu de données ou un benchmark

Un exercice concret

Commenter avec Google

Votre navigation, vos choix