Contexte: Une épreuve de lecture critique d'article (LCA) sera introduite en 2008 dans l'examen classant national (ECN). Les rares travaux consacrés à cette épreuve suggèrent une concordance médiocre des corrections. But: Identifier certains facteurs liés à la concordance des corrections d'une épreuve de LCA. Sujets et méthodes: 59 étudiants volontaires de DCEM2 et DCEM3 ont été soumis à une épreuve de LCA dans les conditions prévues pour l'ECN. Trois correcteurs ayant préparé l'épreuve (choix d'article, questions et réponses attendues selon 16 questions, grilles de correction (s), pondérations), ont corrigé chaque copie de façon indépendante, sans grille puis avec une grille. L'accord entre les 3 couples de correcteurs, avec ou sans grille, pour les 16 questions, soit 96 couples, a été mesuré par les coefficients de corrélation intra-classe (CCI). La valeur médiane du CCI pour chaque facteur (questions, grille ou non, questions ou résumé, couples de correcteurs) a été comparée aux autres CCI par le test de Mann-Whitney; les facteurs indépendants de variations du CCI ont été déterminés par une analyse de régression multiple. Résultats: 6 questions sur 16, l'usage de la grille, et l'un des couples de correcteurs étaient liés de façon indépendante aux CCI. Conclusion: La concordance des corrections d'une épreuve de LCA semble dépendre fortement de la qualité de l'épreuve et des correcteurs; le recours à une grille de correction pourrait représenter un facteur d'amélioration d'impact modeste de cette concordance.