Contexte : L'implantation de l'approche par compétences prescrit aux programmes de formation médicale postdoctorale un ajustement de leurs stratégies d'évaluation. Un outil critérié d'évaluation des compétences (OCÉC) a été élaboré à partir de jalons ayant fait l'objet d'une validation de contenu, mais le processus de réponse restait à valider avant son implantation. Objectifs : Évaluer le processus de réponse à l'OCÉC et identifier les difficultés rencontrées par ses usagers pouvant introduire des biais dans l'évaluation. Méthodes : Étude qualitative auprès de dix cliniciens-enseignants volontaires. La collecte de données s'est effectuée au cours d'entrevues individuelles utilisant la méthode de la pensée à voix haute. Une analyse de contenu des verbatims a été réalisée par trois chercheurs, ce qui a permis la triangulation des données. La structure de codification se compose de quatre thèmes : compréhension, récupération de l'information, jugement et sélection de la réponse. Résultats : La compréhension et la récupération de l'information posaient généralement peu problème. Des difficultés aux étapes du jugement (indicateurs hétérogènes et évaluation normative) et de sélection de la réponse (échelle de réponse inadéquate) ont été relevées. Discussion et conclusion : Cette étude a permis de vérifier le processus de réponse à l'OCÉC, qui s'est avéré adéquat pour la compréhension et la récupération de l'information, mais à améliorer en regard du jugement et de la sélection de la réponse. L'OCÉC a été révisé en fonction des résultats obtenus avant son implantation. L'évaluation en cours de la structure interne, des relations avec d'autres variables et des conséquences du test complétera le processus de validation de l'OCÉC.