Contexte: La quantité de programmes de formation médicale disponibles sur Internet soulève un questionnement quant à l'uniformité de la qualité de l'information, la crédibilité et les sources du contenu médical retrouvé sur ces sites. But: Élaborer puis évaluer la fidélité d'une grille d'évaluation de sites Internet de formation médicale avec l'objectif d'offrir à la communauté médicale francophone internationale un outil utile, fidèle et innovant. Méthode: Une grille d'évaluation comportant 54 indicateurs groupés en cinq catégories a été élaborée. La fidélité du résultat global de la grille a été quantifiée en comparant les résultats obtenus par sept observateurs ayant évalué 16 mêmes sites Internet à deux reprises. La seconde évaluation des sites a eu lieu un an après la première afin de minimiser le risque que les observateurs se rappellent leur évaluation initiale. Ce plan de collecte de données a permis d'évaluer les composantes suivantes de la fidélité: la variabilité intra-observateurs, la variabilité inter-observateurs et l'interaction sites-observateurs. La fidélité du résultat global de la grille a été mesurée par le coefficient de corrélation intra-classe. Résultats: Le coefficient de corrélation intra-classe de la grille obtenu était de 0,684, ce qui correspond à une bonne fidélité. La variabilité intra-observateurs (répétabilité) a été la plus grande source de variation attribuable à la méthode de mesure avec 21 % de la variation totale. Une autre mesure de performance a aussi été utilisée: le rapport de discrimination. Le rapport de discrimination estime le nombre de catégories différentes pouvant être distinguées par un système de mesure. Le rapport de discrimination obtenu est de 2,3 ce qui indique que la grille permet de séparer les sites observés en deux catégories: faible et bien. Conclusion: La grille d'évaluation des sites Internet de formation médicale, par sa bonne fidélité, est un outil intéressant pour quantifier la qualité de ces sites. L'analyse démontre que la meilleure piste d'amélioration de la fidélité de la grille serait d'en améliorer la répétabilité (variabilité intra-observateurs) mais la consistance interne pourrait aussi être étudiée et optimisée.