Voir aussi la version en anglais ainsi que la liste des structures publiques ou privées utilisant le Net Scoring

The goal of this paper is to provide a set of criteria that can be consistently used to assess the quality of health information on the Internet. To ensure objectivity in the development of these criteria, a diverse group of individuals, including representatives of professional organizations, MDs, engineers, and lawyers was assembled. If these criteria are used, the quality of the web sites could be greatly improved and end-users would receive the greatest benefit. There are 49 criteria which fall into eight categories: credibility, content, links, design, interactivity, quantitative aspects, ethics, and accessibility. Each criterion has a weight: essential criterion rated from 0 to 9, important criterion rated from 0 to 6, and minor criterion rated from 0 to 3. The total of these weighted criteria gives the overall score of a site (maximum=312 points). The first version of the Net Scoring was largely inspired by the work of Ambre et coll.

Résumé

L'objectif est de ce travail est de fournir un ensemble de critères qui peuvent être utilisées pour évaluer la qualité de l'information de santé sur l'Internet. Pour assurer une objectivité maximale dans le choix de ces critères, nous avons mis en place au sein de Centrale Santé un groupe pluriel comportant des médecins, des ingénieurs, des bibliothécaires, et des juristes ; certains représentaient des organisations professionnelles. Ces critères peuvent être utilisés de deux façons : (a) par les cyber-citoyens pour améliorer leur esprit critique ; (b) par les maîtres-toile des sites de santé francophones pour en augmenter la qualité. Nous avons défini 49 critères, que nous avons réparti en huit catégories : crédibilité, contenu, hyper-liens, design, interactivité, aspects quantitatifs, déontologie, et accessibilité. Chaque critère est pondéré en critère essentiel (noté de 0 à 9), critère important (noté de 0 à 6) ou critère mineur (noté de 0 à 3). Le total de ces critères donne le score global du site (avec un maximum de 312 points) (voir tableau 1).

Le but de ce rapport est d’aborder le problème de la qualité d'information de santé sur l'Internet et de fournir un ensemble de critères qui peuvent être employés pour l'évaluer régulièrement. Nous définissons une ressource Internet de santé comme tout site ou document où les sujets abordés ont un impact sur la santé au sens large (incluant maladie, traitement, et bien-être) ou concernent produits et services liés à ce domaine. La première version du Net Scoring [3], développée par Centrale Santé, finalisée en novembre 1997, s'est inspirée et a enrichi une réflexion et un travail d’un groupe nord-américain [4] tandis que certaines modifications apportées à la version 2 présentée ici proviennent d'une grille d'une équipe québécoise [5]. Nous avons apporté les aspects plus spécifiquement français et européen, en particulier les aspects déontologiques.

Le champ de l’évaluation comporte à la fois les sites Internet et Intranet destinés soit aux professionnels de santé soit au "grand public". Les sites Internet comprennent essentiellement les sites Web, mais aussi les courriels (ou mél ou Email), les listes de diffusion (" listserv "), les news (ou Usenet), les babillards (bulletin board systems ou BBS), et les "lieux de causette" ("chat rooms") où il est plus facile d’afficher une information avec un plus grand anonymat, et les sites utilisant la technologie du "push data". Ces critères se proposent d’aider la personne en tant que consommateur d’information (le patient, le professionnel de santé) ainsi que le producteur ou l’organisateur de cette information.

Ce travail coopératif est réalisé dans le cadre de Centrale Santé, groupement professionnel destiné à réunir autour d’un projet fédérateur des centraliens intéressés par la santé et des professionnels de la santé. Centrale Santé s’est donné comme objectifs d‘offrir une plate-forme neutre de réflexion et d’action aux acteurs de la réforme de santé à tous les niveaux et de susciter toutes initiatives ou manifestations susceptibles de valoriser cette réflexion.

Pour assurer l'objectivité dans le développement de ces critères, un groupe multidisciplinaire a été mis en place au sein de Centrale Santé. Il inclut des ingénieurs, des professionnels de santé, un juriste et un bibliothécaire médical. Certaines organisations professionnelles sont présentes. Les critères ont été développés par consensus.

Contrairement au projet nord-américain, l’audience de ce document est en premier lieu les décideurs de santé, les administrateurs de sites Internet ou "maîtres-toile" (néologisme Rouennais pour les "webmasters" des Anglo-saxons), et dans un second temps, tous ceux qui ont un intérêt à la qualité d'information de santé sur l'Internet, et parmi eux le grand public.

Les versions successives de cette grille ont été et seront soumises à des groupes d’experts et de personnalités reconnues. Nous faisons appel à leurs contributions pour améliorer le Net Scoring. Néanmoins, la définition de critères n’est pas suffisante. Il est nécessaire de montrer concrètement la faisabilité et de mesurer l'impact des sites par des tests en laboratoire (comme l'a fait récemment Impicciatore et coll. [6] et McClung [20]) ou mieux encore des études de terrain, comme le suggère Wyatt [7]. Ces deux études [6, 20] ont montré que la qualité de l’information de santé sur l’Internet devait être largement améliorée, y compris pour les sites universitaires [20] : seulement 12 documents électroniques sur 60 (20%) se conformait parfaitement à la recommandation de référence pour le traitement des diarrhées infantiles [McClung1998]. Quatre documents sur 41 (10%) adhérent totalement à la recommandation de référence concernant la conduite à tenir devant une fièvre de l’enfant [6] ; à noter néanmoins que 31 sur 34 (91%) indiquait le traitement antipyrétique adéquat.

Il existe beaucoup de méthodes pour l'évaluation de la qualité des sites Web, tous domaines confondus. Elles vont du très général à une liste détaillée de critères. Quoiqu’il y ait peu de principes spécifiques au domaine de la santé, ces méthodes ne sont pas assez robustes face aux besoins du public ou des professionnels. Beaucoup de méthodes évaluent selon des critères sans rapport avec la qualité de l'information, si bien que des scores généraux peuvent tromper. De plus, quoique beaucoup des critères généraux d'évaluation puissent être employés, les sites en santé fournissent une information qui peut avoir des conséquences sur le bien-être de l'utilisateur et la responsabilité du professionnel. Le choix partagé d’indicateurs appropriés est crucial.

Les auteurs du groupe de travail français sont :

Dr SJ. Darmoni, Responsable Nouvelles Technologies, CHU Rouen, Professeur Associé, INSA de Rouen
Dr V. Leroux, Collège National de l’Information Médicale, CRAMIF
B. Thirion, Bibliothécaire médical, CHU Rouen
P. Santamaria, Ecole Centrale de Paris, Formitel
M. Daigne, Ecole Centrale de Paris, ISAM Ressources
Dr Christophe Duvaux, Conseil National de l’Ordre des Médecins
Dr O. Dubois, Conseil National de l’Ordre des Médecins
J-L Santoni, Club de la Sécurité Informatique Français, Themis RD,
M. Géa, président de Centrale Santé

Ce document ne reflète pas nécessairement les politiques, vues, ou prises de position officielle des organisations auxquelles appartiennent les auteurs de ce document.

La première version de notre grille restait compatible et gardait la forme de la version de mai 1997 de la grille nord américaine, qui a évolué depuis, la dernière version datant d'octobre 1997 [4]. Notre objectif initial était de garantir une comparaison des sites de l’Internet d’origine étrangère, ce qui devient difficile aujourd'hui du fait des différences importantes entre la grille des Etats-Unis et la nôtre. Les critères nord-américains étaient classés en 5 grandes catégories. Nous y avons ajouté trois catégories (deux lors de notre première grille et une lors de la seconde) : les aspects quantitatifs, les aspects déontologiques et l'accessibilité.

Nous avons réparti les critères de qualité en huit catégories principales :

1. Crédibilité
2. Contenu
3. Liens
4. Design
5. Interactivité
6. Aspects quantitatifs
7. Aspects déontologiques
8. Accessibilité

Chaque critère est pondéré, en trois classes :

• critère essentiel, côté de 0 à 9
• critère important, côté de 0 à 6
• critère mineur, côté de 0 à 3

Chaque critère est jugée par une échelle de Likert à 5 occurrences : 0 pour Très Mal, 1 pour Mal, 2 pour Bien, 3 pour Très Bien et N/A pour non-applicable. Dans ce dernier cas, le dénominateur devra être modifié pour avoir un pourcentage de score correct. Nous multiplions ce score obtenu par un facteur 3 si le critère est essentiel, 2 s'il est important et 1 s'il est mineur, afin d' obtenir le score global de chaque critère. L'addition des scores global de chaque critère fournit la note finale d'un site Internet. Il est également intéressant d'évaluer le score global de chacune des huit catégories ci-dessus, car, par exemple, un site peut avoir une très bonne note en crédibilité et un très mauvais en design (c'est le cas du CHU de Rouen). La note maximale est de 312 points. L'ensemble de ces critères sont listés dans le tableau 1.

3.1.1 Source

Globalement, la source de l'information médicale est le critère premier pour sa crédibilité et sa qualité. Les problèmes pour distinguer les informations crédibles d’informations moins crédibles ou fausses sont liés en grande partie aux problèmes d'évaluation exacte de la source. Il n'y a aucune méthode simple pour objectiver la crédibilité des sources de l’Internet. Le conseil, fourni par des médecins sur une maladie, est considéré plausible. Donc, des médecins individuels et des groupes de médecins organisés sont clairement des sources d'informations autorisées, comme le sont d’autres fournisseurs de soins (par exemple, infirmières, pharmaciens, et diététiciens). Les facultés de médecine ont sans doute le degré le plus haut de crédibilité. Elles se composent en effet des groupes de médecins spécialisés qui travaillent ou étendent la connaissance médicale la plus pointue.

Compte-tenu de l’importance du critère "Source", nous l’avons subdivisé en deux sous-critères : 1.1a Nom, logo et références de l'institution, 1.1b Nom et titres de l'auteur. Fait essentiel, nous préconisons que ces deux sous-critères doivent être présents sur tous les documents du site Internet, et pas uniquement, comme trop souvent, sur la page de garde du site.

3.1.1a Nom, logo et références de l'institution (critère essentiel)

Il nous semble indispensable de pouvoir identifier la source responsable du site Web et, plus précisément, de chaque document de ce site. En effet, certains sites peuvent en héberger d’autres, ce qui signifie que l’adresse URL d’un document n’est pas nécessairement significative de l’origine de l’information. L’affichage du nom et des références de l’institution productrice de l’information est un gage fondamental de la crédibilité du site.

3.1.1b Nom et titres de l'auteur (critère essentiel)

3.1.2 Révélation

L'évaluation de la crédibilité de la source d'information d’Internet nécessite que la source révèle ses qualifications, ses références et associations pertinentes personnelles ou financières. Cependant, il peut être difficile d'évaluer les références d'une source même lorsqu'elles sont correctement révélées. Du fait de la complexité de la connaissance médicale et de la prolifération des spécialistes qui en résulte, les Internautes peuvent difficilement déterminer l’étendue de la pratique légitime de divers professionnels.

Ce problème est combiné par le fait que des professionnels accrédités peuvent étendre, par exemple, leur consultation au-delà du champ de leur formation et expertise. De plus, il peut être difficile de rechercher des sources pour un deuxième avis du fait de la multitude de liens entre les sites médicaux sur l'Internet. En outre, l'Internaute doit être attentif aux ressemblances des noms de sites. Certains noms de site qui paraissent impressionnants ont pu être conçus par des stratèges de marketing rusés et peuvent ainsi tromper le lecteur, même avisé.

3.1.2a Contexte : source de financement, indépendance de l'auteur (critère essentiel)

Il est important pour le consommateur de connaître le contexte dans lequel l’information de santé est fournie. Les exemples de contextes sont l’annonce publicitaire et le traitement d'une maladie spécifique. Dans le premier cas, lorsqu'une information est fournie par une annonce publicitaire relative à un produit, elle requiert d'être signalée comme telle. Le consommateur peut ainsi prendre conscience que l'information lui est fournie dans un contexte de vente de produit.

Les exigences déontologiques en France s’opposent par principe à ce que, pour des raisons diverses, le contenu de l’information soit, en tout ou partie, occulté, orienté ou biaisé. Le ou les promoteurs financiers doivent être connus. Les informations publicitaires doivent clairement être signalées comme telles. L'indépendance de tous les auteurs d'informations d'un site Internet doit être assurée.

3.1.2b Conflit d'intérêt (critère important)

Le potentiel d’un conflit d'intérêt à l'information fournie peut être difficile à évaluer. La révélation d’un commanditaire et la nature du soutien fourni peuvent permettre une certaine évaluation grossière de conflits d’intérêt potentiels. Le parrainage ("sponsoring") par une société privée ne doit pas compromettre la validité des sites. S'il y a une annonce publicitaire associée à un site, on doit considérer la motivation potentielle du parrain. Les sites créés et maintenus par des sociétés doivent présenter leurs produits ou leurs services dans le meilleur éclairage possible et devraient être vus dans cet esprit. L’information "éducative" pour les patients peut en fait être promotionnelle. S'il existe une source de financement public ou privé, celle-ci doit être clairement explicitée dès la page de garde et, au mieux, détaillée dans un autre document.

3.1.2c Influence (critère important)

Le préjugé peut être motivé financièrement. Il peut également être le résultat d'un investissement intellectuel personnel dans une théorie ou idée particulière. Même des individus qualifiés et prestigieux sont susceptibles à cette limitation. Le public est de mieux en mieux éduqué et de plus en plus curieux. Cependant, même pour un navigateur habitué au Web, il est très difficile d’avoir les connaissances scientifiques nécessaires pour évaluer d’un œil critique l'information médicale ésotérique. C'est toute la différence entre l'information et la connaissance qui nécessite l'utilisation d'un raisonnement.

3.1.3 Mise à jour : actualisation des documents du site avec date de publication, date de dernière mise à jour et éventuellement date de dernière révision (critère essentiel)

La date de publication correspond à la date où le document naît en tant que document propre. La date de publication et de dernière mise à jour de chaque document du site doivent aussi être présentes pour que l'utilisateur puisse juger de l’actualité de l'information. Nous effectuons un distinguo entre la date de dernière mise à jour du contenu de l'information de santé, encore appelée date de dernière révision et la date de dernière mise à jour de la forme d'un document qui a un intérêt moindre pour le lecteur. La date de révision s'applique particulièrement aux informations scientifiques ayant plusieurs auteurs (comme ce document, par exemple). Bien que la date de dernière mise à jour ne démontre pas que l'information fournie soit incorrecte ou périmée, elle suscite une alerte. Ces dates sont de bons "clignotants" de la pertinence et de la fiabilité de l'information.

Il faut également tenir compte du contenu de l'information de santé. Il existe des domaines à développement relativement lent, telle que la sémiologie, qui n'ont pas la même nécessité de fraîcheur d'information que les champs à développement rapide, tels que la recherche sur le SIDA ou l'évolution d'une épidémie, qui exigent une information actualisée en permanence.

Les promoteurs du site doivent définir avec précision leur politique de mise à jour, en précisant notamment sa fréquence. L’actualisation des sites Web dédiés à la santé peut être définie comme "être à jour avec l'état de l’art des connaissances de santé". L’actualisation est attendue d’un site Internet d'une source de qualité, mais la réalité peut tourner court. L’enthousiasme initial qui incite un auteur médical à produire un site Web est souvent tempéré par l'importance du temps et de l’effort à fournir pour sa maintenance. Ceci explique en partie que nombre de sites Internet puissent avoir été de qualité au moment de leur création et ne plus l'être en l'absence de mise à jour. Ce point renforce la nécessité d'effectuer une évaluation des sites Internet de façon itérative au cours du temps.

3.1.4 Pertinence et utilité (critère essentiel)

La pertinence et l’utilité sont à l'évidence les critères principaux de la qualité d'un site. Leur évaluation est extrêmement difficile car elle requiert le plus souvent un expert du domaine traité. De rares études de terrain ont été réalisées comme celles d'Impicciatore et coll. [6]. Mesurer la pertinence et l’utilité, c'est démontrer comment le contenu réel d'un site correspond à l'information qu’il prétend fournir. Cette mesure pourrait s'inspirer de la méthodologie d'évaluation des systèmes d'aide à la décision, elle-même utilisant celle mise en place en recherche clinique pour l'évaluation de l'efficacité d'un médicament. De plus, ces études devront être menées très régulièrement (comme une phase IV de recherche clinique) car les sites Internet évoluent plus ou moins rapidement dans le temps.

Il faut bien reconnaître que la grande majorité des sites Web dans le domaine de la santé ne répond pas à ce critère de qualité informationnelle. En effet, ces sites Web ne possèdent qu'une dimension marketing. Leur politique est claire : être présent sur le Web, nouveau média à la mode, quitte à ne présenter qu'une plaquette multimédia de la structure éditrice du site. Un des points clefs lors de la création d'un site est de définir avec précision la niche informationnelle désirée. Il faut bien entendu vérifier qu'elle n'est pas déjà couverte par un autre site, ou si elle l'est, être certain de pouvoir faire mieux. Il faut également bien calculer la charge de travail pour la réalisation et surtout la maintenance du site.

3.1.5 Existence d’un comité éditorial (critère essentiel)

La plupart du temps, il n’y a aucun contrôle éditorial sur le contenu des sites Internet parce qu'il n'y a aucun contrôle sur l'Internet en général. Dans une communauté académique, la fonction de contrôle éditorial est effectuée par un comité de pairs ; le grand public plutôt le comprendra comme un "label" d'un individu ou d’un groupe perçu comme crédible. Le terme "comité éditorial" n'est pas totalement anodin ; il est très directement emprunté aux métiers de l'édition et de la publication. La gestion d'un site Internet fait appel aux même règles bien que sur un média électronique.

Nous préconisons que chaque institution, disposant ou souhaitant créer un site Web, mette en place une structure de contrôle de la qualité et de la cohérence du site. Ce comité contrôle également le fond (respect de la charte qualité) et la forme (respect de la charte graphique). Chaque site Web dans la santé doit posséder sa charte qualité et sa charte graphique respectées par chaque document HTML du site Web de l'institution.

Les critères de qualité exposés dans ce travail peuvent également être lus comme une charte de qualité d'un site. Le comité éditorial en appliquant le Net Scoring à son propre site va naturellement en améliorer la qualité.

Les membres du comité de rédaction doivent être choisis avec soin. Ils doivent appartenir à tous les métiers principaux de la structure éditrice du site Internet : utilisateurs finaux, direction générale, direction informatique, direction de la communication, professionnels de l'information (bibliothécaires et/ou documentalistes). Le nom et les titres de chaque membre du comité de rédaction seront indiqués sur le site Internet.

3.1.5a Existence d'un administrateur de site ou "maître-toile" (critère important)

Il nous semble indispensable que le comité éditorial désigne un administrateur du site ou "maître-toile" (webmaster des anglo-saxons), dont le rôle est notamment d'appliquer les décisions du comité éditorial tant en ce qui concerne le fond (la politique éditoriale sur le choix du contenu) que la forme (respect de la charte graphique). Le maître-toile doit également répondre électroniquement aux questions que les Internautes ne manqueront pas de lui poser (nécessité d'un courrier électronique adapté à chaque document du site). La typologie de l'administrateur nous semble essentielle ; nous préconisons que celui-ci soit un professionnel de l'information : bibliothécaire médical. En nous inspirant de l'expérience du CHU de Rouen, un binôme d'administrateurs peut sans doute améliorer la qualité du site : bibliothécaire pour le versant informationnel, médecin informaticien pour le versant technique.

3.1.5b Existence d'un comité scientifique en charge de la qualité scientifique des informations disponibles sur le site Internet (critère important)

Si l'objectif du site Internet est de produire des informations de santé avec un niveau scientifique élevé, nous préconisons que le comité éditorial s'appuie sur un comité scientifique qui devra être différent du premier. L'existence de ce comité scientifique ne doit pas être systématique, notamment pas pour les très nombreux sites n'ayant qu'une dimension marketing ou commerciale, sans volonté aucune d'afficher une information scientifique. Ce comité scientifique doit travailler en étroite collaboration avec le comité éditorial qui pilote le site Internet. L'existence de ce comité d'experts est induite par la valeur scientifique des informations proposées. Les nom et titres de chaque membre de ce comité seront précisés sur le site Internet. Il peut être intéressant dans certains cas particulièrement pointus que le comité scientifique d'un site Internet s'appuie sur un vivier d'experts externes à l'institution.

Un autre facteur délicat dans l'évaluation de l'information de santé est la variabilité des opinions parmi les experts compétents. Les sources compétentes peuvent avoir des avis différents légitimes voire des opinions fortement soutenues sur certains problèmes, notamment dans le domaine de la thérapeutique.

3.1.6 Cible du site Internet ; accès au site (libre, réservé, tarifé) (critère important)

Nous préconisons que la cible du site Internet soit précisée sur la page de garde (ou sur une page spécifique accessible à partir de la précédente). Ainsi, les auteurs doivent notamment indiquer clairement si le site est dévolu au grand public et/ou aux professionnels de santé. Dans le second cas, il faut préciser quels types de professionnels de santé seront intéressés par le site. Dans tous les cas, ils devront signaler si tout ou partie du site est d'un accès restreint (protégé par un identifiant et un mot de passe) et si certaines informations sont payantes.

3.1.7 Qualité de la langue (orthographe et grammaire) et/ou de la traduction (critère important)

Un critère souvent négligé par les auteurs de sites Internet dans le domaine de la santé est la qualité de la langue, de la grammaire et éventuellement de la traduction. Une orthographe exacte, des phrases correctes sur le plan grammatical, une traduction de bon niveau sont des éléments importants de la qualité d'un site Internet de santé, sans préjuger de la qualité scientifique du contenu. Nous insistons sur ces trois éléments car leur absence est souvent exaspérante pour le lecteur.

3.1.8 Méta-données (critère essentiel)

3.2.1 Exactitude (critère essentiel)

L'exactitude, ou validité scientifique, de l'information est peut-être le critère le plus évident pour juger la qualité du contenu. Les informations fournies par le site doivent être vérifiables par l'Internaute. Les références bibliographiques permettent souvent de remplir facilement et simplement ce critère. Au mieux, le contenu du site devrait suivre les principes de la médecine factuelle ("evidence based medicine"). La validité de l'information doit être expliquée et les données sous-jacentes, qui conduisent aux conclusions, doivent être présentées. Insistons sur la nécessité de mesurer la qualité d'un site Internet qui implique de le comparer avec les meilleures sources à notre disposition [7]. 

3.2.2 Hiérarchie d'évidence ou indication du niveau de preuve (critère essentiel)

Bien que beaucoup d’informations disponibles sur l'Internet soient aisément compréhensibles par le grand public, elles doivent encore respecter les principes de médecine factuelle, incluant la recherche et l’opinion des experts. La preuve scientifique ou clinique destinée à soutenir une théorie doit être présentée clairement. Le cadre de l'étude doit être décrit de manière compréhensible par tous. Quelle était l'étendue de l'étude ? Est-ce que l'affectation de patients aux traitements étudiés était randomisée ? Quels étaient les résultats et les conclusions de l'étude ? Est-ce que d’autres études valident la théorie ?

Depuis juin 2000, un groupe de travail "Ethique et Transparence" a été mis en place pour aboutir à un code d'éthique français. Le groupe de travail est co-dirigé par le Ministère de la Santé et le Conseil National de l'Ordre des Médecins. Ce code d'éthique a une cible prioritaire : le patient et le grand public (le cyber-citoyen). Quatre sous-groupes de travail ont été mis en place : le sous-groupe n° 3 avait pour mission de déterminer des critères pour évaluer le contenu de santé sur l'Internet qui est clairement différent de la qualité du site proprement dit. Plusieurs études n'ont pas retrouvé de corrélation entre qualité du contenu et qualité du site [23-24].

Concernant le contenu médical, nous considérons qu'il est important de distinguer l'information sur les sites "sensibles", comme, par exemple, l'information concernant l'efficacité ou la toxicité des thérapeutiques ou des sites "non sensibles", comme ceux fournissant des adresse de professionnels de santé.

Pour les informations "sensibles", notre sous-groupe a recommandé que le critère principal devrait être l'indication de niveau de preuve pour chaque élément insécable de connaissance [28]. Il est évident que cette proposition ne peut pas s'appliquer à toutes les ressources de santé sur l'Internet, comme par exemple, les sites publiés par les associations de patients où l'indication du niveau de preuve ne serait pas nécessaire, sous réserve de ne pas publier des documents où seraient présentes des informations "sensibles".

Nous préconisons que l'indication du niveau de preuve soit indiquée dans toutes les ressources textuelles contenant des informations "sensibles" comme les recommandations pour la bonne pratiques cliniques (RBPC), les conférences de consensus, mais aussi les rapports techniques et les supports d'enseignement.

En février 1995, CISMeF (Catalogue et Index des Sites Médicaux Francophones) a été créé au Centre Hospitalier Universitaire de Rouen. En février 2001, près de 10.000 ressources ont été incluses avec, parmi elles, 2181 ressources textuelles (627 RBPC, 122 conférences de consensus, 370 rapports techniques, 664 supports d'enseignement). L'indication du niveau de preuve n'est présente que dans 90 ressources textuelles (81 RBPC et 9 conférences de consensus), ce qui représente 0,9 % des ressources présentes dans CISMeF, 4,1 % des ressources textuelles et 14,4 % des RBPC. 

Les résultats de cette étude montrent qu'il y a nécessité d'inciter les producteurs d'informations "sensibles" à mentionner le niveau de preuve pour chaque pièce insécable de connaissance. Bien qu'il n'existe pas encore de méthode de référence pour évaluer le niveau de preuve, ceci ne doit pas être une excuse pour ne pas aborder le problème. Avec le nombre toujours croissant de professionnels de santé et de cyber-citoyens accédant à des ressources de santé en augmentation constante sur l'Internet, les producteurs d'information ont un devoir éthique d'aider leurs lecteurs.

En conclusion, notre groupe de travail préconise que les producteurs d'information devraient être encouragés à sélectionner et appliquer une méthode simple (parmi celles existantes) pour indiquer le niveau de preuve des informations "sensibles".

3.2.3 Citations des sources originales (critère essentiel)

Si le contenu présenté n'est pas l’information originale, sa source doit être indiquée clairement. Les références de l'auteur(s) ou de la source doivent apparaître clairement. L'affiliation d'un auteur avec un parrain doit être notée afin d'indiquer d'éventuels préjugés ou manques d'objectivité. La source doit aussi indiquer si une organisation a un intérêt particulier à long terme sur le sujet.

Nous assistons malheureusement à la naissance d'un nouveau délit : le "web-pillage", qui consiste à copier des documents HTML et à se les approprier en changeant le logo et le nom de l'institution. Il est donc toujours essentiel, comme pour toute activité scientifique, de citer l'intégralité des sources utilisées. Il est, en outre, nécessaire de vérifier systématiquement la possibilité d'utiliser tout ou partie du texte de ces sources, y compris les schémas. Rappelons de plus que les articles scientifiques publiés dans des revues papier sont soumis au copyright et qu'il est donc impératif d'obtenir l'aval de ces revues avant de diffuser sur l'Internet tout ou partie de ces articles, y compris sa propre production.

3.2.4 Dénégation (critère important)

La dénégation doit décrire le but, l’étendue, l’autorité, et l’actualité de l'information. Les sources de l'information doivent être fournies pour garantir et assurer l'exactitude et l’absence de violation de copyright et de plagiat. La dénégation doit préciser que le contenu est une information générale de santé et pas une consultation ou un conseil médical. Il doit énoncer clairement que seul un médecin, un pharmacien, ou un autre professionnel de santé peut être le meilleur conseiller pour les questions de santé. Dans le cas d'un site Web, la dénégation doit clairement définir le rapport, en termes d'étendue de responsabilité et de contrôle, entre le contenu original du site Web et les liens à d’autres sites.

3.2.5 Organisation logique (navigabilité)  (critère essentiel)

La structuration logique est essentielle pour un emploi efficace de l'information disponible. La simplicité du modèle favorise un emploi facile. Les meilleurs sites Web sont clairement focalisés sur leur but, leur audience ; ils sont structurés logiquement ; ils sont simples, clairs et faciles à employer. Ils utilisent un niveau de lecture adaptée au plus grand nombre. L’équilibre des textes, images, couleurs, son, et animation peut améliorer l'assimilation de l'information.

3.2.6 Facilité de déplacement dans le site

La recherche d’informations doit être la plus intuitive possible. La simplicité du design du site induit également sa simplicité d'utilisation. Tout doit être pensé pour que l'Internaute ne soit jamais perdu à l'intérieur du site. Celui-ci doit contenir un nombre équilibré de texte, d'images et d'hyper-liens (éviter notamment les pages de garde avec une image "imposante" qui fait fuir l'Internaute pressé). La possibilité, à partir de n'importe quel document du site, de revenir : (a) à la page de garde du site, (b) aux menus directionnels importants entre la page de garde et les documents en cours, et (c) en haut du document en cours, est un critère de qualité de navigation.

3.2.6a Qualité du moteur interne de recherche (critère important)

Un moteur interne de recherche est un composant critique de tout site Web ayant un contenu important, volumineux et complexe. L’objectif du moteur de recherche interne, tout comme la présence d’un index général, d’une rubrique " quoi de neuf ", d’une page d’aide et d’un plan du site est de faciliter la recherche d'informations. L'étendue et la fonction du moteur de recherche doivent être décrites clairement en ce qui concerne sa couverture et son mode de fonctionnement. Beaucoup de sites Web emploient de multiples moteurs de recherche spécialisés, si bien que les fonctionnalités du moteur doivent être décrites avec précision. Le moteur de recherche doit être capable de chercher le contenu précis par mot-clé ou en texte intégral le plus souvent, et doit récupérer seulement les éléments pertinents. L'interface utilisateur doit être complète, simple, facile à employer, et fournir une vision claire de son résultat.

Le moteur de recherche doit fonctionner rapidement et efficacement (en minimisant à la fois le " silence " - informations pertinentes auxquelles on n’a pas accès - et le " bruit " - informations non pertinentes auxquelles on accède). Dépendant du but du fournisseur et de la quantité d’information disponible, le moteur de recherche ne couvre peut être pas l’intégralité du contenu de site. Il peut aussi couvrir un contenu lié sur un autre site. Les utilisateurs devraient avoir la possibilité de choisir la stratégie de recherche, seulement sur une partie d'un site Web ou sur le site entier.

3.2.6b Index général (critère important)

Il est souhaitable que les sites Internet possèdent un index général de tous les documents HTML présents sur le site afin de faciliter la recherche d'informations : l'Internaute doit trouver le plus facilement possible l'information désirée.

3.2.6c Rubrique " quoi de neuf " (critère important)

Nous recommandons que les sites Internet possèdent une rubrique " quoi de neuf " pour visualiser rapidement les nouveautés sur le site. Cette rubrique est particulièrement adaptée pour les sites riches sur le plan informationnel et souvent mis à jour ; cette rubrique permet par exemple de connaître les nouveaux sites référencés pour les sites-catalogue.

3.2.6d Page d'aide (critère mineur)

Nous préconisons que les sites Internet incluent une page d’aide pour assister l'Internaute en cas de difficulté, tout comme une aide en ligne d'un logiciel. Cette page pourra détailler l'éventuel glossaire spécifique d’un site, en particulier pour les sigles ou caractères spéciaux utilisés.

3.2.6e Plan du site (critère mineur)

Nous proposons un dernier élément pour faciliter la recherche d’informations au sein d’un site : le plan (ou les plans) de celui-ci. L’objectif est de proposer à l’utilisateur final une vue d’ensemble du site. Ce plan peut être textuel, mais il gangerait à être présenté sous une forme graphique.

3.2.7 Omissions et exclusions notées (critère essentiel)

L'exhaustivité est un critère important de la qualité de l’information de santé. Un sujet ne doit pas être présenté selon un seul point de vue, omettant ainsi une information critique. Les faits pertinents et les résultats négatifs concernant le sujet ne devraient pas être omis. Les revendications pour un type particulier de traitement ou de médicament doivent être présentées. Et si l'auteur ou la source de l'information n'est pas en mesure de présenter tous les faits, cela doit être noté. Un article ou un site Web complet et fiable inclura des références à d’autres sources de qualité, des articles critiqués par des pairs, des livres médicaux de référence, et des textes faisant autorité.

3.2.8 Rapidité de chargement du site et de ses différentes pages (critère important)

La rapidité de chargement des différentes pages d'un site  est un élément important de sa qualité. Il faut bien entendu tenir compte du mode de connexion de l'utilisateur. Un maître-toile doit toujours concevoir son site pour les personnes connectées avec le débit le plus faible, car ils représentent la grande majorité de ses visiteurs. L'administrateur du site évitera en particulier les pages de gardes trop chargées en images le plus souvent dépourvues de plus-value informationnelle.

3.2.9 Affichage clair des catégories d’informations disponibles (informations factuelles, résumés, documents en texte intégral, répertoires, banque de données structurées) (critère important)

Il est nécessaire d'afficher le type de ressources disponibles sur le site. S'agit-il d'un site-catalogue, du développement d'une base de données bibliographiques ou d'une banque d'informations factuelles, ou d'un système d'aide à la décision (diagnostique, thérapeutique, ...) ?

Les hyper-liens sont la base de la navigation hypermédia, éléments clefs de la réussite des sites Web, et de l'explosion de l'utilisation de l'Internet depuis 1993. Ils permettent le raccordement à d’autres documents, qu’ils soient situés sur le même site ou sur un site extérieur. Au mieux, les liens aident à diminuer le temps de connexion sur l'Internet et indiquent à l'utilisateur l’information de qualité avec un minimum d’effort. Au pire, ils peuvent réduire la crédibilité du site, perdre le lecteur dans une navigation parmi des sites reliés, et ajouter peu d’informations de qualité. La qualité d'un site Internet repose en grande partie sur la qualité de ses liens internes et externes.

Avec la prolifération et l’évolution constante de l'information sur l’Internet, il est difficile même pour le plus prudent de vérifier la qualité de sites reliés. D'un clic de souris, on peut se déplacer d'un site rigoureux à un autre qui le sera beaucoup moins. Il est en outre fréquent de ne plus savoir sur quel site on se situe. L'utilisation d'un écran de transition, lors d'un déplacement vers un nouveau site, a été suggérée pour résoudre ce problème. Cette notion a été reprise plus globalement pour le Réseau Santé Social (RSS) où un écran intermédiaire signifiera que l'on sort du RSS.  Cependant, cette solution a été rarement retenue par les créateurs de sites Web parce qu'elle impose une étape supplémentaire et du temps perdu pour l'utilisateur. Un site primaire peut se considérer obligé d’accomplir une dénégation à l'égard d’informations situées sur des sites reliés. Une autre solution est de distinguer visuellement les hyper-liens internes (appartenant au site) et les hyper-liens externes (n’y appartenant pas).

Un autre phénomène technique a engendré une appropriation très abusive du travail d'autrui. L'utilisation de cadres multiples ("frames" des anglo-saxons) dans les sites Web permet d'"enrober" les hyper-liens vers d'autres sites, et de laisser croire aux Internautes peu avertis qu'ils sont toujours dans le site primaire. En effet, une partie plus ou moins importante du document (la frame), y compris le titre du document proviennent toujours du site primaire. Nous préconisons que les sites utilisant des cadres multiples les désactivent systématiquement en cas d'hyper-liens externes.

3.3.1 Sélection (critère essentiel)

La sélection des hyper-liens est un élément critique d'un site Web. La sélection des liens est réalisée par l’administrateur du site, sous le contrôle du comité éditorial. La sélection implique l'autorité, l’expertise et les références de cette personne ou de ce groupe. Elle dépend également du niveau d'audience attendue. Les sites reliés et originaux devraient cibler un ensemble de lecteurs avec des caractéristiques similaires. Par exemple, un site pour enfants doit éviter des liens vers des sites pour des adultes.

En terme de design, les administrateurs du site devront vérifier (a) le nombre adéquat de ces hyper-liens : ni trop, ni trop peu ; (b) si les sites externes sont facilement disponibles, s'ils ont été fermés ou déplacés ; et (c) si les sites reliés ajoutent vraiment de l’information et de la connaissance afin d’éviter la frustration de l'utilisateur. Certains suggèrent qu'un site est de basse qualité si ce qu'il doit offrir est un contenu original limité avec peu des liens ; d'autres estiment que des méta-listes de sites reliés puissent être utiles s’ils sont correctement identifiés, structurés, et authentifiés.

3.3.2 Architecture (critère important)

A l'égard de l'architecture ou de la conception aux sites reliés, des questions surviennent en ce qui concerne l'aisance de la navigation : y a-t-il des mécanismes possibles de fuite pendant les recherches ? l'utilisateur peut-il aisément trouver les chemins arrières et en avant ? et la structure apparaît-elle logiquement au lecteur ? Les icônes et les identificateurs textuels doivent être significatifs et conséquents. Une description brève du site relié aidera l'utilisateur à décider de la poursuite ou non vers celui-ci. De plus, une vue structurée en arborescence ou organisée des liens est considérée comme une caractéristique positive de qualité d’un site.

3.3.3 Contenu (critère essentiel)

Le contenu est aussi important que la sélection et l’architecture pour évaluer la qualité des liens. Le contenu doit être exact, actuel, plausible et pertinent. Le contenu du site original est amélioré s'il inclut des liens vers des sites de qualité tels que ceux entretenus par des agences de santé reconnues car ils renforcent sa crédibilité propre. En revanche, des liens vers des sites ayant une mauvaise conception ou avec un contenu douteux suggèrent que la qualité du site original doive être revue à la baisse.

3.3.4 Web Impact Factor (WIF) ou "Liens-citation" : nombre de sites référençant un site (critère important)

Les "liens-citation" (back-links) (encore appelé Web Impact Factor) sont constitués de l’ensemble des sites Web ayant au moins un lien vers un site Web X. Ils sont similaires aux références (ou citations) dans des livres et journaux. Les liens-citation sont à l'Internet ce que le trop fameux "impact factor" de l'ISI (Institute for Scientific Information) est à la publication biomédicale sur papier [8]. Les liens-citation représentent une mesure relative de la popularité du site Web (nombre de liens à ces sites Web) et de la qualité (réputation et autorité des sites Web liés). Beaucoup de sites Web recherchent et publient des liens-citation dans le but d'améliorer leur crédibilité et viabilité. La meilleure voie pour évaluer les liens-citation, est d’examiner, outre leur nombre pour un site donné, le contexte dans lequel ils sont employés, c’est-à-dire leur but, leur pertinence, leur crédibilité et leur autorité. Tout comme pour l'impact factor, il est nécessaire de déterminer le nombre d'"auto-liens-citation", qui correspondent sur le Web à tous les liens internes. 

Le WIF peut être estimé automatiquement sur Alta Vista (www.altavista.com) par la formule +link:nom-de-domaine.nom-de-pays -url:nom-de-domaine.nom-de-pays, ce qui donne par exemple +link:chu-rouen.fr -url:chu-rouen.fr (où le premier élément donne le nombre de liens vers le site X et le second élément élimine les auto-liens). Ce WIF absolu peut également être relativisé en introduisant en dénominateur le nombre de pages du site qui est donné par +url:nom-de-domaine.nom-de-pays. Le WIF relatif devient donc :

    (+link:nom-de-domaine.nom-de-pays -url:nom-de-domaine.nom-de-pays) / +url:nom-de-domaine.nom-de-pays

Toujours à titre d'exemple, le WIF relatif du CHU de Rouen était en juillet 2001 : (11.215/7.244) = 1,55.

L'intérêt du WIF pour mesurer indirectement la qualité d'un site de santé a été remise en cause par l'étude de Sandvik [23] qui ne retrouve aucune corrélation entre qualité du contenu et WIF. Cette absence de corrélation a été étudiée dans l'incontinence de la femme.

3.3.5 Vérification régulière de l'opérationnalité des hyper-liens (critère important)

Avec la prolifération et l’évolution constante de l'information sur l’Internet, il est difficile, malgré une grande prudence, de vérifier la qualité des sites reliés. La vérification régulière de l'opérationnalité des hyper-liens d’un site Web doit être considérée comme un des critères de qualité de l’information de santé sur l’Internet. Cet impératif concerne sans doute plus spécifiquement les sites riches ayant de nombreux hyper-liens, tels que les sites catalogues. En l’absence de cette vérification, de nombreux liens deviennent rapidement obsolètes (les Anglo-saxons parlent alors de "broken links"), ce qui frustre rapidement le cyber-professionnel de santé le mieux intentionné. Cette vérification peut s’effectuer avec des logiciels en libre accès sur l’Internet.

3.3.6 En cas de modification de structure d'un site, lien entre les anciens documents HTML et les nouveaux (critère important)

Pour éviter que les hyper-liens d'un site soient perdus ("broken links"), il est souhaitable que de façon systématique lorsqu'un document HTML est déplacé à l'intérieur d'un site, l'administrateur effectue un lien entre l'ancienne et la nouvelle URL de ce document, afin de rendre plus fluide la navigation de l’utilisateur final. Malheureusement, rares sont les maîtres-toile qui appliquent ce critère important.

3.3.7 Distinction hyper-liens internes et externes (critère mineur)

Pour éviter que l’Internaute soit rapidement perdu, ne sachant plus sur quel site il se trouve, nous proposons de bien différencier visuellement les hyper-liens internes (pointant sur un autre document HTML du site) et les hyper-liens externes (vers un autre site). Cette distinction peut être une couleur différente ou une icône distinctif pour chaque type de liens.

3.4.1 Design du site (critère essentiel)

Le design est défini comme la présentation de la page Web, graphisme, images, texte et liens. Quoique le design soit important dans l'efficacité de la livraison, de la diffusion et l’emploi de l'information de santé, il n'implique pas la qualité de l'information proprement dite. Néanmoins, il est important de faire en sorte que le site soit capable d’améliorer la livraison de l'information. Quand des navigateurs multimédias ne sont pas disponibles, il existe d’autres outils pour améliorer l’accès, y compris des options pour évaluer l’information et pour permettre l’usage par les malentendants ou les non-voyants.

Les sites Web devraient être accessibles par le plus petit dénominateur commun de technologie actuelle de navigateur. Bien que la plus récente des technologies avancées permette de rendre un site attrayant à certains utilisateurs, beaucoup d’autres utilisateurs ne seront pas capables d'accéder au site de l'information si cela nécessite une haute technologie.

3.4.2 Lisibilité du texte et des images fixes et animées (critère important)

Un site Internet se doit d'être facilement lu par les Internautes le visitant. La lisibilité à la fois du texte et des images est un critère important de la qualité d'un site. Cette  lisibilité des informations disponibles pour le cyber-citoyen et le professionnel de santé doit être étudiée de façon systématique. Ainsi, une étude récente de ce type menée aux Etats-Unis [21] a montré que sur un échantillon de 50 pages destinées aux patients, il fallait posséder le niveau " seconde " (10^ème grade aux Etats-Unis) pour comprendre parfaitement l’information fournie. Or, une étude précédente avait montré que seulement 21% de la population diabétique états-unienne comprenait parfaitement l’information produite pour ce niveau d’études tandis que 60% de ceux-ci comprenait l’information écrite pour une niveau " sixième " " (6^ème grade aux Etats-Unis). La Faculté de médecine de Caroline du Sud [22], tenant compte du retard de cet état américain en terme d’alphabétisation (il est même classé dernier sur ce critère aux Etats-Unis), a produit sur son site Web des documents les plus faciles à lire pour ses cyber-citoyens. L’idéal serait de fournir pour une même problématique de santé, des documents adaptés en terme de complexité au lectorat : les technologies existent, notamment le profilage perceptif qui permet de répondre à ce besoin. En attendant, encore faut-il que les ressources destinées aux cyber-citoyens se multiplient !

3.4.3 Qualité de l’impression (critère important)

Un critère qui est rarement pris en compte par les maîtres-toile de sites Internet dans la santé est la qualité de l'impression. Or, celle-ci doit être évaluée avec précision ; notamment l'adéquation doit être complète entre ce qui est lu à l'écran et ce qui est imprimé. Trop souvent, une partie de l'information ne peut être imprimée, ce qui revient à générer des données manquantes et à rendre la lecture sur papier difficile voire impossible.

3.5.1 Mécanisme pour la rétroaction, commentaire optionnel : courriel de l’auteur de chaque document du site (critère essentiel)

A l’exemple des journaux de qualité, les sites Web doivent fournir à leurs lecteurs un mécanisme de rétroaction. L'aptitude à l'interactivité est un atout de l'Internet et du Web. Ainsi, la possibilité d'envoyer critiques et commentaires aux sources d’information du site devrait toujours être incluse avec l'information de santé. Les utilisateurs devraient être en mesure de commenter la validité et la valeur de l'information présentée, et éventuellement faire remarquer les omissions ou les biais. Un site Web maintenu de façon professionnelle s’attachera à répondre systématiquement aux réactions des utilisateurs.

Il est important qu'un site Web fournisse un moyen de communiquer avec le fournisseur d’accès (provider), l’auteur du contenu, ou l’administrateur du site. Ceci est souvent fait par un lien vers le courrier électronique (habituellement l’administrateur du site et le fournisseur d’accès, respectivement), mais parfois au sein d’un forum spécifique. En plus de cette aptitude, il doit y avoir une réponse du site dans un délai raisonnable. Les questions à un expert sont souvent faites par courrier électronique. Gratuite ou non, l'expertise devrait être fournie avec son nom et son affiliation. Cette option de commentaire doit être présente sur chaque document du site, et adapté à celui-ci : le commentaire à propos d’une banque d’images de pneumologie doit être en premier lieu envoyé aux auteurs, et non à l’administrateur du site, du moins en première intention.

3.5.2 Forums, chat (critère mineur)

Les forums et les chat rooms ("lieu de causette") permettent un échange d'informations entre un grand nombre d’individus, souvent anonymement. Si un modérateur existe, sa présence doit être signalée. Elle sera accompagnée d'un avertissement prévenant de l'éventuelle inexactitude de l'information. Si un modérateur est présent, l'individu doit être identifié, avec son expertise et ses affiliations et la source éventuelle de ses compensations.

Les babillards (bulletin boards systems) permettent à des utilisateurs d’engager en mode asynchrone des discussions sur différents sujets, plus ou moins bien ciblés. L’identification des fournisseurs de soins devra être fournie, comme cité ci-dessus.

3.5.3 Traçabilité :  informations des utilisateurs de l’utilisation de tout dispositif permettant de récupérer automatiquement des informations (nominatives ou non) sur leur poste de travail  (critère important)

La traçabilité, c'est-à-dire l'ensemble des informations (nominatives ou non) provenant du poste de travail de l'internaute grâce à un dispositif quelconque (par exemple des cookies), doit être annoncée clairement sur le site Internet. Cette information pourra, par exemple, se situer sur la page de garde, avec un hyper-lien vers un document la détaillant. Cette traçabilité doit pouvoir être désactivée à la demande de l'internaute.

Quand un site Web demande la contribution de l'utilisateur, par exemple par un formulaire, il obtiendra des informations sur celui-ci. Il est important pour un site de respecter les critères de qualité sur la crédibilité avant de demander une information personnelle. En outre, le service étant fourni à l'Internaute, il doit être convenablement identifié avant l'enregistrement. Doit être précisé : qui parraine le site, quel est son but, s'il est prévu que l'information soit conservée et si oui, par qui, quelle information concernant l'ordinateur de l'utilisateur est obtenue, si les façons d’utiliser le Web par l'utilisateur sont capturées ? Quel sera l’usage de l'information , et sera-t-elle donnée à d'autres ? Dans les cas où un site Web fournit un service interactif, comme le traitement de l’information fondée sur des algorithmes cliniques, l'algorithme employé doit être clairement décrit, incluant l’identification de son promoteur, son affiliation et son développeur.

Les aspects quantitatifs nécessitent d'utiliser un logiciel permettant de générer des statistiques d'utilisation du site. Celles-ci permettent d'analyser le trafic engendré par le site (mesure relative de la popularité du site Web), ce qui mesure indirectement la qualité du site.

3.6.1 Nombre de machines visitant le site et nombre de documents visualisés (critère important)

Le nombre de machines qui visitent le site par unité de temps est un critère utilisé pour tenter de mesurer le nombre de personnes qui consultent le site. Étant donné qu'il est difficile (y compris sur le plan éthique) de récupérer le courriel de la personne visitant le site, on utilise plus communément l'adresse IP des machines. Ce critère a le mérite d'être plus anonyme que le précédent. Si deux personnes utilisent la même machine, ce critère ne mesure que la machine. Il s’agit d’une sous-estimation du trafic engendré par le site, mais elle est la même pour tous. Le second critère retenu est le nombre de documents visualisés dans la même unité de temps. Ce chiffre permet également de quantifier le trafic du site. Par document, on entend document HTML, en éliminant notamment les fichiers image (au format GIF ou JPEG ou d'autres) qui font généralement enfler de manière exagérée ce nombre de documents ; les Anglo-saxons utilisent alors le terme non spécifique de " hits ". Néanmoins, en cas de banques d'images notamment, il est très important pour le maître-toile d'avoir une vision exacte des statistiques sur les fichiers images également, ces images portant en elles-mêmes une valeur informationnelle. D'une manière plus générale, les statistiques d'utilisation permettent une gestion affinée d'un site, en connaissant notamment l'origine géographique des visiteurs, et les documents qu'ils visualisent le plus.

3.6.2 Nombre de citations de presse (critères mineurs)

Le nombre de citations presse est l’équivalent d’un " press-book " du site Internet. Ce chiffre est assez difficile à mettre en place sans une veille informationnelle. Il permet de mesurer l'impact du site dans la presse, grand public ou scientifique.

3.6.3 Nombre de productions scientifiques issues du site (critères mineurs)

Le nombre de productions scientifiques issues du site est un critère qui mesure l'impact du site dans son aspect scientifique. Il a d'autant plus d'intérêt que l'objectif du site est la production d'informations scientifiques.

Dans la mesure où un professionnel de santé est partie prenante dans le contenu d'un site Internet, des aspects déontologiques sont impérativement à prendre en compte. Le non-respect des règles déontologiques est un élément disqualifiant d’un site Internet. La première exigence déontologique tient à la qualité de l’information de santé figurant sur le site Internet. Celle-ci doit être : scientifiquement exacte, par opposition au charlatanisme et aux techniques non éprouvées ; exhaustive, dans la mesure du possible et doit correspondre le plus possible au besoin de connaissance exigé par un professionnel de santé ; actualisée, la date de mise à jour devant être indiquée sur tous les documents du site ; fiable, bien que ce critère dépende largement d’une notion subjective de confiance de celui qui interroge. D’où l’importance de préciser la source, en particulier les auteurs et leurs qualifications, leurs institutions et les sources citées ; pertinente, c’est-à-dire qu’elle doit présenter un certain degré d’adéquation aux objectifs pour lesquels elle est utilisée ; licite, c’est-à-dire qu’elle respecte la réglementation en vigueur (par exemple, la publicité sur les médicaments, les droits d’auteur, la protection des données nominatives, ...).

L’information doit être intelligible, d’où l’importance de l’aide à l'information et à la formation des utilisateurs. Elle doit être présentée sous forme cohérente par rapport à la démarche clinique. L’information doit être validée pour éviter les possibilités d’erreur. Cette validation doit être effectuée à trois niveaux au minimum (a) logique : informations contradictoires ou incompatibles entre elles. Il faudra être particulièrement attentif à la qualité des hyper-liens ; (b) structurel : informations manquantes ou au contraire redondantes ; (c) sémantique : terminologie ambiguë, imprécise invitant à utiliser des terminologies normalisées (ce qui n’est pas le cas le plus souvent en France).

Trois principes sont à respecter pour un site Internet : responsabilité, indépendance (voir le critère Contexte), secret et confidentialité.

3.7.1 Responsabilité (critère essentiel)

L’information doit être adaptée à la qualité et aux besoins de l’utilisateur final : pour les professionnels de santé, elle doit respecter l’article 14 du code de déontologie ; pour le "grand public", elle doit respecter l’article 13 et la dernière phrase de l’article 14 du code de déontologie. Le responsable du site Internet, le comité éditorial, et les auteurs de toutes les informations présentes sur le site doivent être clairement identifiés. Ces éléments sont indispensables tant sur le plan juridique [6] que déontologique si un dommage résultait de l’utilisation du site. Il faudra nuancer si l’utilisateur est professionnel de santé ou non : ces informations peuvent être données sans réserve pour les sites réservés aux professionnels de santé. Pour ceux ouverts également au "grand public" (l’extrême majorité aujourd’hui), il existe une frontière délicate entre l’information et la publicité personnelle. Tout est question de tact et de mesure. Si les noms, titres et travaux doivent pouvoir figurer sur un site Internet, l’indication du lieu d’exercice des auteurs pose un certain nombre de problèmes et ne devrait pas figurer, sauf exception justifiée. On risque de retrouver sur ce dernier point la scission entre le public et le privé. Les renseignements personnels n’ont également pas à figurer sur les sites de santé.

3.7.2 Secret médical et confidentialité (critère essentiel)

La question ne se pose en principe que si des informations nominatives sont échangées sur un site, ce qui sort actuellement du cadre de ce travail. Ainsi toute demande de " consultation médicale " doit faire l’objet d’une attention toute particulière. Les observations cliniques qui peuvent figurer çà et là sur des sites de type formation médicale continue, par exemple, sont soumises aux règles déontologiques des publications scientifiques (article 73 du code de déontologie). En conséquence, il faut insister sur le fait que tout médecin inscrit à un tableau de l’Ordre des Médecins reste soumis au code de déontologie pour tous les actes qu’il accomplit dans la sphère médicale. Le fait que le site Internet soit situé en territoire étranger ne le ferait pas échapper, en cas de plainte, à des poursuites disciplinaires.

3.8.1 Présence dans les principaux répertoires et moteurs de recherche (critère important)

3.8.2 Adresse intuitive du site (critère important)

Il est souhaitable, pour faciliter la mémorisation, que l'adresse du site Internet (URL pour le Web, le nom de la liste de diffusion ou du forum) soit la plus intuitive possible. Ceci est souvent plus difficile pour les sites hébergés par d'autres structures. Néanmoins, l'Internaute doit rester attentif aux ressemblances des noms de sites.

Les éditoriaux de J. Wyatt [7] dans le BMJ et de Silberg et coll. [9] dans le JAMA insistent sur la nécessité de s'assurer et de contrôler la qualité de l'information de santé sur l'Internet. Plus récemment, Jadad et Gagliardi [10] et Delamothe [26] remettaient en cause cette nécessité, sous les prétextes du dogme libertaire de l'Internet, des difficultés de mise en place voire de leur infaisabilité, et également de l'absence d'évaluation de ces différentes grilles de critères de qualité. Rappelons que l'étude de Sandvik [23] n'a pas retrouvé de corrélation entre qualité du contenu et WIF dans un domaine particulier (l'incontinence de la femme). Une seconde étude de Pandolfini et coll. [24] (après celle d'Impicciatore et coll. [6]) n'a pas retrouvé non plus de corrélation entre la qualité du contenu et la qualité technique des sites Internet. Cette étude a été menée sur 19 sites dont le sujet est la gestion à domicile de la toux d'enfant. Ce nombre retreint n'est pas exempt d'un risque béta. Cette étude est contredite par celle de Hernández-Borges et coll. [25] qui ont retrouvé une corrélation positive entre qualité du contenu et qualité technique de sites pédatriques.

 Les membres de Centrale Santé considèrent que la mise en place et l'utilisation de critères de qualité est un impératif, du simple fait du danger potentiel des sites de mauvaise qualité pour le grand public et les professionnels de santé. Le Net Scoring pourrait être utilisé au niveau d'instances nationales  (comme en France l'ANAES ou le comité d'agrément du Réseau Santé Social) et internationales pour les autres grilles provenant d'autres pays [4, 11-13]. Certaines critiques vis-à-vis de l'utilisation de ces critères de qualité, sont néanmoins valides, en particulier la prise en compte du temps. Toute évaluation d'un site doit indiquer la date à laquelle elle a été effectuée, car une nouvelle évaluation peut devenir nécessaire, dès qu'une modification significative de ce site a eu lieu.

• Code of ethics of the Internet Healthcare Coalition [URL: http://www.ihealthcoalition.org/ethics/ethics.html] avec sa version française;
• American Medical Association, [URL : http://jama.ama-assn.org/issues/v283n12/pdf/jsc00054.pdf];
• Hi-Ethics [URL: http://www.hiethics.com/].

La grille de critères de qualité a été définie par consensus par les trois experts. Cette grille a été délibérément choisie la plus simple possible, notamment pour faciliter d’une part sa reproductibilité et d’autre part sa compréhension par leurs futurs utilisateurs. Dix critères ont été choisis pour créer cette grille :

quatre concernant la source de l’information,

Source, avec nom, logo éventuel, et références de l'institution et nom et titres de l'auteur sur chaque document du site

Source de financement, indépendance de(s) l'auteur(s), conflit d'intérêt, …

Existence d’un comité éditorial, avec un administrateur de site (maître-toile)

Citations des sources originales

trois à propos du contenu

Cible du site Internet

Mise à jour : actualisation des documents du site avec date de création, date de dernière mise à jour et éventuellement date de dernière révision

Pertinence des hyper-liens

trois concernant l’interface.

Organisation logique (navigabilité), qualité du moteur interne de recherche, index général, rubrique "quoi de neuf ", aide en ligne, plan du site, …

Design du site

Mécanisme pour la rétroaction, commentaires optionnels : courriel de l’auteur ou de l’institution de chaque document du site

Parmi les trente ressources étudiées, nous avons stratifié notre échantillon en choisissant quinze sites Web et quinze documents pédagogiques. Pour évaluer chaque critère, les experts ont utilisé une échelle de Likert avec 4 occurrences possibles : "très bien", "bien", "mauvais" et "très mauvais".

L’analyse portant sur l’ensemble des sites et des documents met en évidence, le plus fréquemment, une mauvaise voire très mauvaise concordance entre la cotation des experts. Sur les 30 concordances analysées, cinq apparaissent très mauvaises (Kappa < 0), 17 apparaissant mauvaises (kappa entre 0 et 0,20) et huit sont médiocres (kappa entre 0,21 et 0,40), la valeur la plus élevées étant de seulement 0,33 (critère de navigabilité entre les experts 2 & 3).

Si les résultats limités de ce travail étaient confirmés par d’autres études, ils auraient des conséquences importantes sur les travaux en cours notamment au niveau de l’Europe concernant la possibilité d’accréditer, de certifier voire de labelliser les sites de la "e-santé" par des tiers de confiance. Cette phase préliminaire a été présenté à MIE 2002 [29].

Suite à ces résultats médiocres, nous avons entrepris une seconde étude en janvier 2002 avec les trois mêmes experts sur 24 documents pédagogiques (en excluant les sites Web trop complexes à évaluer). Ces documents provenaient de facultés de médecine francophones différentes. La grille de critères pour évaluer ces documents ne comprenait plus que neuf critères après exclusion du critère " Source de financement, indépendance de(s) l'auteur(s), conflit d'intérêt " qui ne se pose presque jamais pour des documents pédagogiques. Une démarche très précise a été élaborée pour définir comment évaluer chaque critère selon notre échelle de Likert à quatre modalités. En utilisant le test de Wilcoxon et une analyse de variance, aucune différence significative n’a été retrouvé entre les experts. Ce travail a été présenté à AMIA 2002 sous forme de poster (4-1-50). Nous avons poursuivi ce travail en étudiant en collaboration avec le Pr. Jacques BENICHOU et Agnès HAMON (post-doc en statistiques) avec plusieurs test statistiques (Cohen’s kappa, gamma, Kendall’s W, et Cronbach’s alpha.). Ce travail sera soumis, dans les prochaines semaines, au Journal of Medical Internet Research (JMIR).

Tableau 1 : Liste des critères de qualité de l'information de santé sur l'Internet