Étape 3 : rédiger les vignettes et items

A cette étape-ci, précisez et rédigez le contenu de chacune d’elle.

Mise en contexte

Après avoir déterminé les objectifs et les domaines d’évaluation, il convient maintenant de sélectionner des situations cliniques caractéristiques des problèmes de raisonnement rencontrés dans la discipline.

Chaque vignette va donner lieu à plusieurs items. En effet, si on crée un seul item par vignette, l’effort de réflexion est considérable pour les étudiants qui doivent se plonger dans une grande série de cas cliniques. La recherche montre que l’idéal est de 3 à 5 items par vignette.

Rédaction de la vignette

Reproduisez un contexte clinique authentique, en écrivant un scénario décrivant une situation problématique susceptible d’être rencontrée en pratique :

• cette situation pose problème, même pour un expert (pas assez de données pour conclure, ou données conflictuelles, etc.);
• elle décrit une situation qui correspond au niveau des candidats qu’on veut évaluer;
• elle est indispensable pour comprendre la question et placer le candidat dans un contexte clinique spécifique (sinon il ne s’agit pas d’un TCS).

Exemple (cas clinique de chutes où le candidat doit se prononcer sur le diagnostic):

Une dame de 82 ans est admise à l’hôpital pour une chute à la résidence en se levant du lit, le matin. Elle n’a pu se relever et l’infirmière l’a trouvée par terre près du lit après plusieurs heures. Il s’agit de la 3e chute au cours du dernier mois. Elle est connue pour hypertension artérielle, souffle aortique, insuffisance cardiaque; elle reçoit un inhibiteur de l’enzyme de conversion, un diurétique et un antidépresseur tricyclique pour un affect triste depuis deux mois. Elle est sur la liste d’attente pour une chirurgie de cataractes. Elle est diabétique sous diète seule.

NB: La description tient en général en deux ou trois phrases au plus. La longueur de la description dans le cas ici donné en exemple représente un maximum.

Rédaction des items

Partez du cheminement que vous, cliniciens experts, effectueriez pour progresser vers la solution.

• Quelles sont les hypothèses (options) pertinentes (diagnostic, prise en charge thérapeutique ou autres) dans cette situation clinique?
• Quelles données d’interrogatoire, d’examen – positives ou négatives – vous seraient nécessaires?
• Chaque item lié à la vignette va consister à mettre en relation :
  • Une des données cliniques et l’option considérée;
  • Quel impact a cette nouvelle donnée sur le statut de l’option considérée? Est-il positif ou négatif, fort ou faible, ou encore neutre (ça ne change rien)?
  • La question suivante va examiner l’impact d’une autre donnée sur une autre des options pertinentes quant au cas examiné.

Recommandations:

• La façon de poser les questions doit être compatible avec la façon de raisonner dans la discipline.
• Les options doivent être pertinentes dans le cas clinique présenté, selon l’avis d’experts et le domaine de connaissances évalué (ex. : diagnostic, prise en charge ou autres).
• Pour une situation clinique, on ne considère pas plus de 3 ou 4 options pertinentes, parce que la recherche sur le raisonnement clinique a montré que les cliniciens ne considèrent pas plus de ce nombre d’options simultanément.
• Le choix des items d’une unité d’évaluation, d’un domaine donné (diagnostic, prise en charge ou autres), doit être fait en fonction des éléments qui sont les plus pertinents pour tester l’habileté du candidat à mobiliser ses connaissances et à prendre une décision clinique.
• On prend garde d’offrir des réponses à peu près équilibrées entre les différents éléments de l’échelle de Likert (nom de l’échelle qualitative utilisée pour capter la réponse du participant (par exemple: Fortement négatif, Négatif, Neutre, Positif, Fortement positif). Cet équilibre est requis pour éviter qu’un étudiant futé, qui aurait remarqué qu’un type de réponse est privilégié, donne systématiquement cette réponse lorsqu’il est incertain.
• Chacun des items lié au cas est indépendant des autres (les participants n’accumulent pas de l’information sur le cas en passant d’une question à l’autre.

Exemple d’une question liée à la vignette présentée ci-dessus (question portant sur le diagnostic). Les 3 autres questions examineraient la relation existant entre d’autres options diagnostiques (hypothèses) et d’autres données cliniques.

Caractéristiques de l’échelle Likert

Nombre d’ancrages

• La recherche a montré que l’échelle optimale comporte 5 ancrages.
• Utiliser une échelle à 7 ancrages (pour augmenter la variabilité des réponses) n’apporte rien en terme de qualité de la mesure.
• La valeur neutre (ça ne change rien), n’est pas une valeur refuge pour le candidat hésitant. Affirmer que ça ne change rien n’est pas plus facile que de décider si l’effet est positif ou négatif.
• Il existe des situations où l’on utilise une échelle à trois points (pour des étudiants en début de formation par exemple, qui à ce stade sont incapables de distinguer entre Fortement négatif ou Négatif).
• Il existe des situations ou la valeur neutre n’est pas utilisée (échelle à 4 points). C’est le cas par exemple des évaluations en éthique, dans lesquelles on veut que l’étudiant se prononce sur le caractère adéquat ou inadéquat d’un comportement proposé.

Libellé des ancrages

• Au début de l’utilisation des Tests de concordance de script, on utilisait des ancrages différents selon les situations (diagnostic, choix d’investigation, ou choix de traitement).
• Par exemple, pour des questions touchant le diagnostic : Quasi improbable, Improbable, Ni plus ni moins probable, Plus probable, Quasi certain.
• Par exemple, pour des questions touchant le choix d’investigations : Inutile, Moins utile, Ni plus ni moins utile, Plus utile, Indispensable.
• Actuellement, on utilise des ancrages identiques quelle que soit la situation : Fortement négatif, Négatif, Neutre (ça ne change rien), Positif, Fortement positif.
• Cette évolution facilite énormément la création de questions par les enseignants et évite des erreurs chez les étudiants.

Symboles chiffrés

• Les premiers TCS étaient administrés sur papier. Pour éviter d’avoir à reproduire constamment les ancrages, on utilisait des symboles chiffrés (-2, -1, 0, +1, +2).
• Actuellement avec l’informatique, lorsque l’étudiant passe la souris de l’ordinateur sur les différentes cases de réponse, la signification de l’ancrage apparaît à l’écran.
• Il n’est donc plus nécessaire d’utiliser les représentations symboliques chiffrées.

Prochaine étape :  (4) Mettre en forme / exemples

Retour à l’ensemble des étapes pour construire un TCS.