Le site pédagogique d'Anne-Claude Allin

Comment s'opère le choix des modalités d'évaluation chez un enseignant expert?  Lorsque l'on débute dans l'enseignement et que l'on est impliqué dans l'évaluation des prestations des étudiants, l'on peut légitimement s'interroger sur le choix des modalités. Pourquoi  une épreuve en groupe dans ce module et une épreuve individuelle dans un autre ? Pourquoi ici un examen de connaissances et là un travail de réflexion ? Pourquoi ici un oral et là un écrit ? Tout cela peut sembler bien mystérieux et très aléatoire...

Les choix d'une modalité d'évaluation est un acte pédagogique important car, même si l'enseignant ne le souhaite pas, la façon d'évaluer détermine la façon dont les étudiants apprennent. C'est une chose à ne pas oublier. (Pelaccia 2021)

Avant de parler du choix des modalités, j'aimerais rappeler les critères de qualité d'une épreuve de validation, car ils constituent un guide important dans l'élaboration d'une épreuve. 

• Validité : degré de précision avec lequel l’instrument mesure ce qu’il prétend mesurer.
• Fiabilité (fidélité) : constance avec laquelle un instrument mesure une variable donnée, degré de confiance que nous accordons aux résultats. 
• Objectivité : degré de concordance entre les jugements portés par des examinateurs différents sur ce qui constitue une bonne réponse. Certains auteurs (Berthiaume & Rege Colet, 2013) parlent de subjectivité encadrée plutôt que d'objectivité.
• Commodité (faisabilité) : déterminée par le temps nécessaire pour la construction, l’administration, la notation et l’interprétation des résultats d’une épreuve.
• Pertinence (que certains auteurs appellent la validité écologique) : adéquation de l’épreuve au rôle professionnel visé, à la finalité de la formation.
• Cohérence : adéquation de l’épreuve aux compétences visées, aux contenus d’enseignement et aux modalités d’enseignement. Certains auteurs parlent également d'alignement pédagogique.

Les quatre premiers critères correspondent aux critères de qualité de n'importe quel instrument de mesure et pas seulement des instruments d'évaluation. Le choix de la modalité d'évaluation renvoie aux critères de validité, commodité, pertinence et cohérence. Les outils d'évaluation (consignes, grilles critériées, plans de correction), renvoient aux critères de validité, fiabilité et objectivité. 

Le choix d'une modalité d'évaluation dépend de différents éléments que je vais détailler maintenant, sans aucune prétention d'exhaustivité.

Premièrement, on le sait, certaines modalités sont mieux adaptées à l'évaluation des compétences que d'autres, davantage centrées sur l'évaluation des connaissances; les modalité adaptées à l'évaluation des compétences les plus souvent citées sont les suivantes :

• Le portfolio
• La simulation
• La conduite de projets
• Les études de cas, la résolution de problèmes
• Les ECOS (examens cliniques à objectifs structurés)

En résumé, les modalités les plus authentiques, à savoir, se rapprochant le plus de l'exercice professionnel futur de l'apprenant. 

Deuxièmement, la cohérence du programme ou l'alignement pédagogique est l'un des éléments essentiels à considérer; pour rappel, les compétences visées et les apprentissages critiques évalués ainsi que les méthodes d'enseignements doivent guider les modalités d'évaluation. Je ne reviens pas sur cette question que j'ai déjà abordée dans d'autres billets (voir mes billets sur la cohérence pédagogique et sur la déclinaison d'un programme en APC)

Troisièmement, le contexte de l'évaluation est un élément important à prendre en considération; parmi les  dimensions du contexte, on prendra en compte :

• le nombre de crédits ECTS du module à évaluer, plus précisément le nombre de crédits non consommés par les activités d'enseignement et donc le temps moyen que les étudiants devraient consacrer à l'épreuve de validation. C'est une question qui est très souvent laissée pour compte et, à nombre de crédits équivalent,  plus le module est consommateur de temps d'enseignement, plus la validation est consommatrice de temps pour les étudiants, alors que l'on devrait être dans l'exact opposé.
• le nombre d'étudiants est également à prendre en considération car il n'est pas possible d'utiliser les mêmes modalités pour un groupe de 20 étudiants en formation postgrade que pour un groupe de 200 étudiants en première année bachelor. J'ai vu parfois des tests de connaissances avec de nombreuses questions à développement administrés à des groupes de 150 à 200 étudiants. Même si la pertinence et la cohérence étaient garanties, il était extrêmement difficile, voire impossible de garantir la fiabilité, l'objectivité et je ne parle même pas de la commodité!
• le nombre d'évaluateurs, le temps qu'ils ont à disposition et le délai pour l'évaluation sont également à considérer, même si, dans l'idéal, il s'agirait d'inverser les choses et de définir d'abord la modalité puis les ressources nécessaires pour l'administrer. Avouons que cet idéal n'est pas toujours au rendez-vous.

J'aimerais maintenant ajouter un dernier élément permettant, à mes yeux, d'enrichir ses modalités d'évaluation, le modèle de Kirkpatrick, présenté graphiquement ci-dessous. La première version du modèle a été élaborée dans les années 50 - c'est vieux, je vous le concède, mais le modèle a évolué et le schéma ci-dessous est beaucoup plus récent, 2010 - par Donald Kirkpatrick, comme modèle d'évaluation des formations. Vous me direz que ce n'est pas votre préoccupation principale lorsque vous préparez une épreuve de validation d'un module, mais vous verrez que selon le niveau visé, l'évaluation des formations et celle des prestations des apprenants se rejoignent.

Il n'est pas dans mon propos d'expliquer en détails le modèle, son origine et son évolution. Je vous renvoie pour cela à deux excellents articles du site de Pottiez & Frimond évaluationformation.fr ainsi qu'au livre de Pottiez, 2017 (voir références ci-dessous). Ce qui m'intéresse ici, c'est de m'inspirer de ce qui se fait - parfois - en matière d'évaluation des formations en entreprise, pour proposer d'autres modalités d'évaluation des prestations des étudiants, des modalités permettant aux étudiants d'expérimenter et de mettre en oeuvre les connaissances acquises dans des situations authentiques.

Je laisse de côté les niveaux 1 et 4 ne concernant pas directement les acquis des apprenants pour me concentrer sur les niveaux 2 et surtout 3. L'évaluation au niveau 2 porte sur les acquis de la formation et correspond à l'évaluation des ressources de la compétence, à savoir, connaissances, habiletés, attitudes. Les formateurs connaissent cela très bien et il n'est pas nécessaire d'y revenir. L'évaluation au niveau 3 porte sur les comportements, à savoir - pour les formations continues - sur les changement survenus au poste de travail suite à la formation. On peut parler également de transfert des acquis vers la pratique professionnelle. N'est-ce pas cela que l'on cherche au quotidien dans nos formations ? Vous comprenez maintenant pourquoi je fais ce détour par l'évaluation des formations ?

Dans un précédent billet (l'évaluation inversée ou comment évaluer les connaissances et les compétences), je présentais en préambule la distinction entre trois modalités évaluatives dans une approche par compétences. Je les rappelle ici en les mettant en lien avec le modèle de Kirkpatrick.

Peut-on imaginer de nouvelles modalités d'évaluation basées sur le modèle de Kirkpatrick, le stage en formation initiale correspondant, dès lors, à la situation de travail ?

Je vais imaginer un exemple concret et laisser ensuite libre cours à votre créativité pour inventer de nouvelles modalités d'évaluation.

Prenons un module de 3 ECTS (90 heures de travail étudiant) sur la collaboration interprofessionnelle, se déroulant en fin de 2ème année. Imaginons, pour l'exemple, que ce module a été réalisé en éducation interprofessionnelle, regroupant des étudiants en médecine et des étudiants en soins infirmiers, mais qu'à ce stade, l'évaluation appartient et diffère dans chacune des disciplines et que le formateur infirmier est en charge de la validation pour une quinzaine d'étudiants en soins infirmiers. Les activités d'enseignement ont consommés 60 heures (cours, séminaires, travaux dirigés). Il reste donc 30 heures de travail étudiant à disposition pour la validation. Les étudiants partent en stage quelques semaines après la fin du module.

La validation du module portera sur quelques pièces du portfolio et une présentation orale de 10' au retour de stage. La validation pourrait prendre la forme suivante:

• Préparation au stage : dans le cadre des heures dévolues à la préparation au stage, l'étudiant identifiera les occasions de collaboration avec des médecins dans son futur stage (ressources : site internet, étudiant aìné, pair ayant déjà fait un stage dans ce type de service); il en fera état dans son portfolio. Environ 8h
  
• Après deux semaines de stage, l'étudiant recevra un quizz (auto-administré et auto-corrigé) avec quelques questions concernant le modèle théorique de collaboration interprofessionnelle étudié en cours (niveau 2 de Kirkpatrick). Il fera un bref retour sur ses résultats dans le portfolio. Environ 2h
• Au cours des semaines suivantes, il choisira une situation de collaboration interprofessionnelle et en fera une brève narration et une analyse guidée par quelques questions et les éléments théoriques étudiés en cours (qu'est-ce qui s'est bien passé ? qu'a-t-il pu utiliser comme connaissances acquises ? qu'aurait-il pu faire différemment en mobilisant davantage les connaissances? quels sont les freins et les ressources à la collaboration interprofessionnelle qu'il a expérimentés ? quels sont celles et ceux de sa propre responsabilité ? niveau 3 de Kirkpatrick). Environ 10h
• Au retour de stage, les étudiants d'un même type de stage se retrouvent et préparent (3 heures programmées) une présentation orale concernant les conditions et le niveau de maturité de la collaboration interprofessionnelle dans leur milieu clinique. Environ 10h (préparation, présentation, feedback).

Cet exemple est très partiel, centré uniquement sur une modalité d'évaluation; il intègre les éléments 1 et 3 présentés ci-dessus (modalités adaptées à l'APC et éléments contextuels). Reste évidemment tout le travail de cohérence difficile à réaliser dans un exemple "hors sol". Cet exemple tend à démontrer que, dans ce type de modalité - comme dans d'autres d'ailleurs - pratiques pédagogiques et pratiques évaluatives sont intégrées et participent à l'alternance intégrative tellement recherchée dans les programmes de formation. En effet, en réalisant les différents éléments de l'épreuve, l'étudiant continue à développer ses compétences, tissent des liens entre approche théorique et mise en pratique.

J'aimerais toutefois apporter une précaution à ce type de modalités : les périodes de stage visent souvent à développer et évaluer l'ensemble du référentiel de compétences. Il est donc nécessaire de préciser, par exemple dans le contrat pédagogique, les apprentissages spécifiques (apprentissages critiques par exemple) que l'étudiant vise dans une période de stage donnée, les situations d'apprentissage nécessaires et les travaux qu'il aura à réaliser, ceci afin que les conditions de stage lui permettent de les réaliser. Entre nous, on pourrait se poser légitimement la question de savoir si toutes les compétences doivent être travaillées et évaluées dans toutes les périodes de stage, mais c'est un autre débat...

J'espère que ce billet vous sera utile. N'hésitez pas à m'envoyer vos commentaires, vos critiques, vos questions ou vos exemples en utilisant le formulaire de contact. Je serai particulièrement intéressée à vous lire à ce propos.

Références

Berthiaume & Rege Colet. (2013). La pédagogie de l'enseignement supérieur : repères théoriques et applications pratiques. Tome 1. Bern : Peter Lang.

Pelaccia Thierry. (2021). Comment enseigner dans le supérieur. Bruxelles : De Boeck université.

Pottiez, Jonathan. (2017). L'évaluation de la formation. Paris : Dunod.

Pottiez & Frimond. le modèle d'évaluation Kirkpatrick https://evaluationformation.fr/modele-kirkpatrick/

Pottiez & Frimond. Les différences entre l'ancien et le nouveau modèle Kirkpatrick. https://evaluationformation.fr/modele-kirkpatrick/