Interpréter et évaluer les prestations

8. Interpréter et évaluer les prestations

8.1. L’analyse, l’interprétation et l’évaluation d’une prestation observée se faitselon différents points de vue, appelés  critères d’évaluation. Doit-on encore insister sur le fait que les critères utilisés doivent nécessairement être cohérents
avec les acquis d’apprentissage évalués ?

 

Pour la situation d’évaluation et la prestation demandée décrites dans l’exemple du § 6.1, les critères d’évaluation sont :

  • pour les paramètres identifiés par l’apprenant comme intervenant dans le dimensionnement de l’échangeur:
    • chaque paramètre proposé intervient dans le dimensionnement ;
    • tous les paramètres intervenant dans le dimensionnement sont mentionnés ;
  • pour le calcul du point de fonctionnement de l’échangeur :
    • le calcul est techniquement correct ;
    • la précision obtenue est meilleure que 5%.

 

Pour chaque élément de la prestation demandée, l’évaluateur dispose d’un ou de plusieurs critères. Dans cet exemple, les critères d’évaluation sont évidents et les questions que doit se poser l’évaluateur le sont également. Remarquons que, si l’acquis d’apprentissage visé avait comporté l’exigence non seulement d’identifier les paramètres intervenant dans le dimensionnement de l’échangeur, mais également d’expliquer pourquoi chaque paramètre intervient dans le dimensionnement, il y aurait à prendre en compte la justification des paramètres, avec comme critères : chaque paramètre est justifié ; chaque justification est correcte. On voit immédiatement que juger la qualité d’une justification pourrait être plus compliqué qu’émettre un jugement à propos des autres critères, car il s’agit d’analyser un texte libre, que chaque apprenant rédige à sa manière.

8.2. C ’est ici qu’intervient la question de la fiabilité et de l’objectivité: tout le monde et, en particulier chaque apprenant, aimerait évidemment que l’interprétation et l’évaluation des prestations soient indépendantes de l’humeur de l’évaluateur, de l’ordre dans lequel les prestations sont évaluées, de ce que l’évaluateur sait ou croit savoir au sujet de l’apprenant, etc. S’il y a différents évaluateurs (surtout, mais pas uniquement, dans le cas d’évaluations certificatives), on aimerait aussi que l’interprétation et l’évaluation des prestations soient indépendantes de l’évaluateur.

Or, de nombreuses études montrent que les sources de biais sont multiples et variées : l’écriture (calligraphie), le style et la présentation d’un écrit, le talent oratoire, la posture et l’attitude de l’apprenant lors d’un oral, la personnalité, l’expérience et la fatigue de l’évaluateur, le genre de l’apprenant, son ethnie, son prénom et son nom, son origine sociale, la connaissance du profil de l’étudiant (ses résultats antérieurs : c’est l’effet de halo), etc. (voir [Popham 2012]). [Piéron 1963], cité par [Detroz 2012], donne l’exemple d’une même composition française corrigée par 76 professeurs de français dont les notes se sont réparties comme suit :

cahier 4 image 11

 

Ceci se passe de commentaires, si ce n’est qu’un tel éparpillement de notes n’est pas de nature à entretenir la confiance entre les apprenants et les évaluateurs…

Nous pensons qu’il est essentiel de disposer d’une méthode d’interprétation et d’évaluation des prestations d’évaluation à la fois rapide et fiable. Une telle méthode existe ([Goodrich 1996], [Daele 2010]) : il s’agit de la méthode des grilles critériéesrubrics » en anglais).

8.3. Grille critériée
Une grille critériée se présente sous la forme d’une table dans laquelle on trouve, selon un axe, les différents critères retenus et, suivant l’autre axe, les différents niveaux de performance. En effet, pour chaque critère, le concepteur du dispositif d’évaluation choisit un (petit) nombre de niveaux de performance qu’il souhaite distinguer. Voyons cela pour un nouvel exemple, emprunté à [Mitstifer].

Évaluation d’une présentation orale : les critères retenus sont : l’organisation, le contenu, la conclusion, la présentation, l’utilisation des médias et les réponses aux questions. On a choisi de distinguer trois niveaux de performance : excellent, satisfaisant et insuffisant.

L’enseignant qui conçoit le dispositif d’évaluation indique, pour chaque critère, quelles sont les conditions à remplir pour atteindre chacun des troisniveaux de performance prévus. Voici ce que cela donne pour l’exemple de
 [Mitstifer] :

cahier 4 image 12

Lors de l’analyse d’une prestation, l’évaluateur examine chacun des critères et détermine le niveau de performance approprié selon la grille, construisant ainsi le résultat de son évaluation.

Du point de vue de l’enseignant, les avantages principaux de cette méthode sont sa rapidité et sa fiabilité (grâce à une moindre sensibilité aux biais). En outre, la grille est un excellent support pour fournir une rétroaction commentée à l’apprenant (voir le § 9.3).

8.4. Caractéristiques souhaitées des critères d’évaluation : il faut que ces critères soient :

  • pertinents : ils se rapportent réellement aux acquis d’apprentissage évalués,
  • simples : ils se rapportent à une seule facette des acquis d’apprentissage évalués,
  • indépendants les uns des autres : un bon (ou un mauvais) niveau de performance à un critère n’entraîne pas automatiquement un bon (ou un mauvais) niveau de performance à un autre critère,
  • fiables : ils sont peu susceptibles aux divers biais possibles,
  • équitables : ils ne (dé)favorisent aucune catégorie d’apprenants,
  • justifiables (argumentables) : l’enseignant peut expliquer le pourquoi de chaque critère,
  • peu nombreux : on se concentre sur les aspects jugés réellement importants,
  • connus des apprenants : les critères utilisés font partie des règles du jeu et on ne joue pas au chat et à la souris !

Caractéristiques souhaitées des niveaux de performance : il faut en limiter le nombre (généralement pas plus de 5 ou 6) pour que la détermination du niveau se fasse sans avoir à hésiter. Si l’on compare à l’attribution de notes, on veut éviter à tout prix les affres de l’indécision lorsqu’il faut choisir entre 12/20, 12,5/20 et 13/20…

Caractéristiques souhaitées des conditions correspondant aux différents niveaux de performance pour chaque critère : il faut que ces descriptions soient discriminantes, c’est-à-dire : qu’il n’y ait pas de recouvrement entre deux niveaux distincts pour un même critère.

8.5. On entend parfois les critiques suivantes à l’encontre de l’approche par grille critériée : cette approche est trop mécanique, elle manque de nuances, elle ne permet pas à l’enseignant-évaluateur de donner la pleine mesure de son talent, elle est réductrice. Ces critiques seraient peut-être justifiées dans le cas d’enseignants insensibles aux biais et disposant de tout le temps nécessaire pour corriger quelques copies d’examen, et encore… Quiconque a été amené à devoir corriger des centaines de copies dans un délai toujours trop court conviendra aisément que les avantages de l’approche l’emportent largement sur ses défauts réels ou supposés.

8.6. U ne fois le niveau de performance de chaque critère déterminé, grâce à la grille, il est naturel de se poser la question de la production de notes pour les évaluations certificatives. Ce point sera traité à la section 11.

Dernière modification
17/12/2018