L’analyse de la qualité des évaluations

13. L’analyse de la qualité des évaluations

Que ce soit lors de la conception d’un dispositif d’évaluation ou lors de son analyse, il est nécessaire de jeter un regard critique et constructif sur le dispositif d’évaluation, vu son importance pour toutes les parties prenantes. Cela forme la base d’une nécessaire approche « qualité » des évaluations, qui s’inscrit dans la logique des critères européens d’évaluation de la qualité des programmes de formation [ESG 2009].

En juillet 2013, lors d’une journée organisée par FA2L et consacrée à l’évaluation des acquis d’apprentissage avec une trentaine de participants, une grille « rubrics » a été co-construite de manière à permettre d’analyser un dispositif d’évaluation de manière systématique et objective. Cette grille comporte 19 critères regroupés en cinq catégories ; pour chaque critère, 4 niveaux de qualité ont été définis, allant du plus faible (« - ») au plus élevé (« +++ »).

Cette grille peut être utilisée par l’enseignant qui a imaginé le dispositif d’évaluation, mais ce serait encore mieux si l’analyse était effectuée par un autre enseignant… Nous avons cependant constaté que beaucoup d’enseignants expriment une réticence réelle à l’idée de communiquer leurs évaluations à des collègues (de manière un peu paradoxale, si on veut savoir ce qui est important pour un enseignant, il vaut mieux aller voir ses questions d’examen que la table des matières de son cours). Nous pensons qu’il faut les amener graduellement à franchir cet obstacle, ce qui peut être facilité s’ils utilisent eux-mêmes la grille en premier lieu.

Cette grille ne prétend pas être exhaustive : on peut certainement l’enrichir par d’autres critères (par exemple : sur le calcul d’une note pour les évaluations certificatives). Nous espérons cependant que cette grille (ou une de ses variantes) aidera nos lecteurs à construire de meilleures évaluations.

 

Catégorie de critère Critère - + ++ +++
Finalité de
l’évaluation
(quels types
d’actions ou de décisions seront prises à son issue)
1. La finalité de l’évaluation est définie et appropriée L’évaluation poursuit simultanément plusieurs finalités
concurrentes ; aucune discussion ou réflexion n’a été menée
La finalité dominante est définie mais d’autres finalités sont présentes L’évaluation est composée de plusieurs parties qui visent chacune des finalités différentes et définies La finalité de l’évaluation est unique et non ambiguë
2. La finalité de l’évaluation
est connue des
étudiants
Aucune information
n’est communiquée aux
étudiants sur les finalités
de l’évaluation / la finalité
pourrait dépendre des
résultats
La finalité de l’évaluation
est annoncée : formative
ou certificative
Il est vraisemblable que les étudiants comprennent
les enjeux de l’évaluation,
aucune preuve n’est cherchée
à ce propos
Les étudiants sont capables
d’expliciter les enjeux de
l’évaluation
Liens entre
l’évaluation
et les acquis
d’apprentissage
visés
3. L’évaluation est alignée avec des acquis d’apprentissage visés Il n’y a pas de lien apparent entre l’évaluation et certains acquis d’apprentissage
visés
Il y a un lien entre l’évaluation
et certains acquis
d’apprentissage visés, mais
ce lien n’est pas explicite
Le lien entre l’évaluation et
un certain nombre d’acquis d’apprentissage visés est
explicite
Le lien entre l’évaluation et
chaque acquis d’apprentissage
est explicite ; tous les
acquis visés sont évalués
4. Les étudiants perçoivent
les liens entre les acquis d’apprentissage
visés et l’évaluation
Le lien entre l’évaluation et
les acquis d’apprentissage
visés n’est pas communiqué
aux étudiants
Le lien entre l’évaluation et
les acquis d’apprentissage
visés est communiqué aux
étudiants
Le lien entre l’évaluation et
les acquis d’apprentissage
visés est communiqué aux
étudiants et ceux-ci se le sont vraisemblablement
approprié
Les étudiants sont capables
d’expliciter le lien entre
l’évaluation et les acquis
d’apprentissage visés
Dispositif
d’évaluation
5. Les étudiants sont préparés à l’évaluation Aucune activité n’a été
organisée en vue de préparer les étudiants à
l’évaluation
Certaines activités visaient
à préparer les étudiants à
l’évaluation, mais cela n’a pas été explicité
Certaines activités ont été
organisées explicitement
pour préparer les étudiants
à l’évaluation
Certaines activités ont été
organisées explicitement
pour préparer les étudiants
à l’évaluation ; les étudiants
sont capables de citer ces
activités
Catégorie de critère Critère - + ++ +++
Dispositif
d’évaluation
(suite)
6. La situation d’évaluation
est similaire aux
situations d’apprentissage
La situation d’évaluation
apparaît aux étudiants
comme différente des
situations d’apprentissage
(Exemple : travail en groupe pendant l’année ;
évaluation individuelle)
La situation d’évaluation
est similaire aux situations
d’apprentissage, mais cela
n’apparaît pas nécessairement
à tous les étudiants
La situation d’évaluation
est similaire aux situations
d’apprentissage et les étudiants
en sont vraisemblablement
conscients
La situation d’évaluation
est similaire aux situations
d’apprentissage; les étudiants peuvent comparer
explicitement les situations
7. Les modalités de l’évaluation
sont appropriées
Les modalités retenues ne
permettent pas l’observation
et l’analyse de tous les
éléments nécessaires au
diagnostic
Les modalités retenues
permettent l’observation
et l’analyse de certains éléments nécessaires au
diagnostic
Les modalités retenues permettent
de façon générale
l’observation et l’analyse des éléments nécessaires au diagnostic
Les modalités retenues sont les plus efficaces pour
permettre l’observation et
l’analyse des éléments nécessaires
au diagnostic et
les étudiants sont capables d’expliquer les liens
8. Les modalités de l’évaluation sont claires et
comprises des étudiants
Les modalités ne sont pas communiquées aux étudiants Les modalités sont communiquées
et expliquées
aux étudiants au début de l’évaluation
Les modalités sont communiquées
et expliquées
aux étudiants quelques
jours avant le début de l’évaluation
Les modalités sont choisies de commun accord entre les enseignants et les étudiants
9. L’évaluation a été validée Le dispositif n’a été soumis à aucun regard critique Le dispositif a été soumis au regard critique de collègues proches du domaine Le dispositif a été soumis au regard critique de collègues éloignés du domaine Le dispositif a été soumis au regard critique de collègues et leurs remarques ont été prises en compte; l’enseignant en a tiré des leçons pour les évaluations suivantes
10. La durée de l’évaluation
 est estimée correctement
La durée de l’évaluation n’a
pas été estimée
La durée de l’évaluation a été estimée sur base de l’expérience antérieure de l’enseignant La durée de l’évaluation a été discutée avec des
collègues
La durée de l’évaluation a été validée sur un
échantillon pour qu’aucun étudiant susceptible de
réussir ne soit pressé par le temps
Catégorie de critère Critère - + ++ +++
Produire un
diagnostic
11. Les critères d’évaluation
sont appropriés
Il n’y a pas de critères
explicites d’évaluation :
l’enseignant se fie à son jugement, à son expérience, à son «fingerspitzengefühl5»
Il y a des critères explicites d’évaluation, mais l’enseignant n’a fait aucun effort
réel pour s’assurer de leur
qualité
Les critères retenus sont
issus d’une démarche
collective, mais n’ont pas toutes les qualités voulues; par exemple : ils ne sont pas indépendants les uns des autres
Les critères retenus sont
pertinents, simples,
indépendants, pondérés,
justifiables, argumentables; ils ont été validés
12. Les critères d’évaluation sont connus des étudiants Les critères d’évaluation ne sont pas communiqués aux étudiants Les critères retenus ont été
communiqués, sans plus
Les critères retenus sont connus des étudiants et
ceux-ci sont capables de les citer
Les critères retenus ont été
définis en collaboration avec les étudiants
13. L’évaluation est équitable Certaines catégories d’étudiants sont susceptibles d’être favorisées ou lésées Aucune catégorie d’étudiants n’est favorisée ou lésée L’équité est respectée au sein d’un groupe de travail (par exemple en projet) Aucune catégorie d’étudiants n’est favorisée ou lésée et l’enseignant l’a fait valider
14. L’évaluation est fiable Le diagnostic produit dépend du correcteur ou de son humeur Un dispositif de correction en aveugle est mis en place; des grilles d’évaluation sont mises à disposition Un dispositif d’ajustement entre correcteurs est mis en place Le dispositif d’ajustement entre correcteurs est validé
Sens pour
l’étudiant
15. La rétroaction produite est efficace pour
l’étudiant
Il n’y a pas de rétroaction sauf, le cas échéant, une note La rétroaction consiste en un corrigé de l’évaluation La rétroaction consiste en un corrigé de l’évaluation avec des remarques générales au sujet des points
d’amélioration
Chaque étudiant qui le souhaite obtient une rétroaction individuelle avec des explications
précises au sujet des points
d’amélioration
16. L’évaluation a  du sens pour les étudiants Les étudiants ne voient pas bien à quoi sert l’évaluation La portée de l’évaluation, ses objectifs et sa place dans le dispositif de formation ont été présentés Il est vraisemblable que les étudiants ont compris la portée de l’évaluation Les étudiants sont capables d’expliciter la portée de l’évaluation
Catégorie de critère Critère - + ++ +++
Sens pour
l’étudiant (suite)
17. L’évaluation donne l’occasion aux étudiants d’apporter des preuves de leurs apprentissages Les étudiants ne perçoivent pas en quoi chaque partie
de l’évaluation leur permet d’apporter des preuves de
leurs apprentissages
Certaines parties de l’évaluation permettent aux étudiants d’apporter des
preuves de leurs apprentissages
Chaque partie de l’évaluation permet aux étudiants d’apporter des preuves de leurs apprentissages Les étudiants sont capables d’expliquer en quoi chaque partie de l’évaluation leur
permet d’apporter des preuves de leurs apprentissages
18. L’évaluation contribue à développer la capacité à s’autoévaluer Aucune activité n’est proposée
pour que l’étudiant soit capable de se positionner sur sa réussite / son échec avant l’évaluation
Des évaluations à blanc sont organisées Des activités d’évaluation par les pairs sont organisées. L’évaluation apporte à l’étudiant des outils qui l’aideront à s’autoévaluer dans l’avenir. L’étudiant sera en mesure d’estimer
correctement son niveau de performance avant les évaluations suivantes.
19. L’évaluation contribue à construire un sentiment de compétence chez
l’étudiant
L’étudiant est incapable de voir le lien entre l’évaluation et sa compétence : l’évaluation ne contribue pas à son sentiment de compétence L’étudiant perçoit un sentiment de compétence
par rapport aux acquis
d’apprentissage visés par l’évaluation
L’étudiant perçoit un sentiment de compétence par rapport à plusieurs modules. Un parcours permet à l’étudiant de se positionner
progressivement sur l’acquisition de compétences professionnelles.
20. La relation entre le jugement final (p. ex. la note attribuée, la
réussite ou l’échec) et la performance réalisée est raisonnable
La relation n’est pas explicitée La relation est explicitée,
mais elle n’est pas ou ne semble pas raisonnable
La relation est explicitée et raisonnable La relation est explicitée et son caractère raisonnable a été validé
Catégorie de critère Critère - + ++ +++
Évaluations
certificatives
21. La relation entre le jugement final (p. ex. la note attribuée, la réussite ou l’échec) et la performance réalisée est connue des étudiants Les étudiants ignorent la relation Les étudiants ont eu connaissance de la relation de manière fortuite Les étudiants ont été informés de la relation Les étudiants sont capables d’expliciter la relation
22. Une rétroaction personnalisée est fournie à l’issue de l’évaluation Aucune rétroaction n’est fournie Une rétroaction est fournie, mais elle n’est pas personnalisée Une rétroaction personnalisée est fournie uniquement sur demande et en casd’échec Une rétroaction personnalisée est fournie sur demande
Dernière modification
17/12/2018