Guide pratique de - Département d'informatique et de recherche ...

Guide pratique de
l'évaluation (littérale)






Jean Vaucher

Professeur titulaire
Groupe Incognito
Département d'informatique
et de recherche opérationnelle
Université de Montréal

octobre 1990
(révisé septembre 1991)














Avant-propos

Ce guide a été écrit dans le but d'aider mes collègues à attribuer des
notes "correctes" avec facilité et confiance.

Tout d'abord, je devrais souligner que je n'ai aucune qualification ou
diplôme particulier qui me permette d'imposer quoi que ce soit en matière
d'évaluation. Par contre, cette année,[1] comme tous mes collègues, j'ai
vécu l'introduction de la notation littérale - sans "mode d'emploi"- et
j'ai dû réviser mes techniques d'évaluation, inventer un sens aux lettres
de la notation, trouver des trucs pour calculer mes notes et refaire mes
programmes d'ordinateur. Bref, passer beaucoup de temps à faire marcher la
technique. Avec le guide, j'espère vous éviter mon travail de réinvention
de roue.

Suite à des discussions sur le sujet, j'ai aussi remarqué que je n'étais
pas le seul à avoir eu des problèmes à appliquer et interpréter la méthode
littérale. En particulier, il ne semble pas y avoir consensus sur le sens
des "lettres". Ceci est grave car si nous devons changer de système afin de
nous normaliser, il faudrait s'entendre sur cette norme afin de pouvoir
s'y conformer. De la situation actuelle, où chacun est forcé d'inventer sa
méthode, se dégage une impression de flou et d'arbitraire qui pourrait
facilement mener à la contestation de la légitimité des notes.

Pour éclaircir la situation, j'ai contacté des "sources officielles" à
l'Université et j'ai posé la question suivante: «quelle devrait être la
moyenne d'une classe moyenne au premier cycle?» Dans mon esprit, ça aurait
pu être "C" avec 2 niveaux plus haut (A et B) et 2 niveaux plus bas (D et
échec)... Dans une deuxième étape de réflexion, constatant qu'un étudiant
doit maintenir une moyenne de "C" pour réussir un programme de premier
cycle, j'ai déduit que si chaque professeur fixait sa moyenne à "C", la
moitié de nos étudiants échouerait sur la moyenne générale. Quelle moyenne
donc faudrait-il viser afin que le système marche: C+, B-, B...? La
réponse "officielle" ne m'a pas aidé. «Il n'y a pas de norme, m'a-t-on dit,
ça dépend des départements et des titulaires.»

Suite à cette expérience, j'ai décidé qu'il serait utile de passer quelque
temps à mettre sur papier ce que mes collègues et moi avions appris, conclu
ou élaboré cette année en matière d'évaluation.

Je dois avouer que je n'ai pas fait de recherche bibliographique en bonne
et due forme. J'ai bien ouvert Bloom[2] au départ, mais je l'ai vite
refermé et ce n'est qu'à la toute fin du travail que je suis tombé sur les
monographies de notre Service Pédagogique. Deux volumes sont pertinents et
j'en recommande la lecture. Le premier[3] souligne très bien les
problèmes de l'évaluation; le second[4] donne de bons conseils sur la
composition d'examens à choix multiple. Cependant, ni l'un ni l'autre ne
traite vraiment des problèmes étudiés ici. De plus, ces documents ont le
désavantage d'être des documents "institutionnels". En quelque sorte, ils
engagent l'Université et la réputation académique des auteurs. Le style se
doit d'être tempéré afin de ne pas susciter la contestation. Le présent
"guide" est un document personnel qui n'engage pas l'Université. Si jamais
des contestations étaient basées sur mon texte, il serait facile de
désavouer l'amateur que je suis. Je peux donc être aussi catégorique et
pragmatique que je juge nécessaire et le lecteur sera libre de ne retenir
que ce qui lui est utile.



Par rapport à la version précédente d'octobre 1990, ce texte comporte
quelques retouches à la section sur l'échelle "B" (p. 19) et à la
section sur la normalisation des notes (pp. 21-22).







Remerciements

Par leurs commentaires, suggestions et corrections, plusieurs personnes ont
contribué à améliorer ce guide. Je tiens à remercier D.B., F.B., G.B.,
P.B., C.C., G. L. , L.L., B.L., U.M., C. S-V. et P.M.

Introduction


Les pédagogues distinguent entre la mesure et l'évaluation.[5] La mesure,
c'est un score obtenu dans un test quelconque (p.e. 15 sur 20);
l'évaluation, c'est l'interprétation de ce score (p.e. moyen ou excellent).
Notre ancien système de notation, basé sur les pourcentages, est axé sur
les tests et il s'apparente à la mesure, tandis que la notation littérale
s'oriente plus vers l'évaluation. L'avantage de la notation littérale dans
les bulletins est de pouvoir faire ressortir le message essentiel d'une
évaluation: est-ce que l'étudiant a réussi ou échoué, est-il supérieur à la
moyenne, mérite-t-il une bourse, etc...

Pour que le processus d'évaluation fonctionne correctement, il faut qu'il y
ait entente générale sur les différents jugements qu'il est possible
d'émettre et sur la manière dont on peut les exprimer par le biais d'une
seule lettre. De plus, il faut trouver un système facile à appliquer et à
justifier afin de limiter l'arbitraire (ou l'impression d'arbitraire) pour
que tous les intervenants, c'est-à-dire les professeurs, les étudiants et
les lecteurs des bulletins, aient confiance dans l'exactitude du processus.

Le simple fait d'utiliser la notation littérale dans les bulletins
officiels ne résout pas le problème fondamental de l'évaluation: comment
combiner et traduire des résultats de tests en évaluation. Et ceci, avec
cohérence, facilité et certitude.

Dans ce qui suit, je présenterai d'abord les extraits du règlement
pédagogique qui décrivent la notation littérale ainsi que l'échelle de
conversion de la Commission des études. Ensuite, je décrirai certains
problèmes typiques rencontrés avec le nouveau système, puis je proposerai
un schéma d'évaluation qui procède en deux étapes: distinguant en premier
lieu, la réussite de l'échec, pour ensuite attribuer des mentions
(lettres) appropriées. Finalement, j'exposerai certaines techniques que
j'ai trouvé utiles et je montrerai comment elles s'appliquent dans des cas
concrets tirés de mon expérience.




Définition du système de notation littérale[6]

Le règlement pédagogique de la Faculté des Arts et Sciences (section 7.1)
décrit le système de notation littérale par la table suivante:


Lettres Points Mention


A+ 4,3
A 4 Excellent
A- 3,7
B+ 3,3
B 3 Très bien
B- 2,7
C+ 2,3
C 2 Bien
C- 1,7
D+ 1,3
D 1,0 Passable


E 0,5 Echec (faible)
F 0 Echec (nul)



Certains seuils ajoutent un "sens" à ces lettres. Au premier cycle, la
note de passage pour un cours est D ou mieux. De plus, on exige une moyenne
générale de 2,0 (C) ou mieux pour la réussite d'un programme. Ces deux
seuils correspondent à des moyennes de 50% et 60% selon l'ancien système.
Il y a un troisième point de repère dans nos règlements, c'est la moyenne
minimale requise pour être admissible à la maîtrise: 2,7 ou "B-" dans un
système et 70 % dans l'autre.

Aux études supérieures, les exigences sont plus élevées. La note de passage
pour un cours est "C" (article 33 du règlement pédagogique de la FES) et la
moyenne générale à maintenir est "B-" ou 2.7 (articles 42 et 56).

Finalement, il existe une table de conversion entre pourcentages et lettres
qui a été adoptée par la Commission des études. Cette table a été largement
diffusée par les étudiants, et on la retrouve dans certains agendas. Nous
la reproduisons ci-dessous. L'aspect détaillé de cette table suggère que
son emploi est une garantie de "l'objectivité" de l'évaluation. C'est loin
d'être le cas! et je critiquerai plus loin l'emploi abusif qui peut en être
fait! Effectivement, cette table a été adoptée uniquement pour fins de
conversion, au 31 août 1989, de la moyenne cumulative antérieure des
bulletins.

A+ 90-100
A 85-89 Excellent (80-100)
A- 80-84


B+ 77-79
B 73-76 Très bien (70-79)
B- 70-72


C+ 65-69
C 60-64 Bien (57-69)
C- 57-59


D+ 54-56
D 50-53 Passable (50-56)


E 35-49 Échec (faible)
F 0-34 Échec (nul)


Table de conversion pour la moyenne cumulative des bulletins



Problèmes de la notation littérale

Un premier problème vient de l'absence de normalisation des termes (et
lettres). Pour que la notation littérale puisse faire ressortir le message
essentiel d'une évaluation, il faut savoir quelle lettre dénote quel
message. Selon notre règlement, voici les "messages" associés à
l'évaluation.


A Excellent
B Très bon
C Bon
D Passable
E Échec (faible)
F Échec (nul)


C'est bien d'avoir une liste de mots; c'est mieux de s'entendre sur le sens
de ces mots. Sur des dossiers français, on peut trouver des mentions
différentes: "assez bien", "bien" et "très bien". Une université américaine
utilise les termes: "conditional pass", "satisfactory", "good" et "very
good". Comment comparer notre "très bon" avec un "assez bien" ou un "good".
De même, est-ce que le "A" est attribué à 5% des étudiants, 10%, ...? Il
est illusoire de penser obtenir un standard absolu, mais il serait
souhaitable que certains critères soient énoncés tout haut afin de réduire
les divergences d'interprétation.

Un deuxième problème découle de l'application aveugle de l'échelle de la
Commission des études pour convertir en lettres des résultats d'examens
exprimés en pourcentages. C