Relier les Examens de Langues au "Cadre ... - Council of Europe

Janvier 2009
Relier les examens de langues au Cadre européen commun de référence pour
les langues : Apprendre, enseigner, évaluer (CECRL) Un manuel Division des Politiques Linguistiques, Strasbourg
www.coe.int/lang/fr |TRADUCTION : |
| |
|Gilles BRETON, Sébastien GEORGES et Christine TAGLIANTE | SOMMAIRE Liste des schémas iii Liste des figures iii Liste des Tableaux v Liste des Fiches vii Préface ix Chapitre 1 Le CECRL et le manuel 1 Chapitre 2 Le processus de mise en relation 7 Chapitre 3 Familiarisation 19 Chapitre 4 Spécification 27 Chapitre 5 Formation à la standardisation et au calibrage
37 Chapitre 6 Procédures de définition des points de césure
60 Chapitre 7 Validation 90 Annexes 136 Annexe A Fiches et échelles pour la description et la spécification (ch.
1 et 4) 138 A1 : Caractéristiques principales des niveaux du CECRL (chapitre
1) 138
A2 : Fiches pour la description des examens (chapitre 4)
144
A3 : Spécification : activités langagières communicatives
(chapitre 4) 150
A4 : Spécification : compétence langagière communicative (chapitre
4) 160
A5 : Spécifications : résultat des analyses (chapitre 4)
173 Annexe B Grilles d'analyse de contenu Chapitre 4
175 B1 : Grille d'analyse de contenu pour la réception orale
175
et la réception écrite
B2 : Grille d'analyse de contenu pour les tâches de
181
production orale et de production écrite Annexe C Fiches et échelles pour la standardisation et le calibrage
(Ch.5) 209 Références supplémentaires :
Section A: Résumé du processus de mise en relation Section B: Définition des points de césure Section C: Théorie classique des tests Section D: Méthodes d'analyse qualitative Section E: Théorie de la généralisabilité Section F: Analyse factorielle Section G: Théorie de la réponse à l'item Section H: Mise en équivalence des tests
Liste des schémas Schéma 2.1 Preuve de la validité de la mise en relation de l'examen ou du
test 8
avec le CECRL
Schéma 2.2 Représentation graphique des procédures permettant de
relier 17
les examens au CECRL Liste des figures
Figure 6.1 Distribution de fréquence pour les scores aux tests dans les
deux groupes
contrastés 73 Figure 6.2 Régression logistique 80 Figure 6.3 Formulaire d'enregistrement des jugements des panélistes dans
le cadre de la
méthode du marque-page 86
Figure 6.4 Items de discrimination différente
90 Figure 6.5 Cartographie d'items, indiquant la difficulté et la
discrimination 91 Figure 7.1 Courbe caractéristique empirique de l'item pour un item
problématique 113 Figure 7.2 Une courbe caractéristique de test
117 Figure 7.3 Table de décision pour neuf niveaux
125 Figure 7.4 Table de décision pour cinq niveaux
126 Figure 7.5 Cartographie d'items avec des descripteurs de compétence
130
Liste des tableaux
Tableau 3.1 Gestion du temps pour les activités de Familiarisation
25 Tableau 3.2 Documents à préparer pour les activités de Familiarisation
25 Tableau 4.1 Fiches et échelles du CECRL pour les activités langagières
communicatives 33
Tableau 4.2 Echelles du CECRL pour les aspects de la compétence langagière
34 communicative Tableau 5.1 Gestion du temps pour l'évaluation des échantillons de
performance orale 48 Tableau 5.2 Gestion du temps pour l'évaluation des échantillons de
performance écrite 50 Tableau 5.3 Documents et matériel à préparer pour l'évaluation de la
production écrite 50 Tableau 5.4 Sources de références dans le CECRL
52 Tableau 5.5 Formation à la standardisation et au calibrage :
récapitulatif 59 Tableau 6.1 Vue d'ensemble des méthodes discutées
65 Tableau 6.2 Données de base dans la méthode de Tucker-Angoff
66 Tableau 6.3 Calcul du score attendu pour les 100 candidats limites
71 Tableau 6.4 Distribution de fréquence correspondant à la figure 6.1.
73 Tableau 6.5 Tables de décision pour cinq scores de césure
74 Tableau 6.6 Résumé du tour de précision de l'étendue
77 Tableau 6.7 Résultats du réajustement
79 Tableau 6.8 Exemple de réponses dans la méthode de l'appariement au
descripteur
de l'item (formulaire abrégé)
82 Tableau 6.9 Marque-page et niveaux de réussite
88 Tableau 6.10 Estimation de la valeur Theta
89 Tableau 7.1 Dispositif de blocs incomplets équilibrés avec trois blocs
102 Tableau 7.2 Dispositif de blocs incomplets équilibrés avec sept blocs
103 Tableau 7.3 Exemple de consistance forte et de désaccord complet
109 Tableau 7.4 Tableau de fréquence pour quatre niveaux et deux panélistes
110 Tableau 7.5 Fréquence d'attribution des niveaux du CECRL pour un item
112 Tableau 7.6 Résumé des désaccords par item 113 Tableau 7.7 Résultat d'une procédure de Tucker-Angoff
114 Tableau 7.8 Décomposition de la variance
114 Tableau 7.9 Exactitude de la décision
119 Tableau 7.10 Consistance de la décision
120 Tableau 7.11 Distributions marginales sur les niveaux (occurrences)
123 Tableau 7.12 Distributions marginales sur les niveaux
(pourcentages) 124 Tableau 7.13 Dispositif de procédure de détermination des scores de
césure pour une paire 128
Tableau A1 Caractéristiques principales de l'interaction et de la
production. 139 Tableau A2 Caractéristiques principales de la réception
140 Tableau A3 Eléments qualitatifs pertinents pour la réception
162 Tableau A4 Eléments qualitatifs pertinents pour l'interaction orale
169 Tableau A5 Eléments qualitatifs pertinents pour la production
170 Tableau C1 Echelle globale d'évaluation de la production orale
212 Tableau C2 Grille des critères d'évaluation de l'oral
213 Tableau C3 Grille des critères supplémentaires : « niveaux plus »
214 Tableau C4 Grille des critères d'évaluation de la production écrite
215
Liste des Fiches
Fiche A1 Description générale de l'examen 146
Fiche A2 Elaboration de l'examen
147
Fiche A3 Correction 148
Fiche A4 Notation 148
Fiche A5 Communication des résultats
148
Fiche A6 Analyse et révision de l'examen
149
Fiche A7 Justification des décisions
149
Fiche A8 Impression initiale du niveau global
149
Fiche A9 Réception orale 151
Fiche A10 Réception écrite 152
Fiche A11 Interaction orale 153
Fiche A12 Interaction écrite 155
Fiche A13 Production orale 156
Fiche A14 Production écrite 157
Fiche A15 Combinaisons de capacités intégrées
158
Fiche A16 Capacités intégrées 158
Fiche A17 Médiation orale 159
Fiche A18 Médiation écrite
160
Fiche A19 Aspects de la compétence langagière pour la réception
164
Fiche A20 Aspects de la compétence langagière en interaction
165
Fiche A21 Aspects de la compétence langagière en production
167
Fiche A22 Aspects de la compétence langagière en médiation
172
Fiche A23 Représentation graphique de la relation de l'examen aux
niveaux
du CECR 173
Fiche A24 : Confirmation de l'estimation du niveau global de
l'examen 173
Fiche C1 Fiche de rapport de formation
209
Fiche C2 Fiche analytique d'évaluation
210
Fiche C3 Fiche d'évaluation globale (DIALANG)
210
Fiche C4 Fiche de synthèse de l'évaluation globale (DIALANG)
211
Fiche C5 Fiche d'évaluation des items (DIALANG)
211 Ces fiches sont également disponibles sur le site Internet
www.coe.int/lang/fr
Préface Le Conseil de l'Europe tient à exprimer sa reconnaissance à tous ceux qui
ont contribué à l'élaboration de ce manuel et notamment : . Les autorités finlandaises qui ont organisé le séminaire d'Helsinki où
le projet fut lancé en juillet 2002. . Les consultants qui ont expérimenté l'édition pilote (Pr. Charles
Alderson, Dr Gergely A. David, Dr John De Jong, Dr Felianka
Kaftandjieva, Dr Michael Makosch, Dr