1.2 Organisation des activités liées à l'évaluation PISA - OECD

Pro Consortium:
Australian Council For Educational Research (ACER)
Netherlands National Institute for Educational Measurement Service (ETS)
National Institute for Educational Research (NIER, J










Consortium responsable du
projet :

Australian Council for
Educational Research

(ACER)

Netherlands National Institute
for

Educational Measurement
(groupe CITO)

Educational Testing Services
(ETS)

National Institute for
Educational Research

(NIER, Japon)

Westat

TABLE DES MATIÈRES


1. INTRODUCTION 7

1.2 LE MANUEL DU DIRECTEUR NATIONAL DE PROJET 7
1.2 ORGANISATION DES ACTIVITÉS LIÉES À L'ÉVALUATION PISA 7

2. RÔLE DU NPM ET DU CENTRE NATIONAL 9

2.1 PRÉPARER LES FORMULAIRES D'ÉCHANTILLONNAGE ET LA BASE
D'ÉCHANTILLONNAGE DES ÉCOLES 9
2.2 PRÉPARER LE MATÉRIEL DE TEST DE LA CAMPAGNE DÉFINITIVE ET LES
AUTRES INSTRUMENTS NÉCESSAIRES À L'ENQUÊTE 9
2.3 OBTENIR LA COOPÉRATION DES ÉCOLES 9
2.4 ENVOYER AUX ÉCOLES DES CONSIGNES POUR LA PRÉPARATION DE LA LISTE
DES ÉLÈVES ADMISSIBLES 11
2.5 CHOISIR L'ÉCHANTILLON D'ÉLÈVES ET ENVOYER LES FORMULAIRES DE SUIVI
DES ÉLÈVES AUX ÉCOLES 11
2.6 SUPERVISER L'ASSEMBLAGE ET L'IMPRESSION DES CARNETS DE TEST ET DES
QUESTIONNAIRES 12
2.7 RECRUTER ET FORMER LES ADMINISTRATEURS DE TEST 12
2.8 SUPERVISER L'EMBALLAGE ET L'EXPÉDITION DE TOUS LES DOCUMENTS 13
2.9 SUPERVISER LA RÉCEPTION DU MATÉRIEL DE TEST RENVOYÉ PAR LES ÉCOLES
13
2.10 SUPERVISER LE CODAGE ET LA SAISIE DES DONNÉES APRÈS L'ÉVALUATION.
13
2.11 ENVOYER À ACER LA BASE DE DONNÉES 13
2.12 REMPLIR ET RENVOYER LE QUESTIONNAIRE SUR LA CAMPAGNE DÉFINITIVE
13
2.13 LISTE DE CONTRÔLE DES ACTIVITÉS DU NPM 13
FICHE 2-1. LISTE DE CONTRÔLE DES ACTIVITÉS 15
Fiche 2-1. Liste de contrôle des activités (suite) 16

3. BAsE DE DONNÉES pour lES JALONS IMPORTANTS 17

3.1 INTRODUCTION 17
3.2 LA RELATION ENTRE LES CENTRES NATIONAUX, LES MEMBRES DU CONSORTIUM
ET LA DIRECTION DE PISA 17
3.3 JALONS RELATIFS À L'ESSAI DE TERRAIN DU CYCLE PISA 2003 18
FICHE 3-1.JALONS RELATIFS À LA CAMPAGNE DÉFINITIVE DE PISA 2003 19
3.4 Site affichant les pages web des jalons 20
3.5 ÉCHÉANCES DES JALONS 20
3.6 PROCÉDURES D'UTILISATION DE LA BASE 20
3.7 RAPPORTS À L'ÉQUIPE DE DIRECTION DE PISA 21

4. PRÉPARATION DES VERSIONS NATIONALES DES INSTRUMENTS DE TEST ET DU
MATÉRIEL D'ENQUÊTE POUR LA CAMPAGNE DE TESTS DÉFINITIVE 22

TABLEAU 1. CALENDRIER RELATIF AU DÉVELOPPEMENT DES VERSIONS SOURCE ET
DES VERSIONS NATIONALES DES INSTRUMENTS DESTINÉS À LA CAMPAGNE DE TESTS
DÉFINITIVE DU CYCLE PISA 2003 22
4.1 Matériel à réviser 23
4.2 PLANIFIER LA RÉVISION DE VOTRE VERSION NATIONALE ET SOUMETTRE UN
CALENDRIER DE VÉRIFICATION SOUHAITÉ 26
4.3 ENTAMER LA PRÉPARATION DE VOTRE MATÉRIEL AVANT LE 20 DÉCEMBRE
27
TABLEAU 2. INTERLOCUTEURS À ACER ET CHEZ CAPSTAN 33
Fiche 4.1. Calendrier de vérification souhaité - Campagne de tests
définitive du cycle PISA 2003 35

5. SÉLECTION DE L'ÉCHANTILLON D'ÉLÈVES ET prÉparation DU matÉriEl DEsTINÉ
AUX ÉCOLES 38

5.1 INTRODUCTION 38
5.2 ENVOYER AUX ÉCOLES DES CONSIGNES POUR PRÉPARER LA LISTE DES ÉLÈVES
ADMISSIBLES 38
FICHE 5-1. EXEMPLE DE FORMULAIRE LISTE D'ÉLÈVES ADMISSIBLES 39
Fiche 5-1. Exemple de formulaire Liste d'élèves admissibles (suite)
40
5.3 Sélectionner l'échantillon d'élèves 41
FICHE 5-2. FORMULAIRE PISA DE SUIVI DES ÉLÈVES 43
5.4. Types de programmes d'études : la colonne 7 du Formulaire de Suivi
des élèves 45
FICHE 5-3 MAQUETTE DU TABLEAU DES PROGRAMMES D'ÉTUDE 48
Fiche 5-4 Exemple 1 de Tableau des Programmes d'étude 49
Fiche 5-5 Exemple 2 de Tableau des Programmes d'étude 50
Fiche 5-6 Exemple 3 de Tableau des Programmes d'étude 51
5.5 Préparer les consignes relatives à l'identification des élèves qui
ont des besoins éducatifs spécifiques 52
5.6 PRÉPARER LES CONSIGNES RELATIVES À L'IDENTIFICATION DES ÉLÈVES QUI
NE PEUVENT PAS ÊTRE TESTÉS. 53
5.7 ENVOYER LE FORMULAIRE DE SUIVI DES ÉLÈVES AU COORDINATEUR SCOLAIRE
ET À L'ADMINISTRATEUR DE TEST 54

6. ASSEMBLAGE, CONDITIONNEMENT ET ENVOI DU MATÉRIEL DE TEST 55

6.1 ASSIGNER LES ITEMS DES TESTS ET DES QUESTIONNAIRES AUX INSTRUMENTS
55
FICHE 6 - 2 RÉPARTITION DES ITEMS DANS LES BLOCS ET DANS LES CARNETS
56
Fiche 6 - 2 Répartition des items dans les blocs et dans les carnets
(suite) 57
Fiche 6 - 2 Répartition des items dans les blocs et dans les carnets
(suite) 58
Fiche 6 - 2 Répartition des items dans les blocs et dans les carnets
(suite) 59
Fiche 6 - 2 Répartition des items dans les blocs et dans les carnets
(suite) 60
Fiche 6 - 2 Répartition des items dans les blocs et dans les carnets
(suite) 61
Fiche 6 - 2 Répartition des items dans les blocs et dans les carnets
(suite) 62
Fiche 6 - 2 Répartition des items dans les blocs et dans les carnets
(suite) 63
Fiche 6 - 2 Répartition des items dans les blocs et dans les carnets
(suite) 64
6.2 Carnet destiné aux élèves ayant des besoins éducatifs spécifiques
(Carnet UH) 65
FICHE 6 - 3 RÉPARTITION DES ITEMS DANS LE CARNET UH 66
Fiche 6 - 3 Répartition des items dans le carnet UH (suite) 67
6.3 Le formatage des carnets de test 68
6.4 LES QUESTIONNAIRES 69
6.4.1 OPTIONS NATIONALES ET INTERNATIONALES 69
6.4.2 Assemblage des Questionnaires 69
6.4.3 Obtenir l'approbation d'ACER 70
6.5 Imprimer, emballer et expédier le matériel PISA 70
6.5.1 GÉNÉRALITÉS 70
6.5.2 Imprimer le matériel PISA 72
6.5.3 Emballer et expédier le matériel PISA 72
6.6 Réception du matériel renvoyé au Centre National 74

7. CODAGE, SAISIE DES DONNÉES ET ENVOI DES FICHIERS NATIONAUX 75

7.1 VUE D'ENSEMBLE DES PROCESSUS REQUIS LORS DU CODAGE 75
7.2 RECRUTER DES CORRECTEURS 75
7.3 LE TRAITEMENT DES CARNETS ET LEUR PRÉPARATION EN VUE DU CODAGE
78
7.4 FORMATION DES CORRECTEURS ET DES CHEFS DE TABLE 80
7.5 CODAGE SIMPLE ET MULTIPLE DES CARNETS 84
FICHE 7-1. LES DIFFÉRENTS TYPES D'ITEMS PISA ET LEURS EXIGENCES DE
CODAGE 85
7.6 Plan de travail pour le codage simple 87
FICHE 7-2. RÉPARTITION DES CARNETS POUR LE CODAGE SIMPLE PAR BLOCS
D'ITEMS 89
Fiche 7-3. Attribution des carnets pour le codage simple de la
compréhension de l'écrit 91
Fiche 7-4. Agenda proposé pour le codage de la compréhension de l'écrit
en parallèle avec le codage des mathématiques / sciences / résolution de
problèmes. 93
7.7 Codage multiple des carnets mis en réserve pour le contrôle de la
fidélité entre correcteurs nationaux 94
FICHE 7-5. RÉPARTITION DES CARNETS POUR LE CODAGE SIMPLE DES ITEMS DE
MATHÉMATIQUES, SCIENCES ET RÉSOLUTION DE PROBLÈMES 94
7.8 Utilisation de correcteurs distincts pour les divers domaines
96
7.9 CARNETS DESTINÉS À UN CONTRÔLE INTERNATIONAL DE LA COMPARABILITÉ
DES CODAGES 96
7.10 SAISIE DES DONNÉES 97
7.11 MATÉRIEL À SOUMETTRE AU CONSORTIUM 98
7.12 APRÈS LA SOUMISSION DES DONNÉES 99
ANNEXE 1: EXEMPLE DE CONVENTION DE CONFIDENTIALITÉ POUR LES CORRECTEURS
101
ANNEXE 2: FEUILLETS DE NOTATION POUR LE CODAGE MULTIPLE 104



1. INTRODUCTION


1.2 LE MANUEL DU DIRECTEUR NATIONAL DE PROJET

1. En tant que Directeur National de Projet (NPM), vous êtes responsable
des activités liées au projet PISA dans votre pays.

2. Pour vous aider à mener à bien ces activités, un ensemble de manuels et
d'autres documents sont fournis par le Consortium. Il s'agit :

. du Manuel du NPM ;

. du Manuel destiné à l'Administrateur du test ;

. du Manuel destiné au Coordinateur Scolaire ;

. du Manuel pour la préparation de l'échantillonnage des écoles;

. des Guides de Correction ;

. du Manuel KeyQuest ;

. du Manuel de saisie des données.


1.2 Organisation des activités liées à l'évaluation PISA

3. Les activités liées à l'évaluation PISA suivront le modèle déjà utilisé
pour l'essai de terrain PISA 2002, qui a trois composantes : le NPM et
son Centre National (NPC) au niveau du pays ; les Coordinateurs Scolaires
(CS), qui seront responsable de toutes les activités liées au projet se
déroulant au sein des écoles, et les Administrateurs de test (AT), qui
seront chargés de faire passer les épreuves de manière équitable,
impartiale et standardisée, conformément aux procédures internationales.

4. Il est admis que les pays peuvent différer dans leur façon d'organiser
ces tâches. Selon le mode d'organisation choisi par le pays, les
activités attribuées à l'un des intervenants dans le tableau ci-dessous
(Fiche 1-1) pourront, en fait, être attribuées à un autre intervenant.
L'objectif du tableau est d'identifier toutes les activités exigées pour
mener à bien l'opération PISA et de donner un exemple du mode
d'organisation qui peut être mis en ?uvre. Le propos du tabl