standards for pisa 2003 - OECD.org

Table des matiÈres


(NOTE du SECRéTARIAT) 2


normes techniques pour lA mise en ?uvre de pisa 2003 4

Échantillonnage 4
Traduction et vérification de la traduction 5
Sélection des traducteurs 6
Soumission, pour approbation, des adaptations et autres modifications de
questionnaires 7
Soumission du matériel pour vérification des traductions 7
Administration du test 7
Sélection des Administrateurs du test 8
Formation des Administrateurs du test 8
Sécurité du matériel 8
Séance de test 8
Contrôle qualité 9
Visite des sites et formation des Moniteurs du contrôle de qualité
relatif aux écoles 9
Visites des Moniteurs du contrôle de qualité relatif aux écoles 10
Indicateurs standard internationaux dans PISA 10
Codage 11
Sélection des correcteurs 11
Codage simple 11
Correction multiple 11
Indicateurs standard internationaux dans PISA 11
Saisie et renvoi des données 12
Matériel à renvoyer 12
Nettoyage des données 12
Indicateurs standard internationaux dans PISA 13



(NOTE du SECRÉTARIAT)

1. La stratégie de collecte de données adoptée en 1997 par les
gouvernements Membres comme fondement pour PISA précise que « Les pays
Membres s'accorderont sur une série de règles générales concernant
l'inclusion/l'exclusion des résultats nationaux dans les rapports
internationaux. Tout différend entre les pays et le principal contractant
international sur l'application de ces règles sera arbitré par le
Secrétariat conformément aux directives établies par le Conseil des pays
participants » [voir paragraphe 96 du document DEELSA/ED/CERI/CD(97)4].

2. Pour ce faire, le Conseil des pays participants a adopté en 1998 une
série de normes de qualité [voir doc. réf. DEELSA/PISA/BPC(1998)4]
auxquelles doivent satisfaire les données recueillies à l'échelon national
pour que les résultats soient repris dans les publications internationales.
En 2000, le Conseil des pays participants a poursuivi l'opérationalisation
de ces normes de qualité et a établi une procédure d'arbitrage en la
matière [voir doc. réf. DEELSA/PISA/BPC(2000)16].

3. Lors de sa réunion d'octobre 2000, le Conseil des pays participants a
demandé au Secrétariat de revoir les normes à la lumière des expériences de
PISA 2000 et d'émettre une proposition de normes pour applicables à PISA
2003. Celles-ci seront examinées et approuvées par le BPC à l'occasion de
sa réunion du 18 au 20 avril 2000.

4. Ce document présente les différentes normes proposées pour PISA 2003. Si
elles correspondent en grande partie aux normes utilisées dans PISA 2000,
certaines modifications sont cependant proposées :

- Outre les exigences minimales relatives aux taux de participation
des écoles et aux taux de participation des élèves en général,
l'on propose d'ajouter le critère suivant pour les taux de
participation des élèves au sein des écoles participantes : Le
taux de participation des élèves sélectionnés au sein des écoles
participantes devra atteindre au moins 80 pour cent. Un élève ne
sera considéré comme participant que s'il assiste à la séance de
test initiale. Tout élève absent lors de la séance de test
initiale sera exclu de la banque de données. L'objectif de ce
critère est de limiter les résultats biaisés à cause des élèves
absents lors de l'évaluation.

- Afin d'éviter que les écoles à faibles taux de participation
d'élèves aient un poids excessif dans l'estimation des taux de
participation des écoles et dans les estimations de l'enquête PISA
en général, le critère suivant est proposé : Les écoles dont le
taux de participation des élèves est compris entre 25 et 50 pour
cent ne seront pas considérées comme des écoles participantes.
Toutefois, les données seront incluses dans la banque de données
et contribueront aux différentes estimations. Les données émanant
d'écoles au taux de participation d'élèves inférieur à 25 pour
cent ne seront pas incluses dans la banque de données.

- Afin d'assurer la comparabilité de l'âge cible des élèves, le
critère suivant est proposé : Les fenêtres de test, qui servent à
définir la population cible d'un pays, ne peuvent être modifiées
sans l'approbation du consortium.

- L'étendue et la nature du processus de contrôle de qualité relatif
aux écoles seront désormais plus souples. L'objectif n'est
nullement d'assouplir les conditions qui étaient en vigueur dans
PISA 2000, mais de concentrer davantage les ressources dans les
domaines où, comme l'a démontré PISA 2000 dans les différents
pays, les problèmes sont les plus susceptibles de se manifester. À
cet égard, la proposition suivante a été formulée : Les Directeurs
nationaux de projet sont chargés de nommer des Moniteurs du
contrôle de qualité relatif aux écoles (SQM) au moins six semaines
avant le début de l'évaluation et, de préférence, trois mois avant
cette date. Le nombre de Moniteurs du contrôle de qualité relatif
aux écoles sera déterminé en accord avec chaque Directeur national
de projet. Les Directeurs nationaux de projet sont également tenus
de prévoir un local pour la séance de formation des Moniteurs du
contrôle de qualité relatif aux écoles. Les Moniteurs du contrôle
de qualité relatif aux écoles sont employés par le consortium
PISA. Les Moniteurs du contrôle de qualité relatif aux écoles sont
tenus d'effectuer leur travail de manière à en assurer
l'indépendance par rapport aux Centres nationaux des pays où ils
opèrent. Les Moniteurs du contrôle de qualité relatif aux écoles
ne peuvent faire partie de la même institution que celle qui
emploie le Directeur national de projet. Enfin, les Moniteurs du
contrôle de qualité relatif aux écoles ne sont pas tenus
d'informer le Directeur national de projet de leur travail au jour
le jour. »

5. Le BPC est invité à :

- EXAMINER et, sous réserve de modifications, ADOPTER les normes
applicables à PISA 2003.



normes techniques pour lA mise en ?uvre de pisa 2003


Échantillonnage

1. Afin d'assurer la validité des estimations du rendement scolaire,
l'échantillon d'élèves doit être sélectionné selon les principes
d'échantillonnage scientifique établis et reconnus par les professionnels,
de manière à représenter la population globale des élèves âgés de 15 ans.

2. En outre, il y a lieu de d'appliquer des normes de qualité en ce qui
concerne :

a) La couverture de la population cible choisie au niveau
international pour PISA : le taux global d'exclusion doit être
inférieur à 5 pour cent. De plus,

- les établissements scolaires exclus pour des raisons
d'inaccessibilité, de taille, de faisabilité ou autres
doivent représenter moins de 0,5 pour cent du nombre total
d'élèves inclus dans la population cible internationale
totale du PISA ;

- les exclusions au niveau « école » pour les élèves
allophones, les élèves présentant des troubles mentaux mais
capables de recevoir un enseignement ou les élèves présentant
des troubles moteurs ne peuvent excéder 2 pour cent des
élèves.

b) L'exactitude et la précision : un échantillon minimum de 4 500
élèves testés doit être sélectionné parmi un minimum de 150
écoles. Sauf accord contraire avec le consortium PISA, les écoles
seront échantillonnées selon une probabilité proportionnelle à une
mesure de leur taille, tandis que les élèves seront sélectionnés
de manière aléatoire (ou suivant une procédure systématique) au
sein de chaque école. Sauf accord contraire avec le consortium
PISA, 35 élèves seront sélectionnés dans chaque école
participante. Les Directeurs nationaux de projet sont invités à
utiliser le logiciel fourni par le consortium pour sélectionner
les élèves. S'ils ont l'intention d'utiliser un autre logiciel,
ils sont tenus de fournir toutes les informations requises sur les
procédures qu'ils auront appliquées. Les Directeurs nationaux de
projet sont aussi vivement invités à identifier les variables de
stratification afin de limiter les erreurs d'échantillonnage et à
augmenter la taille de l'échantillon des écoles en fonction des
caractéristiques du système éducatif (corrélation intra-classes,
intégration dans le cycle scolaire normal ou dans des filières
fortement différenciées, pourcentage de petites écoles, élèves de
15 ans ne tombant pas dans une large mesure dans le même niveau
scolaire, etc.).

c) Le taux de participation des écoles : pour l'échantillon d'écoles
initial, un taux de participation d'au moins 85 pour cent est
requis. S'il est compris entre 65 et 85 pour cent, il peut être
compensé par des écoles de remplacement. Par ailleurs, toute école
ayant un taux de participation d'élèves compris entre 25 et
50 pour cent ne sera pas considérée comme une école participante.
Les données se