2. VERs UN diagnostic automatique plus fiable - L'UTES

Chapitre 2
Rapport d'ACTIVITE sur l'axe diagnostic Rapport coordonné par é. Delozanne Introduction
1 Rappel des objectifs Sur cet axe l'équipe a centré son activité sur les trois objectifs définis
dans le projet :
. mettre au point des « profils types » ou plutôt des classes de profils en
nous appuyant sur une analyse didactique a priori et une analyse
statistique des protocoles d'interaction obtenus avec le logiciel de test
Pepite1 ;
. à la lumière des expérimentations en classe déjà menées, construire à
partir du test diagnostique, des modèles paramétrables d'exercices, par
les enseignants ou par les chercheurs, permettant la génération et
l'analyse automatique d'activités de diagnostic par le système
informatique ;
. mettre au point plusieurs présentations types de résultats du diagnostic
à différents types d'utilisateurs (élèves, enseignants, chercheur) et
tester leurs effets, par exemple, l'effet du questionnement des élèves
sur leur propre compétence pour l'apprentissage.
La conception d'un système informatique de diagnostic ne pouvant se
dispenser de l'analyse de l'activité de diagnostic des enseignants, nous
avons travaillé aussi sur l'axe 3 se rapportant à l'instrumentation de
l'activité de l'enseignant, mais en adoptant un point de vue de concepteur
d'EIAH et non un point de vue ergonomique qui est présenté dans le chapitre
4. 2 Organisation du travail et plan de ce chapitre Nous nous sommes organisés en groupes de travail autour de trois objectifs. Le premier objectif vise à fiabiliser le diagnostic automatique en
améliorant le diagnostic des réponses aux questions ouvertes. Dans ce cadre
deux études exploratoires ont été menées qui font l'objet de la section 2
de ce chapitre. La première a consisté à mettre en ?uvre une analyse
automatique des raisonnements algébriques des élèves sur un exercice de
preuve. Ce travail a été mené par deux informaticiennes (D. Prévit, E.
Delozanne) et une didacticienne (B. Grugeon). Il a donné lieu à un mémoire
de DEA et à deux publications [Prévit 2002, Delozanne et al. 2003, Prévit
et al. 2004]. La seconde étude concerne l'analyse des justifications que
les élèves expriment en utilisant la "langue naturelle" ou plutôt une
langue où ils incorporent des expressions mathématiques à des mots d'usage
courant. Ce travail a été mené principalement à l'IUFM de Créteil par une
linguiste (S. Normand), une didacticienne (L. Coulange), une
informaticienne (E. Delozanne) avec la participation de formateurs
d'enseignants (M.-C. Marillier, J.-F. Chesné, F. Delzongle). Il a donné
lieu à des publications en français et en anglais (Normand et al. 04a et
b). Par ailleurs et toujours dans l'objectif de fiabiliser le système, le
portage du système dans le langage Java a été initié dans le cadre d'un
stage de maîtrise au LIUM [Vaseux 2003]. La version Java de PépiTest est
téléchargeable sur le site du projet [site Pépite]. Enfin une étude
exploratoire a été menée par l'équipe de l'IUFM de Créteil auprès d'une
dizaine d'élèves pour appréhender la vision des élèves sur leur compétence
algébrique dans l'objectif de faire un retour vers l'élève du résultat du
diagnostic. Ces entretiens sont en cours d'exploitation. Le deuxième objectif consiste à concevoir un système informatique qui
supporte des situations de diagnostic adaptables par les enseignants à
différents contextes d'évaluation de leurs élèves. Un groupe de travail
composé principalement d'informaticiens du LIUM (P. Jacoboni, D. Prévit, E.
Delozanne et deux étudiants), et occasionnellement de didacticiennes de
DIDIREM (L. Coulange et B Grugeon), d'une ergonome de Paris 8 (J. Rogalski)
a travaillé à partir des retours d'utilisation à la définition de scénarios
d'utilisation et à la conception d'une nouvelle architecture du système de
diagnostic pour en faire un système plus ouvert et adaptable. Ces travaux
sont présentés dans la section 3 de ce chapitre. La conception de ce
système qui n'est pas encore aboutie a donné lieu à des présentations dans
des séminaires et des publications de types jeunes chercheurs ou papier
court [Prévit 2003]. Le troisième objectif, très lié aux deux autres axes du projet, a concentré
l'essentiel de nos efforts. Il fait l'objet de la section 4 de ce chapitre.
Il s'agit de concevoir un assistant à l'exploitation du diagnostic en
classe par les enseignants. Notre recherche se fonde sur deux hypothèses de
travail :
. H1 : Pour prendre des décisions didactiques sur les activités
d'apprentissage adaptées au profil cognitif d'un élève, il est nécessaire
de disposer d'un modèle à un niveau d'abstraction plus élevé à côté du
modèle cognitif très fin proposé par Pépite. Nous avons appelé ce niveau
des "profils types", puis "des classes de profils" et enfin des
"stéréotypes" pour adopter une terminologie en cours dans la communauté
de recherche s'intéressant à la modélisation des utilisateurs de systèmes
interactifs (« user modelling ») et plus particulièrement à la
modélisation des apprenants (« student modelling »).
. H2 : Les stéréotypes constituent un outil conceptuel pour favoriser
l'appropriation par les enseignants d'un artefact complexe comme l'est le
logiciel Pépite car il permet d'articuler diagnostic individuel et
"géographie de la classe" pour organiser la régulation des apprentissages
en classe c'est-à-dire pour faire progresser l'ensemble de la classe en
respectant les différences individuelles.
Ces hypothèses de travail et les questions de recherche associées sont
présentées dans la section 4.1.
La première étape du projet a consisté à identifier les stéréotypes et à
définir la procédure de classement d'un profil dans un des stéréotypes. Ce
travail a été mené principalement par B. Grugeon, J.-M. Gélis et J.
Rogalski et est décrit dans la section 4.2.
Parallèlement, une étude ergonomique sur l'activité de diagnostic des
enseignants de mathématiques a été menée par J. Rogalski et trois de ses
étudiantes. Ce travail est décrit dans le chapitre 4 de ce rapport. Nous
résumons dans la section 4.3 du présent chapitre les résultats pertinents
pour la mise en ?uvre des stéréotypes.
À partir de ces premiers résultats, un travail de toute l'équipe avec la
participation d'enseignants a conduit à concevoir un logiciel fondé sur les
stéréotypes pour assister la régulation des apprentissages en algèbre dans
la classe. Le travail coordonné principalement par C. Vincent et E.
Delozanne a porté sur la définition des catégories et des différents
niveaux de modélisation, sur leur expression dans le vocabulaire-métier des
enseignants, sur la présentation sous une forme facilitant l'exploitation
et enfin sur la réalisation informatique d'un logiciel PépiStéréo mettant
en ?uvre ces différentes modélisations. Cette recherche a donné lieu a une
publication en français et en anglais [Vincent et al. 2005, Delozanne et
al. 2005] et est l'objet de la section 4.4.
Enfin la section 4.5 aborde les différentes démarches mises en ?uvre pour
mettre à l'épreuve nos hypothèses de travail et tester la validité des
modèles proposés et compare notre démarche à des travaux sur les
stéréotypes dans le domaine du « Student Modelling ». La section 5 conclut ce chapitre par un bilan des résultats sur l'axe
diagnostic, une discussion sur leurs limites et les perspectives ouvertes
par ces travaux. VERs UN diagnostic automatique plus fiable Rédigé par E. Delozanne, D. Prévit, L. Coulange Depuis le milieu des années 80 l'ingénierie des Interactions Humains-
Machines (IHM) a mis au point un certain nombre de méthodes et de
techniques de conception centrée-utilisateur [Norman 1986, Schneiderman
1992, Gould 1997, Kolski 2001]. Toutes ces méthodes s'appuient sur une
approche itérative de la conception de logiciels qui recommande de
concevoir, développer et tester des prototypes très tôt dans le
développement d'un projet. Au début il s'agit de développer des prototypes
« low-tech » (histoires, scénarios, maquettes papier-post-it, vidéo,
présentation de type PowerPoint) puis quand on avance dans la définition
des problèmes et de leur solution, les prototypes se rapprochent du système
final. Les itérations s'arrêtent quand un certain nombre d'objectifs sont
atteints. Les chercheurs et les professionnels de ce domaine s'accordent
sur le fait que, dans le cas de la conception de système complexes ou très
novateurs, il est impossible de faire une analyse des besoins exhaustive a
priori car les besoins et l'activité des usagers sont modifiés en
profondeur par l'introduction d'un nouveau système informatique. De plus,
la construction de prototypes permet d'impliquer les utilisateurs finaux
dans la conception et en particulier d'organiser des tests dans le contexte
de travail en amont de développements coûteux. Le projet Pépite se situe
dans cette approche itérative et incrémentale de la conception de
logiciels.
L'idée de départ du projet Pépite était de tenter d'automatiser (au moins
partiellement) un outil de diagnostique papier-crayon construit par des
chercheurs en didactique, [Grugeon 1995, Artigue et al. 2001]. Nous avons
conçu et réalisé un prototype appelé Pépite dont l'objectif premier était
de montrer la faisabilité informatique du projet [Jean et al. 1999, Jean
2000]]. L'objectif second était de disposer d'un prototype qui permette
d'observer dans un