Innovation pédagogique, Recherche

Co-clustering pour les tests de Positionnement en Langues
Le projet CoPoLangues est le fruit de la collaboration entre le Lidilem (Innovalangues), le Laboratoire Jean-Kuntzmann (LJK), l'UFR de Langues Étrangères et le Centre Universitaire d'Études Françaises. Il a pour objectif d'exploiter les résultats du test de positionnement SELF avec de nouveaux modèles statistiques pour optimiser l'algorithme du test, analyser les résultats en fonction des profils d'étudiants et permettre la création de groupes d'étudiants plus ou moins homogènes, en analysant leurs patterns de réponses.
 
lidilem_alpha.png
ljk_alpha.png
logo-ufr-le_alpha.png
logocuef_avril-2016_alpha.png
Le test SELF, développé dans le cadre de l’IDEFI Innovalangues, est un test de positionnement en langues qui permet de classer le niveau en langues des étudiants selon le Cadre Européen Commun de Référence pour les Langues (CECRL) de A1 à C2. Depuis 2016, plusieurs milliers de passations d’étudiants ont été réalisées dans 6 langues différentes : anglais, italien, japonais, mandarin, espagnol et français langue étrangère (FLE).

Actuellement, les étudiants réalisent un premier test (minitest initial), puis un deuxième qui diffère selon leur niveau au premier test. L’orientation des étudiants vers l’un ou l’autre test de niveau dépend de scores de césure au minitest. Par ailleurs, les concepteurs du test aimeraient pouvoir diminuer le nombre d’items à chaque étape du test pour en diminuer la durée. Le premier objectif de ce projet est d’utiliser des méthodes statistiques de co-clustering, qui permettraient simultanément de définir de nouveaux groupes homogènes d’étudiants et d’identifier les items les moins discriminants. Le second objectif est d’analyser les résultats des étudiants en FLE à ces tests par rapport aux profils des étudiants (langue(s) maternelle(s), nationalités, stratégie d’apprentissage, niveau de langues, ...).

Pour cela, nous proposons de mettre en œuvre le modèle des blocs latents (LBM) et son extension avec classe de bruit (NFLBM, Laclau et Brault, 2018) sur ces données. Nous étudierons également la robustesse de ces modèles au cours des différentes passations.

Pour le second objectif, il s’agirait, dans un premier temps, de mettre en œuvre des tests d’indépendance classiques entre les groupes de niveaux (créés par SELF, LBM ou NFLBM) et les groupes de langues maternelles ou les nationalités. Dans un second temps, nous proposerons des modèles de co-clustering incluant des covariables ou des effets aléatoires pour prendre en compte la variabilité inter-individuelle entre les étudiants, mais aussi l’effet de leur(s) langue(s) maternelle(s).

Le groupe du projet est composé d’enseignants-chercheurs en statistique du LJK et d’enseignants de langues responsables de certains volets du test SELF. Ils ont déjà commencé à collaborer sur ce sujet en encadrant deux projets tutorés. L’obtention du financement IRS leur permettrait de monter en puissance grâce à des stages de master. Il leur donnerait également l’opportunité d’organiser deux workshops à Grenoble pour permettre aux deux communautés statistique et linguistique de se rencontrer et d’échanger sur ces problématiques. Il leur permettrait enfin de diffuser les résultats obtenus lors de conférences et colloques nationaux ou internationaux.
 
copolangues_self_repondant.png
Aperçu d'une matrice de résultats SELF, constituant la matière première du projet CoPoLangues

Workshop :

Communications :

  • Vincent Brault, Sylvain Coulange, Marie-Pierre Jouannaud, Frédérique Letue, Marie-José Martinez, et al.. Comment former des groupes d'étudiants homogènes à partir des résultats de SELF ? EVAL2019, Oct 2019, Grenoble, France. ⟨hal-02368784⟩
  • Sylvain Coulange, Marie-Pierre Jouannaud. Comment former des groupes d'étudiants homogènes à partir des résultats de SELF ? RANACLES2019, Nov 2019, Aix-en-Provence, France.
  • Sylvain Coulange, Marie-Pierre Jouannaud, Anne-Cécile Perret. Piloting an automatic clustering algorithm to supplement placement test results for large groups of students. ALTE 7th International Conference, Apr 2020, Madrid, Spain.

Publications :

  •  
Mis à jour le 4 février 2020