Journée d'étudeInnovation pédagogique, Innovation

Psychométrie pour l’Évaluation en Langues (Workshop)

le 15 octobre 2020
De la psychométrie pour mieux évaluer les langues. Rencontre entre didacticiens et statisticiens autour de l'évaluation en langues.
En France, les tests de positionnement, de certification et de diagnostic en langues existent depuis longtemps en Français Langue Étrangère, mais ne se sont vraiment développés que récemment dans les autres langues (CLES, Tacit, SELF...). La psychométrie est un outil pour optimiser la fiabilité et la validité de ces tests, mais est encore peu répandue.

Ce workshop se donne pour objectif de réunir didacticiens des langues et statisticiens pour faire un état des lieux de la psychométrie dans les tests de langues, présenter les récentes avancées dans ce domaine, et envisager de nouvelles perspectives de collaboration.

Intervenants

 
Journée d'études semi-virtualisée
En raison de la crise sanitaire que nous traversons, la journée d'étude est maintenue au 15 octobre 2020 mais sera semi-virtualisée. Les participants qui le souhaitent pourront assister à la journée en présentiel (vraisemblablement jusqu'à 40 personnes autorisées), mais toutes les personnes ne pouvant, ou ne souhaitant pas se rendre sur place pourront participer à distance. Les communications seront retransmises en direct sur BigBlueButton, et certaines seront peut-être également podcastées par la suite.
 

Inscriptions

La participation à la journée d'étude est gratuite, mais nous vous remercions de vous inscrire à l'adresse suivante pour nous aider à organiser au mieux l'événement.

Programme provisoire de la journée

9h30 - 10h Accueil
10h - 10h45 Vincent Brault : Les bases d'un dialogue entre les didacticien·ne·s et les statisticien·ne·s
11h - 11h45 Sébastien Georges : Le tout est plus que la somme des parties
12h - 13h30 Pause de midi*
13h30 - 14h15 Sophie Donnet : Inférence de données de réseaux multipartites.
Mise dans le contexte Copolangues
14h30 - 15h15 Dominique Casanova : Comment veiller à l’intégrité des résultats aux tests au moyen de l’analyse des données ?
15h30 - 16h Pause
16h - 16h45 Marie Durand : Clustering semi supervisé appliqué aux résultats d'apprenants débutants du polonais
17h - 17h30 Clôture de la journée

* Pour ceux qui le souhaitent, le workshop vous propose un repas au restaurant l'Oiseau Blanc. Afin de simplifier le travail du restaurateur, merci d'indiquer sur le lien suivant si vous souhaitez réserver un couvert, d'indiquer le type de menu que vous préférez et si vous avez des allergies.  
Colloquium d'ouverture : Les bases d'un dialogue entre les didacticien·ne·s et les statisticien·ne·s
Vincent Brault (Maître de conférences dans l'équipe SVH du LJK et au département STID de l'IUT2, Université Grenoble Alpes)
L’objectif de cette journée est de faciliter les interactions entre les didacticien·ne·s des langues et les statisticien·ne·s. Pour ce faire, nous rappellerons quelques problématiques usuelles que se posent les didacticien·ne·s (évaluation des étudiants, différences suivant les langues maternelles…) et nous proposerons quelques éléments de modélisations statistiques déjà utilisés.
Durant cet exposé, nous prendrons comme exemple les résultats du test de positionnement SELF de quelques promotions de Grenoble, énumérerons quelques-unes des problématiques relatives à ces jeux de données et expliquerons comment le groupe de travail CoPoLangues a commencé à apporter des réponses à ces dernières.
L’objectif de cet exposé interactif est de donner les bases aux auditeur·rice·s pour pouvoir suivre les différents exposés de la journée.
 
Le tout est plus que la somme des parties
Sébastien Georges (France Éducation International (FEI), Département évaluation et certifications, Cellule qualité et expertise)
L’organisation en un ensemble interactif de parties peut conférer une qualité à un dispositif bien supérieure à celle qui pourrait être fournie par la somme des qualités de ces parties. Dans cette communication, nous chercherons à montrer comment le travail de didacticiens et de psychométriciens en faveur de dispositifs d’évaluation des compétences langagières permet d’extraire la quintessence de la mesure des compétences, et de passer de l’évaluation à la certification.
En premier lieu, nous passerons en revue les rôles propres aux spécialistes de la langue et ceux propres aux spécialistes de la mesure tant pour la conception, l’élaboration, que la gestion opérationnelle d’évaluations certifiantes des compétences langagières.

En deuxième lieu, nous examinerons comment la définition de certaines interactions entre ces deux corps de métier peuvent renforcer les qualités de validité, de fidélité, de précision, et d’équité nécessaires dans les situations d’évaluation à fort enjeu et à grande échelle.
En troisième lieu, nous examinerons comment ces interactions peuvent prendre place dans la relation triangulaire de trois parties prenantes impliquées dans les dispositifs d’évaluation : les candidats, les utilisateurs finaux, et les certificateurs.
Nous conclurons cette communication en abordant le rôle d’autres parties prenantes et le concours qu’elles apportent en matière de standardisation des évaluations, comme gage supplémentaire de fidélité et de comparabilité des résultats fournis aux candidats et traités par les utilisateurs finaux.
 
Inférence de données de réseaux multipartites. Mise dans le contexte Copolangues
Sophie Donnet (UMR MIA-Paris, AgroParisTech, INRAE, Université Paris-Saclay)
Modéliser les relations entre entités est une problématique classique en sciences sociales et en écologie et regrouper les entités étudiées en fonction des motifs observés dans le réseau permet de comprendre l'organisation du réseau. Lorsque les noeuds peuvent être divisés en deux types (par exemple étudiants/questions) on parle de réseaux bipartite, et le co-clustering de ces deux types de nœuds est une tâche désormais classique. Les modèles à blocs stochastiques sont une réponse à ce problème.
On peut cependant chercher à considérer plus de deux types de noeuds (par exemple étudiants - questions - langues maternelles) et vouloir obtenir un clustering au sein de chaque groupe dit "fonctionnel". Dans ce cas, les modèles à blocs stochastiques doivent être étendus et la méthode d'inférence doit être adaptée.

Nous présenterons les réseaux multipartites et le modèle proposé. La méthode d'inférence sera évoquée de façon à bien saisir les limites de la méthode. L'exposé sera illustré sur des problématiques issues du projet CoPoLangues.

 
Comment veiller à l’intégrité des résultats aux tests au moyen de l’analyse des données ?
Dominique Casanova (Responsable du développement scientifique pour le français des affaires de la Chambre de commerce et d'industrie de Paris Île-de-France (CCIP))
 
Avec le développement des réseaux sociaux et l'habitude prise par les candidats de partager leurs expériences, la menace qui pèse sur la confidentialité du contenu des tests officiels est devenue plus importante. Des candidats peuvent ainsi trouver sur Internet des items officiels et espérer y être confrontés le jour du test. Cela porte atteinte à l'intégrité des résultats et à l'équité des tests.
 
Les concepteurs de tests doivent donc multiplier les versions de tests et introduire continuellement de nouveaux items pour limiter le risque que des candidats puissent tirer un réel avantage de cette situation. Ils doivent également tenter d'identifier :
  • les candidats dont les résultats à une épreuve sont susceptibles d'être faussés par une connaissance préalable du contenu d'une partie du test, pour au besoin les soumettre à une épreuve de vérification ;
  • les items qui sont susceptibles d'avoir perdu leur confidentialité afin de les retirer de la circulation.
Nous verrons dans cette communication qu'ils peuvent pour cela s'appuyer notamment sur le manque de régularité de certains patrons de réponses aux questions à choix multiples, le manque des régularité des résultats entre épreuves passées par un même candidat et d'autres informations rendues possibles par la passation sur ordinateur, comme le temps passé par les candidats sur chacun des items.

 
Clustering semi supervisé appliqué aux résultats d'apprenants débutants du polonais
Marie Durand (UFR Sciences du langage, Universite Paris-8)

(résumé à venir)
 

Salle virtuelle

Les conférences seront diffusées en temps réel sur le système de conférences en ligne open source BigBlueButton.
Le lien d'accès vous sera communiqué par email, une fois inscrit au Workshop.

Salle physique

Le Workshop se tiendra dans l'Auditorium du bâtiment IMAG, sur le campus de Saint Martin d'Hères, de l'UGA. La salle pouvant accueillir jusqu'à 100 personnes en temps normal, nous devrions être autorisés à la remplir au tiers ou à la moitié de sa capacité. Les intervenants qui le peuvent seront présents sur site, les autres seront à distance. Il est encore difficile pour eux, comme pour nous, d'avoir une visibilité suffisante pour le mois d'octobre.
 
imag.jpg
imag_auditorium.jpg


 
Ce workshop est organisé dans le cadre du projet CoPoLangues.
Il est financé par le projet IDEX “Université Grenoble Alpes : Université de l’innovation » et le LJK
logo_alpha_reduit.png
 
lidilem_alpha.png
ljk_alpha.png
logo_ufrle_alpha.png
logo_cuef_alpha.png
 

Crédits photo :

Localisation

Saint-Martin-d'Hères - Domaine universitaire
Auditorium de l'IMAG

Afficher une carte plus grande
Mis à jour le 13 janvier 2020