Psychométrie pour l’Évaluation en Langues (Workshop)

Intervenants

• Dominique Casanova (Responsable du développement scientifique pour le français des affaires de la Chambre de commerce et d'industrie de Paris Île-de-France (CCIP))
• Marie Durand (ReciTAL, Paris)
• Sébastien Georges (France Éducation International (FEI), Département évaluation et certifications, Cellule qualité et expertise)
• Sophie Donnet (UMR MIA-Paris, AgroParisTech, INRAE, Université Paris-Saclay)
• Vincent Brault (Maître de conférences dans l'équipe SVH du LJK et au département STID de l'IUT2, Université Grenoble Alpes)

Merci pour votre participation !

Supports de présentation

Vincent Brault : Les bases d'un dialogue entre les didacticien·ne·s et les statisticien·ne·s

Sébastien Georges : Le tout est plus que la somme des parties

Sophie Donnet : Inférence de données de réseaux multipartites

Dominique Casanova : Comment veiller à l'intégrité des résultats aux tests au moyen de l'analyse des données ?

 

Programme de la journée

9h30 - 10h	Accueil
10h - 10h45	Vincent Brault : Les bases d'un dialogue entre les didacticien·ne·s et les statisticien·ne·s
11h - 11h45	Sébastien Georges : Le tout est plus que la somme des parties
12h - 13h30	Pause de midi*
13h30 - 14h15	Sophie Donnet : Inférence de données de réseaux multipartites. Mise dans le contexte Copolangues
14h30 - 15h15	Dominique Casanova : Comment veiller à l’intégrité des résultats aux tests au moyen de l’analyse des données ?
15h30 - 16h	Pause
16h - 16h45	Marie Durand : Clustering semi supervisé appliqué aux résultats d'apprenants débutants du polonais
17h - 17h30	Clôture de la journée

* Pour ceux qui le souhaitent, le workshop vous propose un repas au restaurant l'Oiseau Blanc. Afin de simplifier le travail du restaurateur, merci d'indiquer sur le lien suivant si vous souhaitez réserver un couvert, d'indiquer le type de menu que vous préférez et si vous avez des allergies.  

Colloquium d'ouverture : Les bases d'un dialogue entre les didacticien·ne·s et les statisticien·ne·s Vincent Brault (Maître de conférences dans l'équipe SVH du LJK et au département STID de l'IUT2, Université Grenoble Alpes) L’objectif de cette journée est de faciliter les interactions entre les didacticien·ne·s des langues et les statisticien·ne·s. Pour ce faire, nous rappellerons quelques problématiques usuelles que se posent les didacticien·ne·s (évaluation des étudiants, différences suivant les langues maternelles…) et nous proposerons quelques éléments de modélisations statistiques déjà utilisés. Durant cet exposé, nous prendrons comme exemple les résultats du test de positionnement SELF de quelques promotions de Grenoble, énumérerons quelques-unes des problématiques relatives à ces jeux de données et expliquerons comment le groupe de travail CoPoLangues a commencé à apporter des réponses à ces dernières. L’objectif de cet exposé interactif est de donner les bases aux auditeur·rice·s pour pouvoir suivre les différents exposés de la journée.

Le tout est plus que la somme des parties Sébastien Georges (France Éducation International (FEI), Département évaluation et certifications, Cellule qualité et expertise) L’organisation en un ensemble interactif de parties peut conférer une qualité à un dispositif bien supérieure à celle qui pourrait être fournie par la somme des qualités de ces parties. Dans cette communication, nous chercherons à montrer comment le travail de didacticiens et de psychométriciens en faveur de dispositifs d’évaluation des compétences langagières permet d’extraire la quintessence de la mesure des compétences, et de passer de l’évaluation à la certification. En premier lieu, nous passerons en revue les rôles propres aux spécialistes de la langue et ceux propres aux spécialistes de la mesure tant pour la conception, l’élaboration, que la gestion opérationnelle d’évaluations certifiantes des compétences langagières. En deuxième lieu, nous examinerons comment la définition de certaines interactions entre ces deux corps de métier peuvent renforcer les qualités de validité, de fidélité, de précision, et d’équité nécessaires dans les situations d’évaluation à fort enjeu et à grande échelle. En troisième lieu, nous examinerons comment ces interactions peuvent prendre place dans la relation triangulaire de trois parties prenantes impliquées dans les dispositifs d’évaluation : les candidats, les utilisateurs finaux, et les certificateurs. Nous conclurons cette communication en abordant le rôle d’autres parties prenantes et le concours qu’elles apportent en matière de standardisation des évaluations, comme gage supplémentaire de fidélité et de comparabilité des résultats fournis aux candidats et traités par les utilisateurs finaux.

Inférence de données de réseaux multipartites. Mise dans le contexte Copolangues Sophie Donnet (UMR MIA-Paris, AgroParisTech, INRAE, Université Paris-Saclay) Modéliser les relations entre entités est une problématique classique en sciences sociales et en écologie et regrouper les entités étudiées en fonction des motifs observés dans le réseau permet de comprendre l'organisation du réseau. Lorsque les noeuds peuvent être divisés en deux types (par exemple étudiants/questions) on parle de réseaux bipartite, et le co-clustering de ces deux types de nœuds est une tâche désormais classique. Les modèles à blocs stochastiques sont une réponse à ce problème. On peut cependant chercher à considérer plus de deux types de noeuds (par exemple étudiants - questions - langues maternelles) et vouloir obtenir un clustering au sein de chaque groupe dit "fonctionnel". Dans ce cas, les modèles à blocs stochastiques doivent être étendus et la méthode d'inférence doit être adaptée. Nous présenterons les réseaux multipartites et le modèle proposé. La méthode d'inférence sera évoquée de façon à bien saisir les limites de la méthode. L'exposé sera illustré sur des problématiques issues du projet CoPoLangues.

Comment veiller à l’intégrité des résultats aux tests au moyen de l’analyse des données ? Dominique Casanova (Responsable du développement scientifique pour le français des affaires de la Chambre de commerce et d'industrie de Paris Île-de-France (CCIP))   Avec le développement des réseaux sociaux et l'habitude prise par les candidats de partager leurs expériences, la menace qui pèse sur la confidentialité du contenu des tests officiels est devenue plus importante. Des candidats peuvent ainsi trouver sur Internet des items officiels et espérer y être confrontés le jour du test. Cela porte atteinte à l'intégrité des résultats et à l'équité des tests.   Les concepteurs de tests doivent donc multiplier les versions de tests et introduire continuellement de nouveaux items pour limiter le risque que des candidats puissent tirer un réel avantage de cette situation. Ils doivent également tenter d'identifier : les candidats dont les résultats à une épreuve sont susceptibles d'être faussés par une connaissance préalable du contenu d'une partie du test, pour au besoin les soumettre à une épreuve de vérification ; les items qui sont susceptibles d'avoir perdu leur confidentialité afin de les retirer de la circulation. Nous verrons dans cette communication qu'ils peuvent pour cela s'appuyer notamment sur le manque de régularité de certains patrons de réponses aux questions à choix multiples, le manque des régularité des résultats entre épreuves passées par un même candidat et d'autres informations rendues possibles par la passation sur ordinateur, comme le temps passé par les candidats sur chacun des items.

Clustering semi supervisé appliqué aux résultats d'apprenants débutants du polonais Marie Durand (UFR Sciences du langage, Universite Paris-8) (résumé à venir)

Salle virtuelle

Les conférences seront diffusées en temps réel sur le système de conférences en ligne open source BigBlueButton.
Le lien d'accès vous sera communiqué par email, une fois inscrit au Workshop.

Salle physique

Le Workshop se tiendra dans l'Auditorium du bâtiment IMAG, sur le campus de Saint Martin d'Hères, de l'UGA. La salle pouvant accueillir jusqu'à 100 personnes en temps normal, nous devrions être autorisés à la remplir au tiers ou à la moitié de sa capacité. Les intervenants qui le peuvent seront présents sur site, les autres seront à distance. Il est encore difficile pour eux, comme pour nous, d'avoir une visibilité suffisante pour le mois d'octobre.
 

   
Crédits photo :

• Bannière adaptée d'une image de Jannoon028 / Freepik