Journée d'étude
Innovation pédagogique,
Innovation
Le 15 octobre 2020
Saint-Martin-d'Hères - Domaine universitaire
De la psychométrie pour mieux évaluer les langues. Rencontre entre didacticiens et statisticiens autour de l'évaluation en langues.
En France, les tests de positionnement, de certification et de diagnostic en langues existent depuis longtemps en Français Langue Étrangère, mais ne se sont vraiment développés que récemment dans les autres langues (CLES, Tacit, SELF...). La psychométrie est un outil pour optimiser la fiabilité et la validité de ces tests, mais est encore peu répandue.
Ce workshop se donne pour objectif de réunir didacticiens des langues et statisticiens pour faire un état des lieux de la psychométrie dans les tests de langues, présenter les récentes avancées dans ce domaine, et envisager de nouvelles perspectives de collaboration.
Intervenants
Merci pour votre participation !
Vous avez été plus de 100 personnes à participer au Workshop le 15 octobre dernier. Nous remercions encore les intervenants et tous les participants en présentiel et à distance !
Voici les statistiques du direct :
- 176 sessions en tout
- 31 minutes par session en moyenne
- maximum de 25 sessions simultanées à 10h42
Supports de présentation
Vincent Brault : Les bases d'un dialogue entre les didacticien·ne·s et les statisticien·ne·s
Sébastien Georges : Le tout est plus que la somme des parties
Sophie Donnet : Inférence de données de réseaux multipartites
Dominique Casanova : Comment veiller à l'intégrité des résultats aux tests au moyen de l'analyse des données ?
Journée d'études semi-virtualisée
En raison de la crise sanitaire que nous traversons, la journée d'étude est
maintenue au 15 octobre 2020 mais sera
semi-virtualisée. Les participants qui le souhaitent pourront assister à la journée en présentiel (vraisemblablement jusqu'à 40 personnes autorisées), mais toutes les personnes ne pouvant, ou ne souhaitant pas se rendre sur place
pourront participer à distance. Les communications seront retransmises en direct sur
BigBlueButton, et certaines seront peut-être également podcastées par la suite.
Programme de la journée
| 9h30 - 10h |
Accueil |
| 10h - 10h45 |
Vincent Brault : Les bases d'un dialogue entre les didacticien·ne·s et les statisticien·ne·s |
| 11h - 11h45 |
Sébastien Georges : Le tout est plus que la somme des parties |
| 12h - 13h30 |
Pause de midi* |
| 13h30 - 14h15 |
Sophie Donnet : Inférence de données de réseaux multipartites.
Mise dans le contexte Copolangues |
| 14h30 - 15h15 |
Dominique Casanova : Comment veiller à l’intégrité des résultats aux tests au moyen de l’analyse des données ? |
| 15h30 - 16h |
Pause |
| 16h - 16h45 |
Marie Durand : Clustering semi supervisé appliqué aux résultats d'apprenants débutants du polonais |
| 17h - 17h30 |
Clôture de la journée |
* Pour ceux qui le souhaitent, le workshop vous propose un repas au restaurant l'Oiseau Blanc. Afin de simplifier le travail du restaurateur, merci d'indiquer sur le lien suivant si vous souhaitez réserver un couvert, d'indiquer le type de menu que vous préférez et si vous avez des allergies.
Colloquium d'ouverture : Les bases d'un dialogue entre les didacticien·ne·s et les statisticien·ne·s
Vincent Brault (Maître de conférences dans l'équipe SVH du LJK et au département STID de l'IUT2, Université Grenoble Alpes)
L’objectif de cette journée est de faciliter les interactions entre les didacticien·ne·s des langues et les statisticien·ne·s. Pour ce faire, nous rappellerons quelques problématiques usuelles que se posent les didacticien·ne·s (évaluation des étudiants, différences suivant les langues maternelles…) et nous proposerons quelques éléments de modélisations statistiques déjà utilisés.
Durant cet exposé, nous prendrons comme exemple les résultats du test de positionnement SELF de quelques promotions de Grenoble, énumérerons quelques-unes des problématiques relatives à ces jeux de données et expliquerons comment le groupe de travail CoPoLangues a commencé à apporter des réponses à ces dernières.
L’objectif de cet exposé interactif est de donner les bases aux auditeur·rice·s pour pouvoir suivre les différents exposés de la journée.
|
Le tout est plus que la somme des parties
Sébastien Georges (France Éducation International (FEI), Département évaluation et certifications, Cellule qualité et expertise)
L’organisation en un ensemble interactif de parties peut conférer une qualité à un dispositif bien supérieure à celle qui pourrait être fournie par la somme des qualités de ces parties. Dans cette communication, nous chercherons à montrer comment le travail de didacticiens et de psychométriciens en faveur de dispositifs d’évaluation des compétences langagières permet d’extraire la quintessence de la mesure des compétences, et de passer de l’évaluation à la certification.
En premier lieu, nous passerons en revue les rôles propres aux spécialistes de la langue et ceux propres aux spécialistes de la mesure tant pour la conception, l’élaboration, que la gestion opérationnelle d’évaluations certifiantes des compétences langagières.
En deuxième lieu, nous examinerons comment la définition de certaines interactions entre ces deux corps de métier peuvent renforcer les qualités de validité, de fidélité, de précision, et d’équité nécessaires dans les situations d’évaluation à fort enjeu et à grande échelle.
En troisième lieu, nous examinerons comment ces interactions peuvent prendre place dans la relation triangulaire de trois parties prenantes impliquées dans les dispositifs d’évaluation : les candidats, les utilisateurs finaux, et les certificateurs.
Nous conclurons cette communication en abordant le rôle d’autres parties prenantes et le concours qu’elles apportent en matière de standardisation des évaluations, comme gage supplémentaire de fidélité et de comparabilité des résultats fournis aux candidats et traités par les utilisateurs finaux.
|
Inférence de données de réseaux multipartites. Mise dans le contexte Copolangues
Sophie Donnet (UMR MIA-Paris, AgroParisTech, INRAE, Université Paris-Saclay)
Modéliser les relations entre entités est une problématique classique en sciences sociales et en écologie et regrouper les entités étudiées en fonction des motifs observés dans le réseau permet de comprendre l'organisation du réseau. Lorsque les noeuds peuvent être divisés en deux types (par exemple étudiants/questions) on parle de réseaux bipartite, et le co-clustering de ces deux types de nœuds est une tâche désormais classique. Les modèles à blocs stochastiques sont une réponse à ce problème.
On peut cependant chercher à considérer plus de deux types de noeuds (par exemple étudiants - questions - langues maternelles) et vouloir obtenir un clustering au sein de chaque groupe dit "fonctionnel". Dans ce cas, les modèles à blocs stochastiques doivent être étendus et la méthode d'inférence doit être adaptée.
Nous présenterons les réseaux multipartites et le modèle proposé. La méthode d'inférence sera évoquée de façon à bien saisir les limites de la méthode. L'exposé sera illustré sur des problématiques issues du projet CoPoLangues.
|
Comment veiller à l’intégrité des résultats aux tests au moyen de l’analyse des données ?
Dominique Casanova (Responsable du développement scientifique pour le français des affaires de la Chambre de commerce et d'industrie de Paris Île-de-France (CCIP))
Avec le développement des réseaux sociaux et l'habitude prise par les candidats de partager leurs expériences, la menace qui pèse sur la confidentialité du contenu des tests officiels est devenue plus importante. Des candidats peuvent ainsi trouver sur Internet des items officiels et espérer y être confrontés le jour du test. Cela porte atteinte à l'intégrité des résultats et à l'équité des tests.
Les concepteurs de tests doivent donc multiplier les versions de tests et introduire continuellement de nouveaux items pour limiter le risque que des candidats puissent tirer un réel avantage de cette situation. Ils doivent également tenter d'identifier :
- les candidats dont les résultats à une épreuve sont susceptibles d'être faussés par une connaissance préalable du contenu d'une partie du test, pour au besoin les soumettre à une épreuve de vérification ;
- les items qui sont susceptibles d'avoir perdu leur confidentialité afin de les retirer de la circulation.
Nous verrons dans cette communication qu'ils peuvent pour cela s'appuyer notamment sur le manque de régularité de certains patrons de réponses aux questions à choix multiples, le manque des régularité des résultats entre épreuves passées par un même candidat et d'autres informations rendues possibles par la passation sur ordinateur, comme le temps passé par les candidats sur chacun des items.
|
Clustering semi supervisé appliqué aux résultats d'apprenants débutants du polonais
Marie Durand (UFR Sciences du langage, Universite Paris-8)
(résumé à venir)
|
Salle virtuelle
Les conférences seront diffusées en temps réel sur le système de conférences en ligne open source BigBlueButton.
Le lien d'accès vous sera communiqué par email, une fois inscrit au Workshop.
Salle physique
Le Workshop se tiendra dans l'Auditorium du bâtiment IMAG, sur le campus de Saint Martin d'Hères, de l'UGA. La salle pouvant accueillir jusqu'à 100 personnes en temps normal, nous devrions être autorisés à la remplir au tiers ou à la moitié de sa capacité. Les intervenants qui le peuvent seront présents sur site, les autres seront à distance. Il est encore difficile pour eux, comme pour nous, d'avoir une visibilité suffisante pour le mois d'octobre.
Crédits photo :
Date & Lieu
Jeudi 15 octobre 2020
Auditorium de l'IMAG
Saint-Martin-d'Hères - Domaine universitaire
Semi-virtualisation
Le contenu sera diffusé sur BigBlueButton, mais ceux qui le souhaitent pourront être en présentiel en fonction des préconisations en vigueur au mois d'octobre
Inscription
Inscription gratuite mais obligatoire via ce formulaire
Contact
Mail de contact : contact-copolangues
univ-grenoble-alpes.fr (contact-copolangues[at]univ-grenoble-alpes[dot]fr)
