Des chercheurs de l'Université technique de Munich (TUM) et de l'Université de Cologne ont développé un système d'apprentissage basé sur l'IA qui reconnaît les forces et les faiblesses en mathématiques en suivant les mouvements oculaires avec une webcam pour générer des conseils de résolution de problèmes. Cela permet aux enseignants de fournir à beaucoup plus d'enfants un soutien individualisé.
Un PC à jour, une bonne carte graphique et une webcam standard: selon des recherches du professeur Achim Lilienthal, c'est tout ce dont vous avez besoin pour identifier les forces et les faiblesses des élèves en mathématiques. Le principe: une webcam suit les mouvements oculaires. Selon la tâche, des modèles spécifiques émergent qui peuvent être affichés numériquement sur une carte thermique, avec des zones rouges indiquant où les enfants regardent fréquemment et verts les zones où elles ne regardent que brièvement. Cela aide les chercheurs à analyser les données.
« Le système d'IA classe les modèles », explique le professeur de robotique Tum. Sur cette base, le logiciel sélectionne des vidéos et des exercices d'apprentissage pour l'élève.
Les résultats sont publiés dans la revue Études éducatives en mathématiques.
Identifier les stratégies d'apprentissage via des cartes de chaleur
« Le suivi des mouvements oculaires dans un seul système à l'aide d'une webcam, reconnaître les stratégies d'apprentissage via des modèles et offrir un support individuel, et enfin créer des rapports de soutien automatisé pour les enseignants est complètement nouveau », explique Maike Schindler.
Le professeur de mathématiques dans des contextes d'éducation inclusive et spéciale à l'Université de Cologne a travaillé avec le professeur de TUM Lilienthal pendant dix ans. Elle dirige également le projet de recherche KI-ALF récemment achevé dans lequel le système de suivi oculaire basé sur la webcam a été développé. Ses recherches se concentrent sur les élèves « qui ont de grandes difficultés à apprendre les mathématiques ». Le professeur Lilienthal estime que les «leçons personnalisées individuellement» pour les enfants de haut niveau sont également possibles à l'avenir.
Le professeur Schindler – qui est titulaire d'un diplôme d'enseignement – et son équipe a défini des centaines de tâches dans lesquelles les enfants ajoutent, soustraient, multiplient et divisent les nombres, ou doivent les reconnaître ou les représenter. « Les tâches impliquant des matériels d'apprentissage numérique présentés visuellement conviennent particulièrement à cette approche », explique Schindler. Par exemple, les enfants sont invités à compter les points dans une table à dix rangées avec quelques points manquants uniquement dans la rangée inférieure.
Les élèves qui s'accrochent rapidement sautent vers la rangée inférieure et ne comptent que vers l'arrière. Ceux qui comptent individuellement les lignes et les points sont parmi ceux qui ont besoin de soutien. Le système numérique utilise une carte thermique pour montrer où regardent les enfants et l'IA traduit les modèles en programmes de pratique individuels.
Suivi des yeux simplifiés et haute précision
Pour développer le système de suivi des yeux simplifié, qui enregistre désormais les mouvements oculaires, le professeur TUM Lilienthal profite du fait qu'il travaille également avec les systèmes correspondants dans la recherche en robotique. Dans ce travail, il utilise actuellement des trackers des yeux avec le petit robot humanoïde Nao. Cela lui permet de mieux communiquer avec les humains. Cependant, ces systèmes très précis coûtent plusieurs milliers d'euros.
Pour trouver une solution plus rentable pour les écoles, les chercheurs ont intelligemment combiné l'expertise technique avec les connaissances de la didactique mathématique. Alors que les systèmes avancés fonctionnent avec un écart maximal d'un degré, les webcams ont une précision inférieure de trois à quatre degrés. La solution: « Avec les tâches mathématiques de l'AI-ALF, nous savons que les élèves regardent finalement l'affichage à l'écran des problèmes », explique Lilienthal.
« Nous l'utilisons pour réajuster automatiquement le suivi des yeux avec la webcam. » Le système a progressivement appris à faire face à l'inexactitude. « Aujourd'hui, cela ne fait aucune différence dans notre application, que nous travaillions avec nos webcams ou nos trackers oculaires haut de gamme », explique le professeur.
Cela rend le système d'IA développé par le professeur Maike Schindler abordable et, par conséquent, de plus en plus important pour l'utilisation de l'école.
Wulfen Comprehensive School: Première école en Allemagne pour utiliser le système
C'est l'une des raisons pour lesquelles la première école à utiliser le système d'apprentissage basé sur l'IA est la Wulfen Comprehensive School à Dorsten, Rhin-Westphalie du Nord. Ici, un test de mathématiques standardisé a révélé qu'un tiers des 180 enfants au début de l'année 5 avait des «difficultés arithmétiques».
« Nous sommes ravis que nous puissions désormais soutenir beaucoup plus d'enfants dans leurs compétences en mathématiques de base à l'aide du système d'apprentissage basé sur l'IA.
Dans l'école complète, cinq élèves peuvent travailler simultanément avec le système KI-ALF dans des cours de réparation individuels et sont soutenus et accompagnés d'un professeur de mathématiques. Normalement, les enseignants peuvent apporter un soutien individuel à un seul enfant à la fois.
« En particulier en période de ressources rares et de pénuries d'enseignants, notre système de promotion des compétences en mathématiques de base est tout simplement un excellent soutien pour les écoles », explique Schindler.
