Les chercheurs ont découvert que les examens en ligne non supervisés produisaient des scores très similaires à ceux des examens surveillés en personne, ce qui indique une tricherie minime ou inefficace et conforte la validité et la fiabilité des évaluations en ligne. Malgré les inquiétudes, les résultats cohérents dans les différentes disciplines et niveaux ont encouragé la poursuite des examens en ligne, même si les professeurs restent prudents et mettent en œuvre des stratégies pour dissuader davantage la tricherie.
Lorsque l’Iowa State University est passée de l’apprentissage en personne à l’apprentissage à distance au milieu du printemps 2020, le professeur de psychologie Jason Chan était inquiet. Les examens en ligne non supervisés déclencheraient-ils une tricherie généralisée ?
Sa réaction initiale s’est transformée en surprise lorsque les résultats des tests sont arrivés. Les scores individuels des étudiants étaient légèrement plus élevés, mais cohérents avec leurs résultats aux examens surveillés en personne. Bien que les résultats de chaque étudiant aient connu une légère augmentation, ils sont restés conformes à leurs précédents résultats aux examens supervisés en personne. Les étudiants qui avaient obtenu des B avant le COVID 19 le confinement gagnait toujours des B dans l’environnement de test en ligne et non supervisé. Cette tendance s’est avérée pour les étudiants de haut en bas de l’échelle de notation.
« Le fait que le classement des étudiants reste pratiquement le même, qu’ils passent des examens en personne ou en ligne, indique que la tricherie n’est pas répandue ou qu’elle est inefficace pour améliorer de manière significative les scores », explique Chan.
Pour savoir si cela se produisait à un niveau plus large, Chan et Dahwi Ahn, titulaire d’un doctorat. candidat en psychologie, a analysé les résultats des tests de près de 2 000 étudiants répartis dans 18 classes au cours du semestre de printemps 2020. Leur échantillon allait de grands cours magistraux à fort taux d’inscription, comme l’introduction aux statistiques, à des cours avancés en ingénierie et en médecine vétérinaire.
Dans différentes disciplines académiques, tailles de classe, niveaux de cours et styles de tests (c’est-à-dire principalement à choix multiples ou à réponse courte), les chercheurs ont trouvé les mêmes résultats. Les examens en ligne non supervisés ont produit des résultats très similaires à ceux des examens en personne surveillés, ce qui indique qu’ils peuvent fournir une évaluation valide et fiable de l’apprentissage des étudiants.
Les résultats de la recherche ont été récemment publiés dans le Actes de l’Académie nationale des sciences.
Les étudiants travaillent sur des ordinateurs portables au-dessus de « Gene Pool », une mosaïque de carreaux réalisée par Andrew Leicester à l’intérieur du bâtiment de biologie moléculaire de l’université d’État de l’Iowa. Crédit : Christopher Gannon/Université d’État de l’Iowa
« Avant de mener cette recherche, j’avais des doutes sur les examens en ligne et non surveillés, et j’hésitais beaucoup à les utiliser s’il était possible de les passer en personne. Mais après avoir vu les données, je me sens plus en confiance et j’espère que d’autres instructeurs le feront également », déclare Ahn.
Les deux chercheurs affirment qu’ils ont continué à donner des examens en ligne, même pour les cours en personne. Chan affirme que ce format offre plus de flexibilité aux étudiants qui ont un emploi à temps partiel ou qui voyagent pour des raisons sportives ou extrascolaires. Il élargit également les options d’enseignement des cours à distance. Ahn a donné son premier cours en ligne au cours de l’été.
Pourquoi la tricherie aurait-elle eu un effet minime sur les résultats des tests ?
Les chercheurs affirment que les étudiants les plus susceptibles de tricher pourraient avoir de mauvais résultats en classe et craindre d’échouer. Peut-être ont-ils sauté des cours, pris du retard dans leurs études ou se sentent-ils mal à l’aise de demander de l’aide. Même avec la possibilité d’effectuer une recherche sur Google lors d’un examen non surveillé, les étudiants peuvent avoir du mal à trouver la bonne réponse s’ils n’en comprennent pas le contenu. Dans leur article, les chercheurs soulignent les résultats d’études antérieures comparant les résultats des examens à livre ouvert et à livre fermé.
Un autre facteur qui peut dissuader la tricherie est l’intégrité académique ou le sentiment d’équité, quelque chose que de nombreux étudiants apprécient, explique Chan. Ceux qui ont étudié dur et sont fiers de leurs notes peuvent être plus enclins à protéger leurs réponses aux examens des étudiants qu’ils considèrent comme des parasites.
Néanmoins, les chercheurs affirment que les instructeurs devraient être conscients des points faibles potentiels des examens en ligne non supervisés. Par exemple, certaines plateformes ont la possibilité de montrer aux étudiants la bonne réponse immédiatement après avoir sélectionné une option à choix multiples. Cela permet aux étudiants de partager beaucoup plus facilement leurs réponses dans un texte de groupe.
Pour contrer cette forme de triche et d’autres, les instructeurs peuvent :
- Attendez de publier les réponses à l’examen jusqu’à ce que la fenêtre de test se ferme.
- Utilisez des banques de questions plus grandes et randomisées.
- Ajoutez plus d’options dans les questions à choix multiples et rendez le bon choix moins évident.
- Ajustez les seuils de pente.
COVID-19 et ChatGPT
Chan et Ahn affirment que le semestre du printemps 2020 a fourni une occasion unique de rechercher la validité des examens en ligne pour l’évaluation des étudiants. Il y avait cependant certaines limites. Par exemple, il n’était pas clair quel rôle le stress et les autres impacts liés à la COVID-19 pouvaient avoir joué sur les étudiants, les professeurs et les assistants d’enseignement. Peut-être que les instructeurs étaient plus indulgents en matière de notation ou accordaient des délais plus longs pour terminer les examens.
Les chercheurs ont déclaré qu’une autre limite était de ne pas savoir si les 18 cours de l’échantillon devenaient normalement plus faciles ou plus difficiles à mesure que le semestre avançait. Dans une expérience idéale, la moitié des étudiants auraient passé des examens en ligne pendant la première moitié du semestre et des examens en personne pendant la seconde moitié.
Ils ont tenté de tenir compte de ces deux préoccupations en examinant les données sur les résultats des tests plus anciens d’un sous-ensemble de 18 cours au cours des semestres où ils étaient entièrement en personne. Les chercheurs ont constaté que la répartition des notes dans chaque classe était cohérente avec celle du semestre du printemps 2020 et ont conclu que les matières couvertes au cours de la première et de la seconde moitié du semestre ne différaient pas par leur difficulté.
Au moment de la collecte des données pour cette étude, ChatGPT n’était pas disponible pour les étudiants. Cependant, les chercheurs reconnaissent que les outils d’écriture d’IA changent la donne dans l’éducation et pourraient rendre beaucoup plus difficile pour les instructeurs d’évaluer leurs étudiants. Comprendre comment les instructeurs devraient aborder les examens en ligne avec l’avènement de ChatGPT est une chose qu’Ahn a l’intention de rechercher.
L’étude a été financée par une subvention pour la science de l’apprentissage et de l’intelligence augmentée de la National Science Foundation.
