Comment évaluer un questionnaire à choix multiples ?
Lien court permanent vers cette page : https://bit.ly/2Nro80r
Alexis Direr
Les questionnaires à choix multiples (QCM) constituent une méthode d’évaluation courante dans le système éducatif. Ils présentent plusieurs avantages, notamment la rapidité et la facilité de notation, un large éventail de contenus et une notation exempte de biais du correcteur. Néanmoins, les QCM introduisent un biais dans l’évaluation des connaissances : la possibilité donnée aux candidats de deviner les réponses quand ils ignorent la réponse correcte. La méthode de notation peut permettre de corriger ce biais en incitant le candidat à s’abstenir en cas de doute. Cependant, les omissions compliquent l’appréhension précise des différents niveaux des candidats. Dans ce contexte, quelle est la méthode d’évaluation optimale des QCM ?
Dans cet article, Alexis Direr étudie quel système de notation donne la meilleure estimation des connaissances des candidats. Noter les mauvaises réponses et les omissions diffère d’une procédure standard d’estimation de la moyenne. L’efficacité de la règle de notation s’avère dépendre de la longueur du questionnaire. Lorsque le QCM recouvre peu de questions, les réponses des candidats les moins aptes ne permettent pas une estimation précise de leurs capacités. Dans ce cas, l’omission doit recevoir une note strictement positive afin de dissuader les candidats de se fier au hasard. Inversement, quand le nombre de questions dépasse un certain seuil, l’omission doit recevoir une note négative, afin d’encourager les candidats à répondre à l’ensemble des questions pour obtenir une estimation précise de leurs connaissances.
Le modèle apporte un nouvel éclairage sur propriétés statistiques des deux méthodes de notation les plus utilisées, « l’addition des bonnes réponses » (number right scoring) et la « notation négative » (formula scoring) : la méthode d’addition des bonnes réponses comptabilise uniquement le nombre de réponses correctes (les absences de réponse et les erreurs comptent pour zéro) ; la notation négative impose une pénalité pour chaque erreur. Les deux méthodes mesurent les connaissances des candidats avec des biais de mesure similaires : la notation négative induit davantage d’omissions, ce qui réduit le biais lié aux réponses au hasard, mais n’est efficace qu’avec un nombre limité de questions, alors que la méthode d’addition des bonnes réponses ne tient pas compte des omissions, et évalue précisément le niveau des candidats seulement si le nombre de questions est suffisamment important (dans le voisinage de 80 selon nos simulations). Dans un modèle simulé de notation, un évaluateur utilisant la notation négative ou l’addition des bonnes réponses devrait augmenter le nombre de questions d’environ 30% en moyenne pour obtenir la même précision d’estimation qu’une règle de notation efficace.
..................
Titre original de l’article : Efficient Scoring of Multiple-Choice Tests
Publié dans : Working paper LEO et PSE
Disponible à : http://gdre.leo-univ-orleans.fr/direr/paper/qcm_v10.pdf