Comment évaluer objectivement les questions ouvertes ?
Le verdict général concernant les questions ouvertes est que leur évaluation est subjective et laborieuse. Alors pourquoi les utiliser ? Comment évaluer objectivement les questions ouvertes ? Et comment s’assurer que l’évaluation est bien faite de la manière la plus efficace possible ? Dans ce blog, vous découvrirez quand une question ouverte apporte une valeur ajoutée et vous obtiendrez des conseils sur la manière d’éviter les erreurs courantes lors de l’évaluation des questions ouvertes.
Contenu
Quand utilisez-vous des questions ouvertes ?
Les questions ouvertes sont des questions pour lesquelles le candidat doit formuler lui-même la réponse. Les questions fermées sont des questions où le candidat choisit la bonne réponse ou une combinaison de réponses parmi un certain nombre d’options.
Pourquoi utiliser des questions ouvertes alors qu’il est possible de tester avec des questions fermées ? Si c’est le cas, il est recommandé de procéder à des tests à l’aide de questions fermées. En effet, cela présente un certain nombre d’avantages, tels que la commodité de la correction automatique lors de l’utilisation d’un logiciel de test numérique ou l’évaluation objective (une réponse est juste ou fausse).
Cependant, il peut être nécessaire d’utiliser des questions ouvertes. Pensez à des situations telles que :
- Le candidat est testé sur la connaissance active et son application active. Il s’agit souvent d’une situation dans laquelle le candidat doit faire preuve de créativité et trouver/formuler lui-même la réponse.
- L’analyse ou la justification est aussi importante, voire plus, que la réponse finale. C’est le cas, par exemple, lors d’un calcul.
- Quand une question fermée devient rapidement une question « porte ouverte ». Lorsque la réponse est donnée, il est rapidement clair que c’est la bonne. Cela signifie également qu’il est difficile de proposer d’autres réponses plausibles (fausses).
- Plusieurs réponses peuvent être correctes et il est impossible de donner toutes les réponses correctes. Dans ce cas, si l’on utilise de toute façon des tests fermés, on se heurte précisément au problème de l’objectivité de la question.
- Il n’existe pas de normes fixes ou de règles claires au sein d’un secteur particulier. Par exemple : comment conduire exactement un appel de vente ou une conversation en tant que manager. Certaines réponses sont meilleures que d’autres, mais elles ne sont pas immédiatement erronées. Il est difficile de mesurer cet aspect dans une question fermée.
Évaluation efficace des questions ouvertes
L’évaluation des questions ouvertes se fait efficacement par le biais de l’évaluation numérique. En effet, il n’est pas nécessaire de distribuer les travaux d’examen. Un évaluateur reçoit un courriel l’informant de la date à laquelle son travail d’examen est prêt. Il n’a pas besoin de faire défiler les questions et ne les saute pas accidentellement, car le système veille à ce que les questions soient présentées de manière séquentielle. Les questions et les réponses sont regroupées de manière ordonnée, ce qui réduit le risque d’erreurs. En outre, aucune perte de temps n’est à déplorer en cas de recours à un deuxième évaluateur. Immédiatement après avoir terminé la première évaluation, ce deuxième évaluateur peut recevoir un courriel l’informant qu’une épreuve d’examen est prête pour lui.
Évaluer objectivement les questions ouvertes – conseils
Comment évaluer objectivement les questions ouvertes ? Lisez les conseils (partiels) ci-dessous :
Conseil 1 – Soyez aussi précis que possible dans l’énoncé de la question
- Ne posez que des questions ouvertes, auxquelles il est possible de répondre par l’affirmative ou la négative. La solution consiste souvent à rendre une question ouverte si spécifique que seule une personne qui a appris le sujet ou qui est expérimentée peut y répondre. Ne demandez donc pas de connaissances générales.
Conseil 2 – Ne formulez pas vos réponses de manière trop stricte
- Limitez l’échantillon de réponses. N’y inscrivez que ce qui doit nécessairement être mentionné et non la réponse la plus parfaite. En outre, si vous estimez qu’il existe toutes sortes de formulations qui sont également bonnes, ajoutez-les.
Par exemple : « D’autres phrases ayant la même teneur sont également bien comptées ».
- Si vous pensez qu’il pourrait y avoir d’autres réponses que celles formulées et qui ne sont pas fausses, indiquez-le. Cela peut être le cas pour des solutions plus créatives où non pas un, mais plusieurs chemins mènent à Rome. Par exemple : « Autres réponses à la discrétion du correcteur ».
- Permettre aux réviseurs de publier des commentaires sur les correcteurs. Dans les essais numériques, c’est souvent possible. L’évaluateur peut alors indiquer, à partir des réponses du candidat, qu’il a constaté que l’exemple de réponse doit être complété par des réponses supplémentaires.
Conseil 3 – Travailler avec des avis positifs
- Indiquez ce pour quoi vous obtenez des points plutôt que ce pour quoi vous obtenez des déductions de points. En travaillant (dans les tests numériques) avec des aspects d’évaluation, vous pouvez indiquer cela très précisément et vous pouvez faire évaluer chaque aspect. Pour les aspects liés à l’évaluation, donnez une brève caractérisation d’une réponse partielle avec une attribution de points :
- Caractérisation réponse partielle 1 – 1 point
- Caractérisation réponse partielle 2 – 1 point
- Caractérisation réponse partielle 3 – 1 point
Total des points : 3
Conseil 4 – Fournir une vue d’ensemble et une structure
- Utilisez des aspects d’évaluation clairs (voir également le conseil 3) afin d’éviter toute confusion entre les évaluateurs.
- Ne posez pas plus de deux « sous-questions » dans une même question. Ou, si vous le faites, travaillez avec a., b. et c. des questions. Le candidat et l’évaluateur savent alors combien de réponses doivent être données. Ou : posez simplement d’autres questions sur le sujet.
Conseil 5 – Éviter les chevauchements dans le modèle de réponse
- Examinez d’un œil critique les « exemples de réponses » et n’en demandez pas trop. Ces domaines se chevauchent-ils ? Ajustez ensuite à la baisse le nombre de réponses à donner. Par exemple, s’il y a trois raisons, dont deux se chevauchent, demandez-en deux et non trois : S’il y a trois raisons, dont deux se chevauchent, demandez-en deux et non trois. Ensuite, indiquez les trois raisons dans le modèle de réponse.
- Utiliser les aspects de l’évaluation. En outre, il peut également aider à indiquer ce qui ne doit pas être compté correctement.
Conseil 6 – Soyez attentifs à l’effet de corne et de halo
- A l’effet
Effet de corne
l’opinion générale d’un candidat pèse négativement dans la notation. Avec un
effet Halo
est en fait positif. Conséquence : l’évaluateur attribue trop ou pas assez de points.
- Utiliser une évaluation segmentée. Dans le cadre d’une évaluation segmentée, un évaluateur vérifie d’abord toutes les questions « 1 », puis toutes les questions « 2 », et ainsi de suite. L’image globale de la manière dont un candidat « fait les choses » est alors absente.
- Veillez à ce que la note finale du candidat (dans les tests numériques) ne soit pas visible. Lorsqu’un évaluateur voit qu’un point supplémentaire pourrait lui permettre de réussir, il peut être tenté d’ajouter un autre point quelque part. L’objectif étant de donner un avis par question (et non sur le score final), il est préférable de ne pas divulguer le score total.
Consultation des évaluateurs
Une observation générale visant à améliorer l’évaluation des questions ouvertes est la consultation régulière des évaluateurs. Que remarquent-ils ? Qu’est-ce qui vous frappe ? En réponse aux plaintes et aux objections, donnez des exemples d’erreurs d’évaluation et discutez ensemble de la manière de les éviter.
Conclusion
Il y a de bonnes raisons de poser des questions ouvertes et, malgré les inconvénients, il existe (en particulier avec les tests numériques) de nombreuses mesures que vous pouvez prendre pour vous assurer que les questions ouvertes peuvent être évaluées de manière efficace et objective. Cela reste un travail humain, certes, mais n’est-ce pas aussi ce que nous voulons ? Donner votre avis ou en savoir plus ? Dans ce cas, contactez-nous.
