On considère généralement que l'évaluation des questions ouvertes est subjective et fastidieuse. Pourquoi alors les utiliser ? Comment évaluer objectivement les questions ouvertes ? Et comment s'assurer que votre évaluation soit aussi de manière aussi efficace que possible ? Dans cet article, vous découvrirez dans quels cas une question ouverte apporte une valeur ajoutée et vous trouverez des conseils pour éviter les erreurs courantes lors de l'évaluation des questions ouvertes.    

Contenu

Quand utiliser les questions ouvertes ?

Par questions ouvertes, nous entendons les questions auxquelles le candidat doit formuler lui-même la réponse. Questions fermées sont des questions où le candidat choisit la bonne réponse ou une combinaison de réponses parmi plusieurs options.

Pourquoi utiliser des questions ouvertes alors que vous pouvez également évaluer les connaissances à l'aide de questions fermées ? Si cela fonctionne aussi bien, il est recommandé d'évaluer les connaissances à l'aide de questions fermées. Cela présente en effet plusieurs avantages, comme la facilité de correction automatique lors de l'utilisation de logiciel de test numérique ou l'évaluer objectivement (une réponse est bonne ou fausse).

Il peut toutefois être nécessaire d'utiliser des questions ouvertes. Pensez à des situations telles que :

  1. Le candidat est évalué sur ses connaissances actives et leur application pratique. Il s'agit souvent d'une situation dans laquelle le candidat doit faire preuve de créativité et trouver/formuler lui-même la réponse.
  2. L'analyse ou la justification est tout aussi importante, voire plus importante que la réponse finale. C'est par exemple le cas lorsqu'on fournit un calcul.
  3. Quand une question fermée devient rapidement une question ‘ évidente ’. Lorsque la réponse est donnée, il apparaît rapidement qu'elle est la bonne. Cela signifie également qu'il est difficile de trouver des réponses alternatives (fausses) plausibles.
  4. Plusieurs réponses peuvent être correctes et il est impossible de donner toutes les bonnes réponses. Si, dans ce cas, l'évaluation était tout de même fermée, cela poserait un problème d'objectivité de la question.
  5. Il n'existe pas de normes fixes ni de critères clairs au sein d'un secteur donné. Par exemple : comment mener exactement un entretien commercial ou une conversation en tant que supérieur hiérarchique. Certaines réponses sont meilleures que d'autres, mais aucune n'est immédiatement fausse. Cela est difficile à mesurer dans une question fermée.

 

 

Évaluer efficacement les questions ouvertes

L'évaluation des questions ouvertes se fait efficacement grâce à un système de notation numérique. Il n'est donc pas nécessaire de distribuer les copies d'examen. Un évaluateur reçoit un e-mail lui indiquant quand son épreuve est prête. Il n'a pas besoin de feuilleter les pages et ne risque pas de sauter des questions par inadvertance, car le système veille à ce que les questions soient présentées dans l'ordre. Les questions et les réponses sont clairement présentées les unes à côté des autres, ce qui réduit le risque d'erreurs. De plus, aucun temps n'est perdu lorsqu'un deuxième évaluateur est sollicité. Immédiatement après la fin de la première évaluation, ce deuxième évaluateur peut recevoir un e-mail l'informant qu'une épreuve d'examen est prête pour lui.

Évaluer objectivement les questions ouvertes – conseils

Comment évaluer objectivement les questions ouvertes ? Lisez les conseils (partiels) ci-dessous :

Conseil n° 1 – Soyez aussi précis que possible dans votre question

  • Ne posez que des questions ouvertes, auxquelles il est possible de répondre correctement ou incorrectement. La solution consiste souvent à formuler une question ouverte de manière si spécifique que seule une personne ayant suivi une formation ou ayant de l'expérience dans le domaine peut y répondre. Ne posez donc pas de questions de culture générale.

Conseil n° 2 – Ne formulez pas les exemples de réponses de manière trop rigide

  • Limitez la réponse type. N'écrivez que ce qui doit absolument être mentionné et non la réponse la plus parfaite. De plus, si vous pensez qu'il existe plusieurs formulations qui conviennent, ajoutez-les.
    Par exemple : ‘ D'autres formulations ayant le même sens sont également acceptées. ’
  • Si vous pensez qu'il existe d'autres réponses valables en plus de celles formulées, ajoutez-les. Cela peut être le cas pour des solutions plus créatives où plusieurs chemins mènent à Rome. Par exemple : ‘ Autres réponses à soumettre à l'appréciation du correcteur ’.
  • Donnez aux évaluateurs la possibilité d'ajouter des commentaires de correction. Cela est souvent possible dans le cadre d'une évaluation numérique. L'évaluateur peut alors indiquer, sur la base des réponses du candidat, qu'il a constaté que la réponse type doit être complétée par des réponses supplémentaires.

Conseil n° 3 – Travaillez avec des avis positifs

  • Indiquez les points attribués plutôt que les points retirés. En utilisant des critères d'évaluation (dans le cas d'un examen numérique), vous pouvez indiquer cela très précisément et attribuer des notes pour chaque critère. Pour chaque critère d'évaluation, donnez une brève description d'une partie de la réponse avec une note attribuée. Par exemple :
    • Caractérisation de la réponse partielle 1 – 1 point
    • Caractérisation de la réponse partielle 2 – 1 point
    • Caractérisation de la réponse partielle 3 – 1 point
      Total des points : 3

Conseil n° 4 – Assurez-vous d'avoir une vue d'ensemble et une structure claire

  • Utilisez des critères d'évaluation clairs (voir également le conseil n° 3) afin d'éviter toute confusion chez les évaluateurs.
  • Ne posez pas plus de deux ‘ sous-questions ’ dans une seule question. Ou, si vous le faites, utilisez les questions a., b. et c. Le candidat et l'évaluateur sauront alors combien de réponses doivent être données. Ou bien : posez simplement plus de questions sur ce sujet.

Conseil n° 5 – Évitez les chevauchements dans le modèle de réponse

  • Examinez attentivement les ‘ réponses types ’ et ne posez pas trop de questions. Y a-t-il des recoupements ? Dans ce cas, réduisez le nombre de réponses à donner. Par exemple : s'il y a trois raisons, dont deux se recoupent, demandez deux raisons et non trois. Veillez toutefois à mentionner les trois raisons dans le modèle de réponse.
  • Utilisez des critères d'évaluation. Il peut également être utile d'indiquer ce qui pas peut être considéré comme bon.

Conseil n° 6 – Soyez attentif aux effets Horn et Halo

  • Au Effet Horn la note globale attribuée à un candidat a une incidence négative sur le score. En cas de Effet halo c'est justement positif. Conséquence : l'évaluateur attribue trop ou trop peu de points.
  • Utilisez une évaluation segmentée. Dans le cadre d'une évaluation segmentée, l'évaluateur examine d'abord toutes les questions ‘ 1 ’, puis toutes les questions ‘ 2 ’, etc. Il manque alors une vue d'ensemble des performances du candidat.
  • Veillez à ce que le score final d'un candidat (dans le cas d'une évaluation numérique) ne soit pas visible. Si un évaluateur constate qu'un point supplémentaire suffirait pour obtenir la moyenne, il pourrait être tenté d'ajouter un point supplémentaire quelque part. Étant donné que l'objectif est de donner une note pour chaque question (et non pour le score final), il est préférable de ne pas afficher le score total.

Consultation avec les évaluateurs

Une remarque générale pour améliorer l'évaluation des questions ouvertes est de consulter régulièrement les évaluateurs. Qu'est-ce qui les frappe ? Qu'est-ce qui vous frappe ? À la suite de plaintes et d'objections, donnez des exemples d'erreurs d'évaluation et discutez ensemble de la manière de les éviter.

Conclusion

Il existe de bonnes raisons de poser des questions ouvertes et, malgré leurs inconvénients, il existe (en particulier avec les évaluations numériques) de nombreuses mesures que vous pouvez prendre pour vous assurer que les questions ouvertes peuvent être évaluées de manière efficace et objective. Bien sûr, cela reste un travail humain, mais n'est-ce pas ce que nous voulons ? Vous souhaitez donner votre avis ou en savoir plus ? Alors n'hésitez pas à contact avec nous.