Eine allgemeine Einschätzung zu offenen Fragen lautet, dass ihre Bewertung subjektiv und aufwendig ist. Warum sollte man sie dann trotzdem verwenden? Wie bewertet man offene Fragen objektiv? Und wie stellt man sicher, dass die Bewertung so möglichst effizient abläuft? In diesem Blog erfahren Sie, wann eine offene Frage einen Mehrwert hat, und erhalten Tipps, wie Sie häufig gemachte Fehler bei der Bewertung offener Fragen vermeiden können.    

Inhalt

Wann verwendet man offene Fragen?

Mit offenen Fragen meinen wir Fragen, bei denen der Kandidat selbst die Antwort formulieren muss. Geschlossene Fragen sind Fragen, bei denen der Kandidat die richtige Antwort oder eine Kombination von Antworten aus einer Reihe von Optionen auswählt.

Warum sollten Sie offene Fragen verwenden, wenn Sie auch mit geschlossenen Fragen prüfen können? Wenn dies tatsächlich genauso gut möglich ist, ist die Prüfung mit geschlossenen Fragen zu empfehlen. Dies hat nämlich eine Reihe von Vorteilen, wie beispielsweise die einfache automatische Korrektur bei der Verwendung von digitale Testsoftware oder objektiv beurteilen (eine Antwort ist richtig oder falsch).

Dennoch kann es notwendig sein, offene Fragen zu verwenden. Denken Sie beispielsweise an Situationen wie:

  1. Der Kandidat wird auf seine aktiven Kenntnisse und deren aktive Anwendung geprüft. Oftmals muss der Kandidat in einer Situation kreativ sein und selbst eine Antwort finden/formulieren.
  2. Die Analyse oder Begründung ist genauso wichtig oder sogar wichtiger als die endgültige Antwort. Das ist beispielsweise bei einer Berechnung der Fall.
  3. Wenn eine geschlossene Frage schnell zu einer ‘offenen Tür’-Frage wird. Wenn die Antwort gegeben wird, ist schnell klar, dass es die richtige ist. Das bedeutet auch, dass es schwierig ist, plausible alternative (falsche) Antworten zu finden.
  4. Mehrere Antworten können richtig sein, und es ist unmöglich, alle richtigen Antworten anzugeben. Würde in diesem Fall dennoch eine geschlossene Prüfung durchgeführt, würde dies zu Problemen hinsichtlich der Objektivität der Frage führen.
  5. Es gibt keine festen Standards oder klaren Normen innerhalb einer bestimmten Branche. Beispielsweise: Wie genau sollte man ein Verkaufsgespräch oder ein Gespräch als Führungskraft führen? Einige Antworten sind besser als andere, aber nicht unbedingt falsch. Dies lässt sich in einer geschlossenen Frage nur schwer messen.

 

 

Effiziente Bewertung offener Fragen

Die Bewertung offener Fragen erfolgt effizient mittels digitaler Prüfung. Dabei ist es nicht notwendig, Prüfungsarbeiten zu verteilen. Ein Bewerter erhält eine E-Mail, wann welche Prüfungsunterlagen für ihn bereitstehen. Er muss nicht blättern und überspringt keine Fragen versehentlich, da das System dafür sorgt, dass die Fragen nacheinander präsentiert werden. Fragen und Antworten sind übersichtlich nebeneinander angeordnet, sodass die Fehlerwahrscheinlichkeit gering ist. Außerdem geht keine Zeit verloren, wenn ein zweiter Bewerter hinzugezogen wird. Unmittelbar nach Abschluss der ersten Bewertung kann dieser zweite Prüfer eine E-Mail mit der Mitteilung erhalten, dass eine Prüfungsarbeit für ihn bereitsteht.

Offene Fragen objektiv bewerten – Tipps

Wie bewertet man offene Fragen objektiv? Lesen Sie die folgenden (Teil-)Tipps:

Tipp 1 – Formulieren Sie Ihre Frage so konkret wie möglich.

  • Stellen Sie nur offene Fragen, die sowohl richtig als auch falsch beantwortet werden können. Die Lösung besteht oft darin, eine offene Frage so spezifisch zu formulieren, dass nur jemand, der dafür gelernt hat oder Erfahrung damit hat, die Frage beantworten kann. Fragen Sie also nicht nach Allgemeinwissen.

Tipp 2 – Formulieren Sie die Beispielantworten nicht zu streng.

  • Halten Sie die Beispielantwort kurz. Schreiben Sie nur das, was unbedingt erwähnt werden muss, und nicht die perfekteste Antwort. Außerdem: Wenn Sie der Meinung sind, dass es verschiedene Formulierungen gibt, die ebenfalls richtig sind, fügen Sie diese hinzu.
    Beispiel: ‘Andere Formulierungen mit derselben Bedeutung werden ebenfalls als richtig gewertet.’
  • Wenn Sie der Meinung sind, dass neben den formulierten Antworten auch andere Antworten genannt werden können, die nicht falsch sind, fügen Sie diese hinzu. Dies kann bei kreativeren Lösungen der Fall sein, bei denen nicht nur ein Weg, sondern mehrere Wege zum Ziel führen. Beispiel: ‘Weitere Antworten zur Beurteilung durch den Korrektor’.
  • Geben Sie den Bewertern die Möglichkeit, Korrekturkommentare zu hinterlassen. Bei digitalen Prüfungen ist dies oft möglich. Der Bewerter kann dann anhand der Antworten des Kandidaten angeben, dass er festgestellt hat, dass die Musterantwort um zusätzliche, ergänzende Antworten erweitert werden muss.

Tipp 3 – Arbeiten Sie mit positiven Bewertungen

  • Geben Sie an, wofür Sie Punkte vergeben, anstatt anzugeben, wofür Sie Punkte abziehen. Durch die Verwendung von Bewertungskriterien (bei digitalen Prüfungen) können Sie dies sehr genau angeben und pro Kriterium Punkte vergeben. Bei den Bewertungskriterien geben Sie eine kurze Beschreibung einer Teilantwort mit einer Punktevergabe an. Beispiel:
    • Charakterisierung Teilantwort 1 – 1 Punkt
    • Charakterisierung Teilantwort 2 – 1 Punkt
    • Charakterisierung Teilantwort 3 – 1 Punkt
      Gesamtpunktzahl: 3

Tipp 4 – Sorgen Sie für Übersicht und Struktur

  • Verwenden Sie klare Bewertungskriterien (siehe auch Tipp 3), um Verwirrung bei den Bewertern zu vermeiden.
  • Stellen Sie nicht mehr als zwei ‘Teilfragen’ in einer Frage. Oder, wenn Sie dies dennoch tun, arbeiten Sie mit a., b. und c. Fragen. Der Kandidat und der Bewerter wissen dann, wie viele Antworten tatsächlich gegeben werden müssen. Oder: Stellen Sie einfach mehr Fragen zu diesem Thema.

Tipp 5 – Vermeiden Sie Überschneidungen im Antwortmodell

  • Betrachten Sie die ‘Beispielantworten’ kritisch und fragen Sie nicht zu viel. Überschneiden sich diese? Dann reduzieren Sie die Anzahl der zu gebenden Antworten. Beispiel: Wenn es drei Gründe gibt, von denen sich zwei überschneiden, fragen Sie nach zwei und nicht nach drei Gründen. Geben Sie dann aber die drei Gründe in das Antwortmodell ein.
  • Verwenden Sie Bewertungsaspekte. Darüber hinaus kann es auch hilfreich sein, anzugeben, was nicht gut gerechnet werden kann.

Tipp 6 – Achten Sie auf den Horn- und Halo-Effekt

  • Beim Horn-Effekt die Gesamtbewertung eines Bewerbers negativ in die Punktzahl einfließen. Bei einer Halo-Effekt ist dies gerade positiv. Folge: Der Bewerter vergibt zu viele oder zu wenige Punkte.
  • Verwenden Sie eine segmentierte Bewertung. Bei einer segmentierten Bewertung überprüft ein Bewerter zunächst alle Fragen ‘1’ und anschließend alle Fragen ‘2’ usw. Es fehlt dann jedoch der Gesamtüberblick darüber, wie ein Kandidat ‘abschneidet’.
  • Stellen Sie sicher, dass die Endpunktzahl eines Kandidaten (bei digitalen Prüfungen) nicht sichtbar ist. Wenn ein Prüfer sieht, dass er mit einem Punkt mehr vielleicht gerade noch eine ausreichende Note erreicht, könnte er versucht sein, noch einen Punkt hinzuzufügen. Da das Ziel darin besteht, jede Frage einzeln zu bewerten (und nicht die Endnote), ist es besser, die Gesamtpunktzahl zu verbergen.

Beratung mit Gutachtern

Eine allgemeine Bemerkung zur Verbesserung der Bewertung offener Fragen ist die regelmäßige Rücksprache mit den Bewertern. Was fällt ihnen auf? Was fällt Ihnen auf? Geben Sie anhand von Beschwerden und Einwänden Beispiele für Bewertungsfehler und besprechen Sie gemeinsam, wie diese vermieden werden können.

Schlussfolgerung

Es gibt gute Gründe, offene Fragen zu stellen, und trotz der Nachteile gibt es (vor allem bei digitalen Tests) zahlreiche Maßnahmen, mit denen sichergestellt werden kann, dass offene Fragen effizient und objektiv bewertet werden können. Natürlich bleibt es Menschenarbeit, aber ist das nicht auch genau das, was wir wollen? Möchten Sie Ihre Meinung äußern oder mehr erfahren? Dann nehmen Sie Kontakt auf mit Kontakt mit uns.