Wie kann man offene Prüfungsfragen objektiv bewerten?

Eine gängige Meinung über offene Prüfungsfragen ist, dass ihre Bewertung subjektiv und aufwändig ist. Sollte man sie also überhaupt verwenden? Wie können Sie offene Fragen objektiv bewerten? Und wie können Sie eine effiziente Prüfung sicherstellen? Dieser Blogbeitrag zeigt, wann offene Fragen einen Mehrwert bieten, und gibt Tipps, wie Sie häufige Fehler bei der Prüfung offener Fragen vermeiden können.

Was sind offene Fragen und wann werden sie verwendet?

Offene Fragen werde im Allgemeinen als Prüfungsfragen definiert, bei denen der Kandidat oder die Kandidatin die Antwort selbstständig ausformulieren muss. Bei geschlossenen Fragen hingegen handelt es sich um Prüfungsfragen, bei denen der Kandidat oder die Kandidatin die richtige Antwort oder eine Kombination von Antworten aus einer Reihe von Möglichkeiten auswählt. Die Wahl zwischen geschlossenen oder offenen Fragen sollte sich immer nach dem Lern- oder Prüfungsziel richten, das mit der jeweiligen Prüfung verfolgt wird.

Es kann jedoch sinnvoll sein, offene Prüfungsfragen zu verwenden. Denken Sie zum Beispiel an folgende Situationen:

1. Die Prüfungsteilnehmenden werden auf vorhandenes Wissen und dessen transformative Anwendung geprüft. Dies beinhaltet oft eine Situation, in der die Teilnehmenden kreativ sein und eine eigene Antwort oder Lösung finden müssen.
2. Die Analyse oder Begründung ist genauso wichtig – oder vielleicht sogar wichtiger – als die endgültige Antwort. Dies ist zum Beispiel der Fall, wenn der Rechenweg nachvollzogen werden soll, da ein Verständnis über das Vorgehen wichtiger ist als das Ergebnis.
3. Wenn die Antwort auf die geschlossene Frage sich als die einzige logische Alternative darstellt. Dadurch ist es schwierig, plausible alternative (falsche) Antworten zu finden.
4. Mehrere Antworten können richtig sein und es ist unmöglich, alle richtigen Antworten zu listen. Wenn Sie sich in diesem Fall dennoch für geschlossene Fragen entscheiden, ist die Objektivität der Frage in Gefahr.
5. Es gibt keine festen Standards oder klare Normen innerhalb einer bestimmten Kategorie. Zum Beispiel: Wie genau führt man ein Verkaufsgespräch oder ein Gespräch als Führungskraft. Manche Antworten sind besser als andere, aber das macht sie nicht falsch. Dies ist bei einer geschlossenen Frage schwer zu messen.

Gleichzeitig können Sie durch offene Fragen die Ratewahrscheinlichkeit gering halten.

Geschlossene Fragen haben eine Reihe von Vorteilen, wie z. B. die einfache automatische Korrektur bei der Verwendung einer digitalen Prüfsoftware oder die objektive Bewertung (eine Antwort ist entweder richtig oder falsch).

Effizienter Prüfungsablauf bei offenen Fragen mittels digitalem Prüfungssystem

Digitale Prüfungen machen den Prüfungsprozess insgesamt effizient. Doch besonders bei offen gestellten Prüfungsfragen kann eine digitale Prüfungssoftware große Entlastung bieten. Bei Prüfungen mit (hauptsächlich) offenen Fragen sind diese durch die ausformulierten Antworten meist umfangreicher und es wird dort oft nach dem 4-Augen-Prinzip korrigiert. Prüfungsunterlagen müssen mit einer digitalen Software-Lösung nicht mehr verteilt werden an den/ die jeweilige Korrektor*in, sondern werden im System hinterlegt. Eine Benachrichtigung wird versandt, sobald eine Prüfung zur Korrektur bereitsteht. Die Prüfung kann endgeräteunabhängig bearbeitet und durch die vom System vorgegebene Struktur können Fragen nicht versehentlich übersprungen werden. Außerdem geht keine Zeit verloren: unmittelbar nach der ersten Korrektur wird die zweite korrigierende Person benachrichtigt.

Wie bei analogen Prüfungsmethoden, ist es auch mit einer digitalen Software möglich, unterschiedliche Frageformen einzusetzen – und es kann bei entsprechend gewählter Frageform sogar eine automatische Korrektur erfolgen.

Aufgabentypen von offenen Fragen können sein:

• Essay-Aufgaben:
  Die Frage soll ausführlich und ggf. unter Einhaltung bestimmter Vorgaben beantwortet werden, z.B. im Hinblick auf Umfang oder zugelassene Hilfsmittel. Hier ist die präzise Fragestellung enorm wichtig, um einen klaren Fokus vorzugeben und vage Antworten, die ein Vortäuschen von Wissen überdecken sollen, zu vermeiden.
• Kurzantwort-Aufgaben:
  Dies können sowohl „Lückentext“-Aufgaben sein, bei denen Wörter in einem Satz ergänzt oder Sätze zu Ende geführt werden müssen, als auch Fragen sein, die in nur wenigen Sätzen beantwortet werden sollen, wie bspw. bei einer Definition eines Fachbegriffs.
  „Lückentext“-Fragen lassen eine automatisierte Auswertung zu.
• Alternative Prüfungsfragen:
  Hier können „Mini Cases“, Szenario-Analysen oder auch kreative Ansätze gewählt werden. Im Unterschied zu den vorangegangenen Fragetypen können Prüfungsteilnehmende ihr Wissen an einem praxisnahen Fallbeispiel anwenden oder es wird ein Szenario beschrieben.

Tipps für die objektive Bewertung von offenen Fragen

Bei der Verwendung von offenen Fragen ist es wichtig, die Beurteilungskriterien nicht erst nach der erfolgten Prüfung festzulegen, sondern im Vorfeld das Lern- und Prüfungsziel vor Augen zu haben. Dementsprechend kann auch die Form der Prüfungsfragen festgelegt und ggf. Vorgaben und Hilfsmittel bestimmt werden.

Tipp 1 – Seien Sie in der Frage so spezifisch wie möglich

Formulieren Sie offene Fragen so spezifisch, dass sie nur jemand, der sie gelernt hat, beantworten kann. Fragen Sie also nicht nach allgemeinem Wissen.

Tipp 2 – Formulieren Sie die Beispielantworten nicht zu eng

Für die Korrektur halten Sie die Beispielantworten in Grenzen. Schreiben Sie nur auf, welche Antwortelemente erforderlich sind, und nicht, was die perfekte Antwort ist. Zum Beispiel: Andere Formulierungen mit der gleichen Bedeutung werden ebenfalls als richtig angesehen.
Wenn Sie der Meinung sind, dass neben den formulierten Antworten auch andere Antworten gegeben werden können, die nicht falsch sind, machen Sie einen entsprechenden Vermerk. Sie können beispielsweise “Andere Antworten sind von dem/der Korrektor/-in zu beurteilen.” vermerken.
Geben Sie den Korrektoren und Korrektorinnen die Möglichkeit, Kommentare abzugeben. Dies ist bei digitalen Prüfungen oder Tests oft möglich. Die korrigierende Person kann dann auf Grundlage der Antworten der Prüfungsteilnehmenden angeben, ob die Beispielantwort erweitert werden muss.

Tipp 3 – Arbeiten Sie mit positiven Bewertungen

Geben Sie an, wofür Punkte vergeben werden und nicht wofür Punkte abgezogen werden. Bei digitalen Prüfungen oder Tests, können Sie die Bewertungsaspekte sehr genau angeben und für jeden Aspekt Punkte vergeben. Zum Beispiel:

• Teilantwort 1 – 1 Punkt
• Teilantwort 2 – 1 Punkt
• Teilantwort 3 – 1 Punkt
  Gesamtpunktzahl: 3

Tipp 4 – Bieten Sie einen guten Überblick und Struktur

Verwenden Sie klare Bewertungsaspekte (siehe auch Tipp 3), um Verwirrung bei den Korrektoren bzw. Korrektorinnen zu vermeiden.
Stellen Sie nicht mehr als zwei “Unterfragen” in einer Frage. Oder wenn doch, verwenden Sie a., b. und c. Fragen. So wissen sowohl die Prüfungsteilnehmenden als auch die Korrektoren und Korrektorinnen, wie viele Antworten gegeben werden müssen.

Tipp 5 – Vermeiden Sie Überschneidungen im Antwortmodell

Stellen Sie keine “Überfragen” und sehen Sie sich die “Beispielantworten” kritisch an. Überschneiden sie sich? Dann passen Sie die Anzahl der zu gebenden Antworten nach unten an. Ein Beispiel: Wenn es drei Gründe gibt, von denen sich zwei überschneiden, fragen Sie nach zwei und nicht nach drei Gründen.

Tipp 6 – Achten Sie auf den HORN- und HALO-Effekt

Beim HORN-Effekt fließt die Gesamtbeurteilung eines Kandidaten bzw. einer Kandidatin negativ in die Bewertung ein. Beim HALO-Effekt hingegen zählt diese positiv. Folge: Die korrigierende Person vergibt zu viele oder zu wenige Punkte.
Verwenden Sie eine segmentierte Bewertung. Bei der segmentierten Bewertung prüft der Korrektor bzw. die Korrektorin zunächst alle 1er-Fragen, dann alle 2er-Fragen und so weiter. Dies verschleiert das Gesamtbild der Leistung eines Prüfungsteilnehmenden.
Stellen Sie bei digitalen Korrekturen sicher, dass die Endnote eines Kandidaten bzw. einer Kandidatin nicht sichtbar ist. Wenn die korrigierende Person sieht, dass ein(e) Kandidat/in nur noch einen Punkt zum Bestehen braucht, könnte sie versucht sein, einen weiteren Punkt zu vergeben. Da das Ziel darin besteht, eine objektive Bewertung pro Frage abzugeben, ist es besser, die Gesamtpunktzahl verborgen zu halten.

Ein allgemeiner Ratschlag zur Verbesserung der Bewertung offener Fragen besteht darin, regelmäßig die Korrektoren und Korrektorinnen zu befragen. Was fällt ihnen auf? Nennen Sie bei Beschwerden und Einwänden Beispiele für Bewertungsfehler und besprechen Sie gemeinsam, wie man sie vermeiden kann.

Fazit

Es gibt gute Gründe, offene Fragen zu stellen, und trotz der Nachteile gibt es (insbesondere bei digitalen Tests) zahlreiche Maßnahmen, die Sie ergreifen können, um sicherzustellen, dass offene Fragen effizient und objektiv bewertet werden. Natürlich bleibt der Faktor Mensch immer präsent, aber ist das nicht auch gewollt?

Sind Sie an (digitalen) Prüfungen, Entwicklungen und/oder den neuesten Nachrichten in diesem Bereich interessiert? Melden Sie sich unverbindlich für unseren Newsletter an! Und folgen Sie Optimum Assessment auf LinkedIn:

Oder hinterlassen Sie eine Nachricht