Wie können Sie offene Fragen objektiv bewerten?
Generell gilt für offene Fragen, dass ihre Bewertung subjektiv und mühsam ist. Warum sollte man sie also überhaupt verwenden? Wie können Sie offene Fragen objektiv bewerten? Und wie Sie sicherstellen können, dass Ihre Bewertung so ist so effizient wie möglich? In diesem Blog erfahren Sie, wann eine offene Frage einen Mehrwert bietet und erhalten Tipps, wie Sie häufige Fehler bei der Bewertung offener Fragen vermeiden können.
Inhalt
Wann verwenden Sie offene Fragen?
Offene Fragen sind Fragen, bei denen der Kandidat die Antwort selbst formulieren muss. Geschlossene Fragen sind Fragen, bei denen der Kandidat die richtige Antwort oder eine Kombination von Antworten aus einer Reihe von Möglichkeiten auswählt.
Warum sollten Sie offene Fragen verwenden, wenn Sie auch mit geschlossenen Fragen testen können? Wenn das auch der Fall ist, empfiehlt sich ein Test mit geschlossenen Fragen. Dies hat in der Tat eine Reihe von Vorteilen, wie z. B. die Bequemlichkeit der automatischen Korrektur bei der Verwendung digitaler Testsoftware oder die objektive Bewertung (eine Antwort ist richtig oder falsch).
Dennoch kann es notwendig sein, offene Fragen zu verwenden. Denken Sie an Situationen wie diese:
- Der Kandidat wird auf aktives Wissen und dessen aktive Anwendung geprüft. Dabei muss der Kandidat oft kreativ sein und sich die Antwort selbst ausdenken/formulieren.
- Die Analyse oder Begründung ist genauso wichtig oder wichtiger als die endgültige Antwort. Dies ist zum Beispiel der Fall, wenn Sie eine Berechnung durchführen.
- Wenn eine geschlossene Frage schnell zu einer Frage mit offener Tür“ wird. Wenn die Antwort gegeben wird, ist schnell klar, dass sie die richtige ist. Das bedeutet auch, dass es schwierig ist, plausible alternative (falsche) Antworten zu finden.
- Es können mehrere Antworten richtig sein und es ist unmöglich, alle richtigen Antworten zu geben. Würde man in diesem Fall trotzdem geschlossene Tests durchführen, würde man genau auf das Problem der Objektivität der Frage stoßen.
- Es gibt keine festen Standards oder klaren Normen innerhalb einer bestimmten Branche. Zum Beispiel, wie man ein Verkaufsgespräch oder ein Gespräch als Manager genau führt. Einige Antworten sind besser als andere, aber nicht sofort falsch. Dies ist bei einer geschlossenen Frage schwer zu messen.
Effiziente Bewertung der offenen Fragen
Die Bewertung der offenen Fragen erfolgt effizient über die digitale Bewertung. Dies liegt daran, dass die Prüfungsarbeiten nicht verteilt werden müssen. Ein Prüfer erhält eine E-Mail darüber, wann welche Prüfungsarbeit für ihn bereitsteht. Er muss nicht blättern und überspringt nicht versehentlich Fragen, da das System dafür sorgt, dass die Fragen der Reihe nach präsentiert werden. Frage und Antwort liegen geordnet beieinander, was das Risiko von Fehlern verringert. Darüber hinaus geht keine Zeit verloren, wenn ein zweiter Prüfer eingesetzt wird. Unmittelbar nach Abschluss der ersten Bewertung kann dieser Zweitgutachter eine E-Mail erhalten, in der ihm mitgeteilt wird, dass eine Prüfungsarbeit für ihn bereit liegt.
Offene Fragen objektiv bewerten – Tipps
Wie können Sie offene Fragen objektiv bewerten? Lesen Sie die folgenden Tipps (teilweise):
Tipp 1 – Seien Sie in der Fragestellung so spezifisch wie möglich
- Stellen Sie nur offene Fragen, die entweder richtig oder falsch beantwortet werden können. Die Lösung liegt oft darin, eine offene Frage so spezifisch zu formulieren, dass sie nur von jemandem beantwortet werden kann, der etwas darüber gelernt hat oder über Erfahrung verfügt. Fragen Sie also nicht nach dem Allgemeinwissen.
Tipp 2 – Formulieren Sie die Musterantworten nicht zu knapp
- Behalten Sie die Antwortbeispiele in Grenzen. Schreiben Sie darin nur das, was unbedingt erwähnt werden muss, und nicht die perfekteste Antwort. Außerdem: Wenn Sie der Meinung sind, dass es alle möglichen Formulierungen gibt, die auch gut sind, dann fügen Sie das ein.
Zum Beispiel: „Andere Sätze mit demselben Tenor werden ebenfalls gut gezählt.
- Wenn Sie der Meinung sind, dass es neben den formulierten Antworten noch andere geben könnte, die nicht falsch sind, tragen Sie diese ein. Dies kann bei kreativeren Lösungen der Fall sein, bei denen nicht nur eine, sondern mehrere Straßen nach Rom führen. Zum Beispiel: „Andere Antworten nach Ermessen des Korrektors“.
- Erlauben Sie den Überprüfern, Korrekturkommentare zu veröffentlichen. Bei digitalen Prüfungen ist dies oft möglich. Der Prüfer kann dann anhand der Antworten des Kandidaten feststellen, dass die Musterantwort durch zusätzliche, ergänzende Antworten erweitert werden muss.
Tipp 3 – Arbeiten Sie mit positiven Bewertungen
- Geben Sie an, wofür Sie Punkte erhalten, und nicht, wofür Sie Punktabzüge bekommen. Wenn man (bei digitalen Tests) mit Bewertungsaspekten arbeitet, kann man das sehr genau angeben und jeden Aspekt bewerten lassen. Bei Bewertungsaspekten geben Sie eine kurze Charakterisierung einer Teilantwort mit einer Punktevergabe an, zum Beispiel:
- Charakterisierung Teilantwort 1 – 1 Punkt
- Charakterisierung Teilantwort 2 – 1 Punkt
- Charakterisierung Teilantwort 3 – 1 Punkt
Punkte insgesamt: 3
Tipp 4 – Überblick und Struktur schaffen
- Verwenden Sie klare Bewertungsaspekte (siehe auch Tipp 3), um Verwirrung unter den Prüfern zu vermeiden.
- Stellen Sie nicht mehr als zwei „Unterfragen“ in einer Frage. Oder, wenn Sie das tun, arbeiten Sie mit a., b. und c. Fragen. Der Kandidat und der Prüfer wissen dann, wie viele Antworten tatsächlich gegeben werden müssen. Oder: Stellen Sie einfach weitere Fragen zu diesem Thema.
Tipp 5 – Vermeiden Sie Überschneidungen im Antwortmodell
- Sehen Sie sich die „Musterantworten“ kritisch an und verlangen Sie nicht zu viel. Überschneiden sich diese? Passen Sie dann die Anzahl der zu gebenden Antworten nach unten an. Zum Beispiel: Wenn es drei Gründe gibt, von denen sich zwei überschneiden, fragen Sie nach zwei und nicht nach drei. Dann tragen Sie die drei Gründe in die Antwortvorlage ein.
- Nutzen Sie Bewertungsaspekte. Darüber hinaus kann es auch helfen, anzuzeigen, was nicht korrekt gezählt werden sollte.
Tipp 6 – Achten Sie auf den Horn- und Halo-Effekt
- Bei der
Horn-Effekt
die allgemeine Meinung über einen Kandidaten wirkt sich negativ auf die Bewertung aus. Mit einem
Halo-Effekt
ist eigentlich positiv. Folge: Der Prüfer vergibt zu viele oder zu wenige Punkte.
- Verwenden Sie eine segmentierte Bewertung. Bei der segmentierten Bewertung prüft ein Prüfer zunächst alle Fragen „1“ und dann alle Fragen „2“ usw. Es fehlt dann das Gesamtbild, wie ein Kandidat „es macht“.
- Stellen Sie sicher, dass die Endnote eines Bewerbers (bei digitalen Tests) nicht sichtbar ist. Wenn ein Prüfer sieht, dass ein zusätzlicher Punkt ihn gerade noch zum Bestehen bringen könnte, könnte er versucht sein, irgendwo einen weiteren Punkt hinzuzufügen. Da es darum geht, eine Meinung pro Frage abzugeben (und nicht zur Gesamtpunktzahl), ist es besser, die Gesamtpunktzahl zu verbergen.
Konsultation mit Gutachtern
Eine allgemeine Beobachtung zur Verbesserung der Bewertung offener Fragen ist die regelmäßige Rücksprache mit den Bewertern. Was fällt ihnen auf? Was fällt Ihnen auf? Geben Sie als Antwort auf Beschwerden und Einwände Beispiele für Beurteilungsfehler und diskutieren Sie gemeinsam, wie diese vermieden werden können.
Schlussfolgerung
Es gibt gute Gründe, offene Fragen zu stellen, und trotz der Nachteile gibt es (insbesondere bei digitalen Tests) zahlreiche Maßnahmen, die Sie ergreifen können, um sicherzustellen, dass offene Fragen effizient und objektiv ausgewertet werden können. Natürlich bleibt es menschliche Arbeit, aber ist es nicht auch das, was wir wollen? Haben Sie eine Meinung oder wissen Sie mehr? Dann kontaktieren Sie uns.
