Wie erstellt man einen guten Test?

Fünf Fälle gilt es zu beachten

Tests werden in kleinem und großem Umfang durchgeführt: im öffentlichen und privaten Bildungswesen, in betrieblichen Ausbildungsprogrammen, von Prüfungsinstituten und Berufsverbänden. Aber wird das immer richtig gemacht? Wer kennt nicht das ungute Gefühl nach einer Prüfung? Bemerkungen wie “Es wurden irrelevante Details gefragt” oder “Es war unklar, was mit einigen Fragen gemeint war”. Es ist leicht, in eine Falle zu tappen. In diesem Blog stellen wir fünf Fälle vor, die Sie bei der Entwicklung von Tests vermeiden sollten. Behalten Sie sie im Hinterkopf und denken Sie bei der Erstellung eines guten Tests an unsere Hilfestellungen!

1. Der Test ist zu kurz
2. Der Test konzentriert sich auf “Randthemen”
3. Es gibt eine Diskussion über die Antwort
4. Die Benotung ist unfair oder unklar
5. Der Test enthält zu viel Text
6. Fazit

1. Der Test ist zu kurz

Wenn ein Test (zu) kurz ist, können Prüfungsteilnehmende Ihre Kenntnisse und Fähigkeiten nicht gut (genug) zeigen. Die Punktzahl, die sie bei einem zu kurzen Test erzielen, kann außerdem das Ergebnis des Zufalls sein. Wenn sie zufällig Fragen zu dem Teil erhalten, den sie gut beherrschen, werden sie ein gutes Ergebnis erzielen. Es kann aber auch genau umgekehrt sein. Ein zu kurzer Test hat also eine geringe Zuverlässigkeit. Denn anhand von zu wenigen Fragen kann man nicht erkennen, inwieweit jemand den Lernstoff tatsächlich beherrscht.

Der Umfang eines Tests hängt stark von der Art der verwendeten Fragen, dem Zweck des Tests (formativ oder summativ), dem Wert, der dem Test beigemessen wird, dem Umfang des Themas und der verfügbaren Prüfungszeit ab. Im Allgemeinen gilt: Je mehr Fragen, desto zuverlässiger der Test.

2. Der Test konzentriert sich auf “Randthemen“

Was wird eigentlich abgefragt und warum passt die eine Frage in den Test und die andere nicht? Schauen Sie sich immer die Lernziele an, die dem Test zugrunde liegen, und stellen Sie Fragen zum Kern dieser Lernziele. Wenn Sie z.B. prüfen wollen, ob die Bewerber Einblick in die verschiedenen Phasen des Hausbaus haben, macht es keinen Sinn, eine Frage über die Eigenschaften von tropischem Hartholz zu stellen. Oder noch schlimmer: die Frage, wann tropisches Hartholz zum ersten Mal im Bauwesen verwendet wurde.

Wie können Sie solche “Off-Topic”-Fragen vermeiden? Lassen Sie die Testfragen von einem anderen Fachmann validieren. Dieser Fachmann betrachtet die Fragen unvoreingenommen und ist daher gut in der Lage, irrelevante Fragen herauszufiltern.

3. Es gibt eine Diskussion über die Antwort

Unabhängig davon, wie gut oder überzeugend eine Frage ist, kann es zu Diskussionen unter Expert*innen über die richtige Antwort kommen. Führen Sie immer eine Überprüfung durch:

• Ist die Frage spezifisch genug? Wenn die Frage zu allgemein formuliert ist, ist nicht klar, welche Antwort richtig ist. Oft ist mehr als eine Antwort richtig.
• Besteht in der Praxis Einigkeit über die zu prüfenden Standards? Wenn Fragen zu Themen gestellt werden, die sich in der Branche noch nicht herauskristallisiert haben, kann Uneinigkeit darüber herrschen, was eine gute oder schlechte Antwort ist. Dies führt zu Problemen bei den Prüfungen. Ein Beispiel: eine Frage darüber, wie sich ein Mediator in einer bestimmten Situation verhalten sollte. Solange es nicht gegen den Berufskodex verstößt, ist eine Handlungsweise nicht gleich falsch.
• Ist eine Frage unmissverständlich? Oder interpretieren verschiedene (erfahrene) Personen die Frage unterschiedlich?

Auch für diesen Fall gilt: Er muss von einem oder mehreren Fachleuten überprüft werden, um eine Diskussion nach Beantwortung der Frage zu vermeiden.

4. Die Benotung ist unfair oder unklar

Manchmal sieht man schöne Prüfungsaufgaben, die den Kern des Lernziels oder sogar des Themas treffen und bei denen mehrere Antworten von den Kandidat*innen erwartet werden. Wie gehen Sie in einem solchen Fall mit der Punktevergabe um? Angenommen, es müssen zehn Aufgaben gelöst werden, bekommt man dann zehn Punkte? Das ist in Ordnung, aber dann wiegt dieser Teil der Prüfung relativ schwer. Und was ist, wenn man drei Punkte für diese Frage vergibt, wann bekommt man einen, zwei oder drei Punkte?

Oder: Man kann für jede Frage zehn Punkte bekommen, auch wenn nur eine Antwort zu geben ist. Das kann dann zu Unterschieden in der Punktevergabe zwischen den Prüfern führen, weil jeder aus seiner eigenen Perspektive handelt.

Kurzum, wenn Sie im Antwortmodell Spielraum lassen, ist die Bewertung oft nicht ganz korrekt. Legen Sie daher im Modell fest, welche Antwort wie viele Punkte erhalten soll. Klare Richtlinien helfen, die Bewertung so objektiv und fair wie möglich zu halten.

5. Der Test enthält zu viel Text

Der Testentwickler geht – manchmal zu Unrecht – davon aus, dass die Kandidat*innen “einfach nur gut lesen können müssen”. Achten Sie darauf, dass Sie nicht das Leseverständnis testen, das normalerweise kein Lernziel ist. Stellen Sie die Fragen in einfacher Sprache. Verwenden Sie keine erzählenden Fälle, um den Test unterhaltsamer zu gestalten. Überprüfen Sie eine Frage immer auf unnötige Informationen.

Fazit – Wie erstellt man einen guten Test?

Denken Sie bei der Entwicklung Ihres Tests an diese fünf typischen Fälle. Es gibt jedoch noch viel mehr zu beachten, um einen guten Test zu erstellen. Sind Sie an (digitalen) Prüfungen, Entwicklungen und/oder den neuesten Nachrichten in diesem Bereich interessiert? Downloaden Sie unser Ebook “Praxisleitfaden: Digitale Prüfungen”! Und folgen Sie Optimum Assessment auf LinkedIn:

Oder hinterlassen Sie eine Nachricht