Optimum Assessment Platform: Das Gesamtpaket für digitales Prüfen
Wann ist eine Prüfung von guter Qualität? Die Begriffe Validität und Reliabilität sind wichtig, wenn es darum geht, die Qualität einer Prüfung zu bestimmen. Hinter diesen Begriffen verbirgt sich jedoch mehr, als es auf den ersten Blick scheint. Wir werden uns in diesem Blogbeitrag auf den größten gemeinsamen Nenner fokussieren. Für weitere Informationen zu den Konzepten der Validität und Reliabilität verweisen wir auf die Erklärung von Sluiter, Hemker und Eggen (2018).
Prüfungen sind dann zuverlässig, wenn die Ergebnisse nicht auf Zufall beruhen. Das bedeutet, dass die Prüfung weder durch äußere Faktoren noch durch Fehler bei den Fragen oder deren Bewertung beeinflusst werden darf.
Ein valider Test misst das, was er messen soll, und ist mit dem Zweck, für den die Testergebnisse verwendet werden, vereinbar. Ein Beispiel für die Anwendung dieses Kriteriums sind Testfragen, die mit den spezifisch formulierten Lern- oder Testzielen und mit dem Niveau, auf dem der Test durchgeführt wird, übereinstimmen. Die Bedenken der Beteiligten hinsichtlich der Validität eines Tests beziehen sich häufig auf die Interpretation der Testergebnisse.
Eine qualitativ hochwertige Prüfung bedeutet, dass Kandidat*innen, die den Prüfungsinhalt beherrschen, die Prüfung bestehen und diese als fair empfinden sollten. Prüfungsfragen, die die Qualitätskriterien erfüllen, können den Bewertungsprozess erheblich verbessern. Die Erfüllung dieser Kriterien ist in der Regel einfach und das Bewusstsein und ihre Anwendung sind entscheidend. Es werden folgende Prüfungskriterien verwendet:
Gehört die Frage zu den Lern- und Prüfungszielen des Prüfungsprogramms? Betriftt sie relevantes Wissen oder geht es um Details, die entweder niemand wissen kann oder die niemand jemals anwenden wird? Die Frage muss einen Sachverhalt betreffen, der für den Testteilnehmenden von Nutzen ist. Ein Beispiel: Bei einer Prüfung über Produktkenntnisse im Lebensmittelhandel ist es eher weniger wichtig, den Nährwert von Erdnussbutter auswendig zu kennen. Diesen kann man immerhin auf dem Etikett nachlesen.
Wir gehen häufig davon aus, dass die richtige Antwort immer richtig sein muss. Aber sind auch Situationen denkbar, in denen die richtig geglaubte Antwort in Wirklichkeit nicht richtig ist? Können auch andere Antworten als richtig gewertet werden? Eine objektive Frage führt normalerweise nicht zu einer Diskussion. Siehe das folgende Beispiel einer nicht objektiven Frage.
Was sind die Farben der niederländischen Flagge? Kreuzen Sie alle richtigen Antworten an.
Richtige Antworten: A, B und C
Die Frage ist, ob Antwort D, Orange, auch als richtig gewertet werden sollte. Angenommen, die Flagge hat einen Wimpel in der Farbe orange, dann ist Antwort D vielleicht nicht die treffendste Antwort, aber sie ist auch nicht wirklich falsch. Auf jeden Fall kann die Frage zu einer Diskussion führen.
Eine Frage sollte so spezifisch gestellt sein, dass jemand, der den Stoff beherrscht, in der Lage sein sollte, die Frage richtig zu beantworten. Eine spezifische Frage unterscheidet also zwischen “guten” und “schlechten” Kandidat*innen. Im Folgenden finden Sie ein Beispiel für eine unspezifische (offen) Frage.
Beschreiben Sie die Führungsstile einer weit verbreiteten Managementtheorie.
Antwort: Die Theorie von Hersey und Blanchard beschreibt vier Stile.
Beschreibung:
Andere Antworten liegen im Ermessen des Prüfenden.
Das Problem bei dieser Frage ist, dass sie nicht sehr zielgerichtet ist; es gibt mehrere Managementtheorien- und modelle, die häufig angewendet werden. Darüber hinaus wird nicht erwähnt, welche Anforderungen die Beschreibung erfüllen muss. Auf diese Weise gibt es sehr viele Antworten, die richtig gezählt werden müssten.
Um das Kriterium der Effizient zu erfüllen, ist es wichtig, die Informationen in der Frage auf das zu beschränken, was zur Beantwortung der Frage notwendig ist. Wir sehen zum Beispiel sehr oft, dass ein Fallbeispiel einen gesamten Artikel einer Tageszeitung als Hintergrundinformation enthält. Hierbei empfiehlt es sich, die Informationen nicht in die Prüfung, sondern in das Unterrichtsmaterial aufzunehmen. Ein weiteres, nennenswertes Beispiel ist die Verwendung einer doppelten Verneinung in einer Frage. Die Kandidat*innen müssen die Frage mehrmals lesen, um sie zu verstehen. Hilfreich ist in diesem Fall, die Verneinungen fett oder kursiv zu drucken, damit sie Aufmerksamkeit erregen. Auch sprachliche Fehler und komplizierte Sprachkonstruktionen beeinflussen das Kriterium der Effizienz.
Bei einer guten und qualitativ hochwertigen Prüfung ist es wichtig, dass die Kandidat*innen den Prüfungsstoff beherrschen, die Prüfung bestehen und alle Beteiligten den Eindruck haben, dass die Prüfung fair ist. Die oben genannten Qualitätskriterien tragen dazu bei, diese Ziele zu erreichen.
Sind Sie an (digitalen) Prüfungen, Entwicklungen und/oder den neuesten Nachrichten in diesem Bereich interessiert? Melden Sie sich unverbindlich für unseren Newsletter an! Und folgen Sie Optimum Assessment auf LinkedIn:
Oder hinterlassen Sie eine Nachricht
