Wann ist ein Test von guter Qualität? Die Begriffe Validität und Reliabilität sind wichtige Konzepte bei der Bewertung der Qualität eines Tests. Hinter diesen Begriffen verbirgt sich jedoch eine ganze Welt. In diesem Blog beschränken wir uns auf den größten gemeinsamen Nenner. Weitere Informationen zu den Begriffen Reliabilität und Validität finden Sie in der Erläuterung von Sluiter, Hemker und Eggen (2018). Zuverlässiger und valider Test Ein Test ist zuverlässig, wenn sein Ergebnis nicht auf Zufall beruht. Dies ist beispielsweise der Fall, wenn bei der Durchführung Störfaktoren auftreten oder wenn die Fragen oder deren Bewertung Fehler enthalten. Ein valider Test misst das, was er messen soll, und entspricht dem Zweck, für den die Testergebnisse verwendet werden. Ein Beispiel für die Anwendung dieses Kriteriums sind Testfragen, die auf spezifisch formulierte Lern- oder Prüfungsziele und auf der Ebene, auf der geprüft wird. Beschwerden über die Validität einer Prüfung hängen oft mit der Bedeutung zusammen, die die Beteiligten den Ergebnissen einer Prüfung beimessen. Exam questions that meet quality criteria Kurz gesagt: Eine gute Prüfungsqualität bedeutet, dass ein Kandidat, der den Lernstoff tatsächlich beherrscht, besteht und dass die Beteiligten den Eindruck haben, dass die Prüfung fair ist. Mit Prüfungsfragen, die den Qualitätskriterien entsprechen, lassen sich in der Regel große Gewinne erzielen. Darüber hinaus ist die Erfüllung dieser Kriterien in der Regel recht einfach zu erreichen. Wichtig ist daher, sich dieser Kriterien bewusst zu sein und sie anwenden zu können. Die technisch Die verwendeten Kriterien beziehen sich auf: Relevanz; Objektivität; Spezifität; Effizienz. Relevanz (1) Gehört die Frage zu den Lern- und Prüfungszielen des Prüfungsprogramms? Betrifft sie relevantes Wissen oder geht es um solche Details, die entweder niemand wissen kann oder die niemand jemals brauchen wird? Die Frage muss sich auf Fachinhalte beziehen, die für einen Berufstätigen von Nutzen sind. Ein Beispiel: In einer Prüfung über Produktkenntnisse im Lebensmittelhandel ist es vielleicht weniger wichtig, den Nährwert von Erdnussbutter auswendig zu kennen. Schließlich kann man dies auf dem Etikett nachlesen. Objektivität (2) Ist die richtige Antwort auf diese Fragen immer richtig oder gibt es auch Situationen, in denen die ‘richtige’ Antwort tatsächlich nicht richtig ist? Können auch andere Antworten als richtig gewertet werden? Eine objective question führt in der Regel nicht zu Diskussionen. Siehe das folgende Beispiel einer nicht objektiven Frage. Welche Farben hat die niederländische Flagge? Kreuzen Sie alle richtigen Antworten an. Rot Blau Weiß Orange Richtige Antwort: A, B und C Die Frage ist, ob Antwort D, orange, nicht auch als richtig gewertet werden sollte. Angenommen, die Flagge hat einen Wimpel, dann ist dieser orange. Antwort D ist vielleicht nicht die relevanteste Antwort, aber sie ist auch nicht wirklich falsch. Auf jeden Fall kann die Frage zu Diskussionen führen. Spezifität (3) Eine Frage sollte so formuliert sein, dass jemand, der den Stoff beherrscht, sie richtig beantworten kann, während jemand, der den Stoff nicht beherrscht, dies nicht kann. Eine spezifische Frage unterscheidet also zwischen ‘guten’ und ‘schlechten’ Kandidaten. Nachstehend finden Sie ein Beispiel für eine nicht spezifische (offene) Frage. Beschreiben Sie die Führungsstile einer häufig angewandten Managementtheorie. Antwort: In der Theorie von Hersey und Blanchard werden vier Stile beschrieben. Beschreibung: Delegieren: Aufgaben an Mitarbeiter übertragen, wenig Anleitung und wenig Unterstützung; Unterstützen, beraten: Mitarbeitern helfen, wenig Steuerung; Überzeugen, motivieren: viel aufgabenorientierte Steuerung und viel Unterstützung; Aufgaben zuweisen, Anweisungen geben: viel Steuerung, wenig Unterstützung. Andere Antworten zur Bewertung durch den Korrektor. Das Problem bei dieser Frage ist, dass sie wenig konkret ist; es gibt verschiedene Managementtheorien und -modelle, die häufig angewendet werden. Außerdem wird nicht angegeben, welchen Anforderungen die Beschreibung entsprechen muss. Auf diese Weise gibt es sehr viele Antworten, die als richtig gewertet werden müssten. Effizienz (4) Um das Kriterium der Effizienz zu erfüllen, ist es wichtig, die Informationen in der Frage auf diejenigen zu beschränken, die für die Beantwortung der Frage erforderlich sind. Ein Beispiel, das wir häufig sehen, ist, dass ein Falltext den gesamten Artikel einer Tageszeitung als Hintergrundinformation enthält. Wir empfehlen, solche Informationen nicht in die Prüfung, sondern in den Lehrstoff aufzunehmen. Ein weiteres Beispiel ist, dass der Kandidat aufgrund einer doppelten Verneinung die Frage mehrmals lesen muss, um sie richtig zu verstehen. Verneinungen sollten am besten fett oder kursiv gedruckt werden, damit sie die Aufmerksamkeit auf sich ziehen. Tatsächlich fallen Sprachfehler und komplizierte Sprachkonstruktionen unter das Kriterium ‘Effizienz’. Schlussfolgerung Bei einem gute Note Es ist wichtig, dass ein Kandidat, der den Lernstoff beherrscht, besteht und dass alle Beteiligten das Gefühl haben, dass die Prüfung fair ist. Die oben genannten Qualitätskriterien für Prüfungsfragen tragen dazu bei, dieses Ziel zu erreichen.
