Optimum Assessment Platform: Das Gesamtpaket für digitales Prüfen
Statistische Analysen helfen Ihnen, eine gute (digitale) Prüfung zu erstellen. Einer der statistischen Begriffe, den Sie zur Bewertung heranziehen können, ist der A-Wert. Wie definiert sich der A-Wert einer Frage? Und welche Relevanz hat der A-Wert bei einer Online-Prüfung?
Der A-Wert ist der Prozentsatz (oder Anteil) der Kandidaten und Kandidatinnen, die bei der Beantwortung einen „Ablenker“ (falsche Antwortmöglichkeit) für die Frage wählen. Bei einer Multiple-Choice-Frage gibt es verschiedene Antwortmöglichkeiten. Dabei können unterschiedlich plausible Ablenkungsantworten gestellt werden, um das vorhandene Wissen auf Genauigkeit zu prüfen. Neben der richtigen Antwort gibt es mehrere „Ablenker “. Mithilfe des A-Wertes können Sie die Qualität der Ablenker auf Basis ihrer Anforderungen messen. Jeder Ablenker in der Prüfung hat einen eigenen A-Wert, der die jeweilige Qualität bewertet. Dieser A-Wert gibt an, wie hoch der Anteil der Kandidaten und Kandidatinnen ist, die diese Ablenker wählen.
Sie können den A-Wert vereinfacht als den „Ablenkungswert” betrachten.
Eine summative Online-Prüfung zielt darauf ab, zu einer abschließenden und umfassenden Beurteilung zu gelangen. Als Prüfungs- oder Ausbildungsinstitut wollen Sie Wissen und Erkenntnisse der Kandidaten und Kandidatinnen so gut wie möglich messen. Die Auswertung der Prüfungsergebnisse auf Fragenebene lässt dezidierte Rückschlüsse auf den Leistungsstand der Teilnehmenden zu. Eine nützliche statistische Variable ist dabei der A-Wert, der Ihnen einen Einblick auf Fragen- bzw. Item-Ebene gibt und es Ihnen ermöglicht, die Qualität der richtigen Antwort im Verhältnis zu Ablenker-Antworten zu bewerten und so die Gesamtantwortmöglichkeiten zu verbessern.
Angenommen, Sie haben eine Prüfung mit 20 Multiple-Choice-Fragen. Die Relevanz der einzelnen Frage aus prüfungstechnischer Sicht wird dabei zunächst nicht berücksichtigt. Indem Sie den A-Wert pro Frage und der jeweiligen Antwortmöglichkeiten betrachten, wissen Sie, wie viel Prozent der Teilnehmenden eine Ablenker-Antwort wählen. Eine Beispielfrage lautet wie folgt:
Frage: Welche Farben hat das Logo von Optimum Assessment?
Antwort 3 ist richtig und stellt die „Schlüsselantwort” dar. Die übrigen Antworten (1, 2 und 4) sind Ablenker-Antworten. Angenommen, die rechnerischen Analysen zeigen, dass Antwortmöglichkeit 1 von den Kandidaten und Kandidatinnen fast nie gewählt wird. Die Rückschlüsse könnten sein, dass entweder die Antwortmöglichkeit nicht zur Frage passt oder sofort als Ablenker identifiziert wurde.
Eine eindeutig nicht richtige Antwort erhöht den Wahrscheinlichkeitswert für ein Zufallsergebnis. Der Wahrscheinlichkeitswert ist die Punktzahl, die ein Kandidat erreichen kann, wenn er die richtige Antwort zwar errät, sie aber nicht weiß. Ein Item bzw. Frage mit einem niedrigen A-Wert der Ablenker-Antworten trägt dazu bei, dass Ihre Prüfung den Wissensstand der Prüfungsteilnehmenden weniger zuverlässig widerspiegelt. In diesem Fall können Sie den Ablenker ändern, um eine höhere Genauigkeit der Leistungsüberprüfung zu erzielen.
Angenommen, Sie haben eine richtige Antwortmöglichkeit, die von den Teilnehmenden in der Hälfte der Fälle gewählt wird. Die Differenz wird mit einem Wert von 0,5 auf die Ablenker verteilt. Sie berechnen also immer einen A-Wert über die Antwortmöglichkeiten.
Möchten Sie mehr über den A-Wert oder andere Statistiken im Zusammenhang mit digitalen Prüfungen erfahren? Werfen Sie einen Blick in unsere Wissenszentrum. Sie können auch unseren Newsletter abonnieren oderuns auf LinkedIn folgen, um über Entwicklungen im Bereich der Online-Prüfungen auf dem Laufenden zu bleiben.
