Quando un test è di buona qualità? I termini validità e affidabilità sono concetti importanti per valutare la qualità di un test. Tuttavia, dietro questi termini si nasconde un mondo intero. In questo blog ci limiteremo al minimo comune denominatore. Per ulteriori informazioni sui concetti di affidabilità e validità, si rimanda alla spiegazione di Sluiter, Hemker ed Eggen (2018). Test affidabile e valido Un test è affidabile se il suo risultato non si basa sul caso. Ciò si verifica, ad esempio, quando vi sono fattori di disturbo durante lo svolgimento del test o quando vi sono errori nelle domande o nella loro valutazione. Un test valido misura ciò che dovrebbe misurare ed è in linea con lo scopo per cui vengono utilizzati i risultati del test. Un esempio dell'applicazione di questo criterio sono le domande di un test che corrispondono a specifiche formulate obiettivi didattici o di valutazione e al livello al quale viene valutato. I reclami sulla validità di un test sono spesso legati al significato che gli stakeholder attribuiscono ai risultati di un test. Domande d'esame che soddisfano i criteri di qualità In breve: una buona qualità della valutazione implica che un candidato che padroneggia effettivamente la materia superi l'esame e che le parti interessate abbiano la percezione che la valutazione sia equa. Con domande d'esame che soddisfano i criteri di qualità, di solito si ottengono grandi vantaggi. Inoltre, soddisfare questi criterii è solitamente abbastanza facile. È quindi importante essere consapevoli di questi criteri e saperli applicare. Il tecnico I criteri utilizzati riguardano: Rilevanza; Obiettività; Specificità; Efficienza. Rilevanza (1) La domanda rientra negli obiettivi didattici e di valutazione del programma d'esame? Riguarda conoscenze rilevanti o dettagli che nessuno può conoscere o che nessuno utilizzerà mai? La domanda deve riguardare contenuti specialistici utili a un professionista. Un esempio: in un esame sulla conoscenza dei prodotti nel commercio alimentare, forse è meno importante conoscere a memoria il valore nutrizionale del burro di arachidi. Dopotutto, le informazioni necessarie sono riportate sull'etichetta. Obiettività (2) La risposta corretta a queste domande è sempre giusta o ci sono anche situazioni in cui la risposta ‘giusta’ in realtà non è corretta? Ci possono essere anche altre risposte corrette? A domanda oggettiva di solito non porta a discussioni. Vedi l'esempio seguente di una domanda non oggettiva. Di che colori è la bandiera olandese? Segna tutte le risposte corrette. Rosso Blu Bianco Arancione Risposta corretta: A, B e C La domanda è se anche la risposta D, arancione, non debba essere considerata corretta. Supponiamo che la bandiera abbia un pennone: questo è arancione. La risposta D forse non è la più pertinente, ma non è nemmeno del tutto errata. In ogni caso, la domanda può dare adito a discussioni. Specificità (3) Una domanda deve essere formulata in modo tale che chi padroneggia la materia sia in grado di rispondere correttamente, mentre chi non la padroneggia non sia in grado di farlo. Una domanda specifica distingue quindi i candidati ‘buoni’ da quelli ‘cattivi’. Di seguito è riportato un esempio di domanda non specifica (aperta). Descrivi gli stili di leadership di una teoria manageriale ampiamente applicata. Risposta: La teoria di Hersey e Blanchard descrive quattro stili. Descrizione: Delegare: affidare compiti ai collaboratori, fornendo poche indicazioni e poco supporto; Supportare, consultare: aiutare i collaboratori, poco controllo; Convincere, motivare: molta guida orientata ai compiti e molto sostegno; Assegnare compiti, dare istruzioni: molto controllo, poco sostegno. Altre risposte a discrezione del correttore. Il problema di questa domanda è che è poco mirata; esistono diverse teorie e modelli di gestione che vengono spesso applicati. Inoltre, non viene specificato a quali requisiti debba soddisfare la descrizione. In questo modo, ci sono moltissime risposte che dovrebbero essere considerate corrette. Efficienza (4) Per soddisfare il criterio di efficienza, è importante limitare le informazioni contenute nella domanda solo a quelle necessarie per rispondere alla domanda stessa. Un esempio che vediamo spesso è che il testo di un caso contiene l'intero articolo di un quotidiano come informazione di base. Il consiglio è quindi quello di non includere tali informazioni nell'esame, ma nel materiale didattico. Un altro esempio è quello in cui il candidato, a causa della presenza di una doppia negazione, deve leggere la domanda più volte per comprenderla correttamente. È consigliabile evidenziare le negazioni in grassetto o in corsivo in modo che attirino l'attenzione. In realtà, gli errori linguistici e le costruzioni linguistiche complesse rientrano nel criterio dell'efficienza. Conclusione In caso di buon test È importante che un candidato che padroneggia la materia superi l'esame e che tutte le parti coinvolte abbiano la sensazione che la prova sia equa. I criteri di qualità sopra indicati per le domande d'esame contribuiscono al raggiungimento di questo obiettivo.
