Prüfen mit Multiple Choice – differenzieren statt polemisieren

MCA – Multiple-Choice-Aufgaben –  haben an Hochschulen und insbesondere in den Geisteswissenschaften einen schweren Stand. Wer zum Beispiel die Kommentare zu einem Zeit-Online-Artikel zum Thema „Klausuren“ (hier) liest, erlebt ein eigentliches MCA-Bashing. Dass es auch differenzierter geht, zeigt der in der neuesten Nummer der „Zeitschrift für Pädagogische Psychologie“ erschienene Übersichtsartikel „Multiple-Choice-Prüfungen an Hochschulen? Ein Literatur-Überblick und Plädoyer für mehr praxisorientierte Forschung“ (innerhalb des PHLU-Netzwerks im Volltext hier). In der Studie werden die zwei grundlegenden Prüfungsformate MCA (Mutiple-Choice-Aufgaben) und CRA (Constructed-Response-Aufgaben / Freitextformat) einander gegenübergestellt.

1. MCA finden Eingang in die Geistes- und Sozialwissenschaften
MCA werden vermehrt nicht nur in den klassischen MCA-Fächern Medizin und Rechtswissenschaft eingesetzt. Sie finden immer häufiger auch Verwendung in weiteren Fächern, darunter sind auch die Geistes- und Sozialwissenschaften.

2. Objektivität, Reliabilität
Mit MCA können gegenüber CRA in der gleichen Zeit deutlich mehr Aufgaben gestellt und ein breiteres Spektrum abgedeckt werden. Die Vorteile: Mehr diagnostische Informationen mit weniger Zeitaufwand und höherer Auswertungsobjektivität.

3. Ökonomie
Gegenüber CRA haben Leistungsnachweise mittels MCA offensichtliche Vorteile beim Auswertungsaufwand mit zugleich hoher Auswertungsobjektivität. Mit computerbasierten MCA-Tests wird der Zeitgewinn – insbesondere bei grossen Prüfungsgruppen – noch grösser. Zudem profitieren die Studierenden von schnellen Leistungsrückmeldungen.

4. Gut konstruierte MCA sind vergleichbar mit CRA
Auf die Frage, ob mit MCA vergleichbare Kompetenzen gemessen werden können wie mit CRA (Messäquivalenz), gibt die Forschungsliteratur keine klare Antwort. In der Tendenz zeigt sich aber, dass mit entsprechend konstruierten MCA-Tests durchaus auch komplexe Fertigkeiten getestet werden können. Interessant: Leistungsschwächere Studierende bevorzugen MCA, leistungsstärkere hingegen CRA, weil sie davon ausgehen, in diesen ihre Stärken besser zeigen zu können.

5. Mit MCA können auch komplexe Fertigkeiten getestet werden
MCA sind bekanntermassen bei Tests zum Wissen (im Sinne der Bloomschen Taxonomie) den CRA überlegen (Objektivität, Ökonomie etc.). Neuere Arbeiten zeigen, dass MCA durchaus auch geeignet sind, komplexere Fertigkeitsstufen wie Verständnis, Interpretation, Wissensanwendung etc. zu erfassen. Die Konstruktion entsprechender MCA ist aber anspruchsvoll (Fallvignetten etc.). Kreative und schöpferische Prozesse sind hingegen mit MCA kaum messbar.

6. Das Erstellen guter MCA ist anspruchsvoll
Viele MCA sind von mangelhafter Qualität. Das Erstellen von MCAs mit hoher diagnostischer Qualität stellt hohe Anforderungen. Fachexpertise, Kreativität, psychometrische und testtheoretische Kenntnisse müssen in hohem Mass vorhanden sein. Die Anwendung von durchaus vorhandenen MCA-Konstruktionsregeln kann viel zur Qualität von MCAs beitragen. So sind Tests mit nur 30 Aufgaben wenig aussagekräftig, während mehr als 100 Aufgaben kaum noch zur Verbesserung der Aussagequalität beitragen.

7. Rateeffekte in die MCA-Konstruktion einbeziehen
Die beste Methode zur Vermeidung von Rateeffekten bei Studierenden ist die Konstruktion guter MCA. Dazu gehören wirklich gleichwertige Antwortmöglichkeiten (=Distraktoren) und eine genügend hohe Anzahl von Fragen (siehe Punkt 6).

8. Number-Right-Scoring ist transparent und fair
Um Rateeffekte zu vermeiden wird oft auf komplexe Scoringsysteme – z.B. mit Maluspunkten – zurückgegriffen. Die Folgen sind hohe Komplexität, mangelnde Transparenz, unkalkulierbare Statistikeffekte und rechtliche Unwägbarkeiten. Die Autor(inn)en der Studie raten deshalb, als Auswertungsmethode nur die Anzahl der richtigen Antworten einzubeziehen, hochwertige Distraktoren zu verwenden, genügend Fragen einzusetzen und komplexe MC-Formate zu verwenden (im Beitrag findet sich eine entsprechende Übersicht zu diesen Formaten).

9. MCA-Assessments sind auch Lernsituation
Leistungsüberprüfungen gleich welcher Art wirken sich oft auch auf das Lernverhalten der Studierenden aus. So zeigen Studien, dass Studierende MC-Tests gegenüber CR-Tests als eher leichtes Format bewerten und deshalb in der Vorbereitung auf eher oberflächliche Lernstrategien (z.B. reines Faktenlernen) zurückgreifen. Erstaunlich: Komplexere Lernstrategien können sogar zu schlechteren MC-Testergebnissen führen, weil kleinste Fehler oder Ungenauigkeiten in den Antworten bei kritischen Studierenden Unsicherheiten auslösen können.
Im weiteren können sich Studierende, die oft mit MCAs konfrontiert werden, aufgrund von spezifischen Lösungsstrategien (Test-Wiseness) bei unsorgfältig gemachte MC-Tests Vorteile verschaffen.
Eine weitere Problematik von MCA besteht darin, dass falsche Antworten sich bei den Studierenden durch den Test noch verfestigen. Insbesondere bei computergestützten MC-Tests kann dies durch ein geschicktes Test-Design (unmittelbare Präsentation der richtigen Antwort) vermieden werden. Die Autor(inn)en stellen in ihrem Artikel einige entsprechende Methoden vor.

10. Fazit für Hochschulprüfungen
MC-Test an Hochschulen haben viel Potenzial, wenn sie sorgfältig konstruiert werden, ein entsprechendes (informelles bzw. kollegiales) Qualitätsmanagement institutionalisiert ist, PC-gestützt durchgeführt werden, komplexe Fragetypen beinhalten und mit anderen Formaten kombiniert werden (CRA).

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*
*