Computersimulierte Arbeitsproben: Eine Validierungsstudie am Beispiel der Fehlerdiagnoseleistungen von Kfz-Mechatronikern

Abstract

"Im Kontext verschiedener Arbeiten zur Vorbereitung eines Large-Scale-Assessments in der beruflichen Bildung (VET-LSA) gehen die Autoren der Frage nach, wie valide computerbasierte Simulationen realer Arbeitsproben zur Kompetenzmessung sind. Dabei wollen sie prüfen, was bei einer inhaltstreuen Überführung beruflicher Realität in computersimulierte Umwelten genau passiert, d.h. wie ändern sich die Anforderungen und damit die Schätztreue von Kompetenzen? Diese Fragestellung wird anhand eines Zweigruppenversuchsplans mit randomisierter Gruppenbildung und N=257 Kraftfahrzeugmechatronikern des dritten und vierten Ausbildungsjahres untersucht. Im Rahmen des Projekts wurden in enger Kooperation mit Experten aus dem Feld des Kraftfahrzeugwesens acht authentische Fehlerfälle entwickelt, die sowohl im Kraftfahrzeug selbst als auch in simulierter Form realisiert wurden. Beiden Versuchsgruppen wurden jeweils vier reale und vier simulierte Fehlerfälle zur Bearbeitung gegeben und anschließend die Daten mittels klassischer Analyseverfahren (Häufigkeitstabellen, Chi-Quadrat-Statistiken), ergänzt um Verfahren mit latenten Variablen (latente Korrelationen, Analyse von Itemfitwerten) ausgewertet. Dabei zeigen sich nur geringe Testmoduseffekte zwischen den beiden Darbietungsformen "Realität" und "Virtualität". Mit diesen Erkenntnissen empfehlen sich computerbasierte Messverfahren zur validen Erfassung zentraler Kompetenzaspekte." (Autorenreferat, BIBB-Doku)