Mit Signature Scenarios zum Kompetenzerwerb : die Analyse von Performance Tasks in virtuellen Simulationen

Abstract

„Im Verbundvorhaben PSA-Simwurde mit der LUCA Office Simulation eine authentische Büro-Simulation entwickelt, die flexibel einsetzbar ist und neben der Gestaltung von Lehr-Lern-Prozessen auch das Assessment von Lernleistungen ermöglicht. Wesentliches Element des Assessments sind sogenannte Signature Scenarios, die zentrale Inhalte der kaufmännischen Grundausbildung abbilden. Die Modellierungen der Szenarien basieren auf umfassenden Domänenanalysen, und die Szenarien sind in ein Modellunternehmen eingebettet. Die Signature Scenarios weisen eine Bearbeitungsdauer von etwa 30 bis 45 Minuten auf. Die Auszubildenden werden dabei mit authentischen Arbeitsszenarien konfrontiert, für deren Lösung berufliche und berufsübergreifende Kompetenzen der kaufmännischen Domäne benötigt werden, die auch in der realen Handlungssituation zum Erfolg führen würden. Der Beitrag zeigt exemplarisch, wie Auszubildende mit den Signature Scenarios in LUCA arbeiten, welche Leistungen sie dabei zeigen und welche Rückschlüsse mit Blick auf den Kompetenzerwerb und die Förderung von kaufmännischen Kompetenzen möglich sind. Der Beitrag basiert auf IRT-Analysen des Signature Scenarios „Lieferantenauswahl“, das bei 1.748 Auszubildenden in Baden-Württemberg und Nordrhein-Westfalen eingesetzt wurde. Im Folgenden berichten wir über die Befunde zweier Studien: In Studie 1 wird der Problembearbeitungsprozess analysiert und in Studie 2 erfolgt eine individuelle Leistungsdiagnostik. Die Ergebnisse zeigen zweierlei: (1) Die Komplexität der Signature Scenarios stellt vor allem zu Beginn der Ausbildung eine Hürde dar, die durch den Einsatz von (teil-)automatisierten Hilfen, zum Beispiel in Form von Prompts, überwunden werden kann. (2) Die Bewältigung der Anforderungssituation setzt sowohl einen sprachlich-argumentativen als auch einen mathematisch-analytischen Zugang voraus, die sich in einem zweidimensionalen IRT-Modell plausibel abbilden lassen. Die Item- und Personenparameter erlauben eine angemessene Unterscheidung zwischen den Testpersonen, sodass interindividuelle Leistungsunterschiede innerhalb dieser Zugänge analysiert werden können.“ (Autorenreferat; BIBB-Doku)„In the project PSA-Sim, the LUCA office simulation was developed as an authentic learning and assessment environment that can be used flexibly and, in addition to supporting teaching and learning processes, also enables the assessment of learning performance. An essential element of the assessment are so-called signature scenarios, which depict the central content of basic commercial training. The Signature Scenarios last around 30 to 45 minutes to complete and are based on a model company. Learners are confronted with authentic problem scenarios that require skills that would also lead to success in a real-life situation. We use an example scenario to show how trainees work with the Signature Scenarios in LUCA, how they perform and what conclusions can be drawn with regard to skills acquisition and the promotion of commercial skills. The contribution is based on IRT analyses of the signature scenario “Supplier selection”, which was used with 1,748 trainees in Baden-Wurttemberg and North Rhine Westphalia. We report on two studies: Study 1 analyzes the problem-solving process and study 2 describes individual performance diagnostics using performance tasks. Two findings are particularly noteworthy: (1) The complexity of the signature scenarios represents a hurdle, especially at the beginning of the training, which can be overcome by using (partially) automated aids, for example in the form of prompts. (2) To meet the requirements, trainees need linguistic-argumentative and mathematical-analytical skills, which can be plausibly depicted in a two-dimensional IRT model. The item and person parameters allow an appropriate differentiation between the test subjects so that inter-individual differences in performance can be analyzed within these approaches.“ (authors’ abstract; BIBB-Doku)