Zur Qualität beruflicher Abschlussprüfungen : Psychometrik und praxisnahe Designstandards – Ausgewählte Befunde des Verbundvorhabens ASPE

Abstract

„Im Verbundvorhaben wurde mit der ASPE-Workbench eine Umgebung konzipiert, mit der (1) die Gestaltung kaufmännischer Abschlussprüfungen entlang von Designstandards erfolgt und (2) die psychometrische Qualität neu konzipierter Abschlussprüfungen gesichert wird. Wesentliches Merkmal der Workbench ist der Praxisbezug. Dies bedeutet zum einen, dass die Designkriterien so in digitale Templates überführt werden, dass sie für die Prüfungserstellenden direkt handlungswirksam werden. Zum anderen werden die konzipierten Prüfungsaufgaben einem Rating unterzogen, das ihren (antizipierten) Schwierigkeitsgrad vorhersagt. Beide Aspekte haben direkten Einfluss auf die Qualität der Prüfungen, da sie (1) eine handlungs- und kompetenzorientierte inhaltliche Gestaltung (Stärkung der Konstruktvalidität) und (2) eine angemessene Schwierigkeitsverteilung, die zwischen den unterschiedlichen Leistungsfähigkeiten der Auszubildenden gut diskriminieren kann (Stärkung der Reliabilität), garantieren. Der Beitrag beschreibt die theoretischen Bezüge hinter den Designkriterien und zeigt auf, wie sich die kompetenzorientierte Gestaltung kaufmännischer Abschlussprüfungen nahtlos in die internationalen Diskurse um lerner:innenzentrierte und authentische Assessments einbinden lässt. Zudem werden empirische Befunde aus Reliabilitätsstudien berichtet, aus denen ein praxisnahes Rating abgeleitet wurde, das Prüfungserstellende ohne ausgewiesene statistische Expertise in die Lage versetzt, a priori die Schwierigkeit einer Prüfungsaufgabe zu prognostizieren. Diese Schwierigkeitsprognostik ist in hohem Maße qualitätssichernd, da sie für die einzelne Prüfung eine angemessene Verteilung der Prüfungsaufgaben entlang der zu erwartenden Kompetenzstandards ermöglicht und über die Zeit vergleichbare Gesamtschwierigkeiten in den Prüfungsjahrgängen erzeugt“ (Autorenreferat; BIBB-Doku)„In the joint research project, the ASPE Workbench was designed to provide an environment that (1) ensures the design of commercial final examinations in accordance with design standards and (2) ensures the psychometric quality of newly designed final examinations. A key feature of the workbench is its practical relevance. On the one hand, this means that the design criteria are transferred into digital templates in such a way that they become directly effective for the examiners. On the other hand, the designed examination tasks are subjected to a rating that predicts their (anticipated) level of difficulty. Both aspects have a direct influence on the quality of the examinations, as they guarantee (1) an action- and competence-oriented content design (strengthening construct validity) and (2) an appropriate distribution of difficulty that can effectively discriminate between the different abilities of the trainees (strengthening reliability). The paper describes the theoretical references behind the design criteria and shows how the competence-oriented design of final commercial examinations can be seamlessly integrated into the international discourses on learner-centered and authentic assessments. In addition, empirical findings from reliability studies are reported, from which a practice-oriented rating was derived that enables examiners without proven statistical expertise to predict the difficulty of an exam task a priori. This difficulty prognosis is highly effective in ensuring quality, as it enables an appropriate distribution of exam questions for the individual exam along the expected competency standards and generates comparable overall difficulty levels over time in the exam years.“ (authors’ abstract; BIBB-Doku)