Strukturanalyse eines kognitiven Messinstruments im Multiple Choice-Format : das Beispiel des Test of Economic Literacy (TEL4-G)

Abstract

Trotz beachtlicher Fortschritte in der Entwicklung computerbasierter, simulativ und adaptiv angelegter Messinstrumente werden in Bildungsforschung und Bildungspraxis immer noch vorwiegend herkömmliche Leistungstests eingesetzt. Ihre interne Struktur weist bei genauerem Hinsehen Facetten auf, die nicht in den Blick geraten, wenn, wie das nicht selten der Fall ist, lediglich die in Pilotierungen standardmäßig ermittelten Testkennwerte zur Beurteilung herangezogen werden. Am Beispiel der deutschsprachigen Version des international eingesetzten ,,Test of Economic Literacy, 4th Ed." wird diskutiert, welche weiteren Merkmale für eine adäquate Interpretation der Test(kenn)werte in Betracht gezogen werden sollten, welche Bedeutung ihnen zukommt und welche Weiterentwicklungen unter dem Validitätsaspekt erforderlich erscheinen. Wie die Daten (nicht nur) unserer Validierungsstudie zeigen, erbringen die in der Testentwicklung international verbreitet angewandten kognitiven Merkmale nicht uneingeschränkt die ihnen theoretisch unterstellte Erklärungsleistung für die Aufgabenschwierigkeit. Weitere, auch nicht-kognitive Bedingungen und Merkmale des Testlösungsverhaltens bedürfen einer genaueren Untersuchung und differenzierteren Kontrolle.

Despite considerable progress in the development of computer-based, simulative, and adaptive assessment tools, traditional paper-pencil performance tests are predominantly used in education research and practice. On closer examination, however, the internal structure of these tests reveals aspects that remain unnoticed if only standard testing parameters, usually determined in pilot studies, are considered for the assessment. We use the German version of the internationally administered ,,Test of Economic Literacy, 4th Ed." as an example to discuss further features that should be considered for an adequate interpretation of testing parameters and scores, their importance, and possible enhancements needed to ensure the validity of interpretations. As (not only) the results of our validity study indicate, the cognitive features widely applied in international test development do not have the theoretically alleged power to fully determine task difficulty. From such observations we conclude that additional features, including non-cognitive conditions and characteristics of test solving strategies, require closer investigation and more elaborated control.