Rater:innenschulung: Zum Analysieren der Aufgaben durchliefen zwei Fachdidaktiker:innen eine mehrtägige Rater:innenschulung mittels Testmanual. Durch die Rater:innenschulung wurde eine hohe Interrater-Reliabilität und Objektivität der Aufgabenbeurteilung mit dem Messinstrument angestrebt (Kuckartz, 2018, S. 22).
Aufgaben Beurteilung: Die geschulten Fachdidaktiker:innen (N = 2) beurteilten insgesamt 146 Aufgaben. Die Aufgaben stammten aus dem «MINT unterwegs»-Projekt. 24% der Aufgaben wurden doppelt geratet (Brückmann & Duit, 2014, S. 190; Döring & Bortz, 2016, S. 575). In der Literatur wird eine 5-stufige Ratingskala oft als intervallskaliert beschrieben (Busker, 2014, S. 275; Döring & Bortz, 2016, S. 244f.; Wirtz & Caspar, 2002, S. 33f.), deshalb wurden die Urteilübereinstimmungen mittels des Intra Class Correlation Coefficient (ICC) geprüft (Wirtz & Caspar, 2002).
