Der Feldzugang für die Pilotstudie ist durch die zahlenmäßig größte Vorlesung der Goethe-Universität “Einführung in Unterricht sowie Diagnostik und Beratung“ zur Einführung in die Bildungswissenschaften im Lehramtsstudium von Herrn Prof. Dr. Frey gesichert. Die Pilotstudie hat am 19.11.21 mit diesem Kurs erfolgreich begonnen. 

Auf Basis der bisherigen Prozess- und Klausurdaten wird eine erste Version der KI für automatisiertes Feedback erarbeitet. Zunächste werden die Lernziele der Vorlesung kompetenzorientiert konkretisiert (Matrix Inhaltsbereiche x kognitive Prozesses). Diese Matrix bildet die Grundlage sowohl für das formative als auch für das summative kompetenzorientierte Feedback. Für das formative Feedback werden umfangreiche Datenbestände herangezogen, die bei der Nutzung eines einfachen digitalen Lern- und Assessment-Moduls in der Pilotstudie semesterbegleitend erhoben wurden. Die Analyse der seitens der Prozessdaten abgebildeten Lernaktivitäten erfolgt mit datenreduzierenden statistischen Verfahren. Diese verfolgen das Ziel Indikatoren für produktives und unproduktives Lernverhalten im Hinblick auf die mit der oben genannten Lernzielmatrix zu identifizieren. Für das summative Assessment werden Klausurdaten vorheriger Semester aus der gleichen Vorlesung analysiert. 

Die erweiterte OnTask und KAT-HS Software wird in Experimental-Kontrollgruppen-Designs mit randomisierter Gruppenzuweisung in der Pilotstudie durchgeführt. Die Daten der Pilotstudie werden analysiert und zur Optimierung der KI zur Feedbackgenerierung für die Evaluationsstudie aufbereitet. Wenn nötig werden die Templates und deren Kombination überarbeitet. Mit Hilfe der Prozessdaten aus der Pilotierung mit rund 1000 Studierenden werden mittels Supervised-Machine-Learning Algorithmen Klassifizierungen von Lernenden und deren Informationsbedürfnisse berechnet. Das resultierende Klassifikationsmodell wird in der Evaluationsstudie verwendet, um den Teilnehmenden personalisiertes formatives und summatives Feedback zu geben.