Die vierte Beiratssitzung fand am 31.03.2023 statt und brachte spannende Ergebnisse und Diskussionen hervor. Die Studie läuft noch ein Jahr und endet im Mai nächsten Jahres. In der Beiratssitzung wurden die Ergebnisse der Pilotstudie präsentiert, bei der Daten in einer Moodle-Umgebung aufgezeichnet und bestimmte Data Analytics verwendet wurden, um Machine-Learning-Modelle zu trainieren und Feedback zu geben.
Die Sitzung begann mit einer Einführung von Prof. Dr. Hendrik Drachsler, der einen Überblick über die Bedeutung von KI im Allgemeinen gab. Anschließend präsentierte Dr. Joshua Weidlich das Forschungsdesign der Studie. Die Studienpopulation wurde in der Veranstaltung in eine Experimentalgruppe und eine Kontrollgruppe aufgeteilt, um zwei Aspekte zu untersuchen: Wie die neuen Aufgaben bei den Studierenden ankommen und ob sie lernförderlich sind. Der Hauptfokus liegt hierbei auf hochinformativem Feedback.
Eine der innovativen Aufgaben, die den Studierenden gestellt wurden, war es, bestimmte Lerntipps in einem Essay zu formulieren und einzureichen, nachdem sie sich Lerntipps von „It’s Lenaa“ angesehen hatten. Die Kontrolle bestand darin zu prüfen, ob die Lerntipps im Essay korrekt angewendet wurden. Eine weitere Aufgabe war eine Forumsdiskussion, bei der die Studierenden im Forum gemeinsam zu einem Thema diskutieren und eine Position erarbeiten mussten, die sie dann einreichen mussten. Die dritte Aufgabe war die Erstellung einer Concept Map, bei der die Studierenden eine Masterlösung in der Moodle-Umgebung ausarbeiten mussten. Hierbei kann verfolgt werden, wie Studierende ihren Ansatz mit Bausteinen zusammengebaut haben.
Die Ergebnisse der Gruppen wurden von Sebastian Gombert (Doktorand mit Fokus auf Machine-Learning) präsentiert. Das Datenset bestand aus 700 Essays aus der Vorlesung „Einführung in Unterricht sowie Diagnostik und Beratung“. Es wurden 10 Codes pro Lerntipp erstellt, insgesamt also 100 Codes. Die Architektur hinter dieser Aufgabe sieht wie folgt aus: Herunterladen der PDF-Texte, automatisches Aufteilen in Textsegmente und die Zuordnung der Sätze zu den entsprechenden Lerntipps. Die technische Umsetzung erfolgte mithilfe von Deep-Learning-Modellen wie BERT. Es wurden auch Templates erstellt, um Regeln für die Bestimmung der Diskrepanzen festzulegen. Manuelle Überprüfungen wurden für formale Aspekte wie APA-Formatierung oder Rechtschreibfehler durchgeführt, und zu einem bestimmten Zeitpunkt wurde allen Studierenden Feedback gegeben, um herauszufinden, wie sie es wahrgenommen haben.
Die Ergebnisse der Evaluation wurden präsentiert, bei welcher die Essays über „It’s Lenaa“ mit den tatsächlichen Lerntipps verglichen wurde. Es zeigte sich, dass die automatisierte Klassifizierung der Sätze zu den Lerntipps eine hohe Genauigkeit erreichte, was vielversprechend für die weitere Verwendung von HIKOF als Feedbackinstrument ist. Im nächsten Schritt wurden die Daten der Forumsdiskussion analysiert und von Dr. Joshua Weidlich präsentiert. Es werden Daten zu verschiedenen Feedback-Arten festgehalten, um zu zeigen, wie gut die Lernziele erreicht wurden. Es wird untersucht, wie sich das Lernverhalten in Bezug auf Motivation und Emotionen verändert. Die Ergebnisse sind jedoch paradox und schwer einzuordnen, da intrinsische und extrinsische Motivation unterschiedliche Auswirkungen haben. Es wurde beobachtet, dass bei extrinsischer Motivation ein linearer Rückgang zu verzeichnen ist. Zudem wurde analysiert, wie sich die Leistung innerhalb der Gruppen unterscheidet, mit einigen Teilnehmern, die weit über dem Durchschnitt liegen und anderen, die weit darunter liegen. Die Hoffnung, dass das Lernen gut vorankommt (Hope), wird stark von dem erhaltenen Feedback beeinflusst, und es wurde auch festgestellt, dass das Feedback Unzufriedenheit und Wut (Anger) auslösen kann, insbesondere bei denjenigen, die als Underperformer eingestuft wurden und das kriterienbezogene Feedback in Bezug auf die Lernziele am stärksten wahrgenommen haben. Es gibt auch erste Einblicke, wie das Feedback emotional und motivierend wahrgenommen wird.
Die vorläufigen Ergebnisse zeigen, dass Gruppe 3 das Feedback am besten annimmt und es als hilfreich für das weitere Lernen betrachtet. Das Feedback macht den aktuellen Fortschritt bewusst und fördert die Reflexion über das bisherige Lernverhalten. Die Qualität des Feedbacks wird als hilfreich wahrgenommen. Es wird auch darauf hingewiesen, dass weitere statistische Auswertungen und Analysen in der Moodle-Umgebung folgen, um signifikante Ergebnisse zu identifizieren und ihre Bedeutung genauer zu verstehen. Insgesamt zeigten die Ergebnisse der Pilot- und Evaluationsstudie, dass das hochinformative Feedback einen positiven Einfluss auf verschiedene Aspekte des Lernverhaltens von Studierenden
hatte.
Die Beiratssitzung endete mit einer lebhaften Diskussion über weitere Schritte und zukünftige Forschungsrichtungen des HIKOF-Projekts. Die nächsten Schritte des HIKOF-Projekts umfassen die Fortsetzung der Datenerhebung und -analyse, um weitere Erkenntnisse über die Wirksamkeit als Feedbackinstrument zu gewinnen. Es wird erwartet, dass die Ergebnisse des Projekts dazu beitragen werden, das Verständnis darüber zu erweitern, wie hochinformatives Feedback zur Verbesserung des Lernverhaltens von Studierenden beitragen kann und wie KI-gestützte Ansätze in der Bildung eingesetzt werden können.