Die dritte Beiratssitzung am 11.07.22

Am 11.07.22 haben sich die Beiratsmitglieder zur dritten Beiratssitzung zusammengefunden. In dieser wurde die laufende Forschungsarbeit der letzten Monate und das weitere Vorgehen

vorgetragen. Prof. Dr. Hendrik Drachsler rekapitulierte zuerst die Pilotstudie mit den 5 Aufgaben (z.B. Forumsdiskussion, Concept-Map, etc.). In dieser Studie erfolgte eine Datenerhebung zum Zweck der Nutzung der automatischen Kodierung in der Evaluationsstudie. Durch die gesammelten Daten in einer authentischen Lernumgebung sollen Machine-Learning-Modelle trainiert werden, um im kommenden Semester verbessertes Feedback an die Studierende geben zu können.

Dann sprach Herr Gombert über den technischen Ansatz, wie durch die Datenanalyse der ausgearbeiteten Essays der Studierenden Feedback generiert werden kann. Zuerst erfolgt eine Segmentierung der Sätze durch ein KI-Modell, welche anschließend nach verschiedenen Aspekten klassifiziert werden. Um den neuesten Stand der Technik gewährleisten zu können, wurde in jedem Schritt auf transformer-basierten künstlichen neuronalen Netzen gesetzt.

Anschließend wurde die Forumsdiskussion und deren geplante Analyse von Dr. Weidlich und Herr Menzel zusammengefasst. Studierende sollen sich in einer Gruppenarbeit auf einem Forum durch Lernvideos zum Potenzial der kognitiven Aktivierung auseinandersetzen. Den Studierenden wurde eine Hilfestellung in folgender Form vorgegeben: Phase 1 beschreibt die Sammlung und Identifikation der Unterrichtsaktivitäten. In der 2. Phase erfolgt eine Analyse und Diskussion des kognitiven Aktivierungspotenzials. In Phase 3 wird zuletzt ein gemeinsames Statement zur Beantwortung der Frage abgegeben. Die Forumsbeiträge werden im Anschluss von Herr Menzel kategorisiert um ein Machine-Learning-Modell zur Analyse zu erarbeiten, welches Feedback zur Gruppenaktivität geben soll.

Danach wurde über die Aufgabe mit der Concept-Map informiert. Die Concept-Map erregte große Aufmerksamkeit, da sie sich als sehr vielfältig und innovativ erwies. Hier soll durch einen Machine-Learning-Ansatz eine inhaltliche Analyse erfolgen. Bspw. soll der Prozess der Concept-Map-Erstellung und der zeitliche Aufwand als auch das Ergebnis maschinell mit einer Masterlösung verglichen werden. Diese wird von Prof. Dr. Frey und Herr Fink erarbeitet.

Im Anschluss wurden von Prof. Dr. Frey die Forschungsziele der Evaluationsstudie vorgestellt.

1. Untersuchung des Effektes von hochinformativem, automatisiertem Feedback (HIAF) auf die Studierendenleistung sowie die Wahrnehmung von verschiedenen über das Semester verteilten Aufgaben seitens Studierender.

• Untersuchung des Effekts der verschiedenen innovativen Aufgaben auf die Studierendenleistung sowie die Wahrnehmung verschiedener über das Semester verteilter Aufgaben seitens Studierender.

• Untersuchung der Akzeptanz von hochinformativem, automatisiertem Feedback seitens Studierender.

• Untersuchung des potentiellen Effekts von innovativen Aufgaben sowie hochinformativem, automatisiertem Feedback auf das Lernverhalten Studierender in der Onlineplattform (Moodle).

Die nächste Beiratssitzung findet im Januar 2023 statt.