Die zweite Beiratssitzung am 24.1.22

In der zweiten Beiratssitzung am 24.1.22 stellten Professor Hendrik Drachsler und Professor Andreas Frey (zusammen mit Mitgliedern des HIKOF-Teams) den aktuellen Stand des Projekts vor, insbesondere zu der seit September 2021 laufenden und im Februar 2022 abgeschlossenen Pilotstudie. Diese fand in zwei Einführungskursen für Lehramtsstudierende (Frey und Hardy – BW-A-Sb1: Einführung in Unterricht sowie Diagnostik und Beratung) mit ca. 1000 eingeschriebene Studenten statt. Vorlesungen wurden im Hybridformat im Hörsaal gehalten und für externe Studierende live gestreamt, zudem gab es Aufzeichnungen, die den Studierenden über die Moodle-Umgebung zur Verfügung gestellt wurden. Aufgrund des erhöhten Infektionsrisikos von COVID-19 wurde das hybride Format dann Anfang 2022 auf ein ausschließlich virtuelles Format umgestellt.

Neben den Vorlesungsinhalten, bearbeiteten die Studierenden über das Semester hinweg fünf größere Aufgaben, z. B. in einer Forumsdiskussion zusammenarbeiten, um eine komplexe Einschätzungsfrage gemeinsam zu beantworten oder das Konstruieren einer Concept Map, die zentrale Kursinhalte logisch zusammenfasst. Um Feedback an alle Studierenden zu diesen diversen Aufgaben zu geben, haben wir Leistungs- und Prozessdaten gesammelt, die auf produktive und weniger produktive Lernverläufe hinweisen. Auf Basis dieser Daten erhielten alle Studierenden insgesamt fünfmal über das Semester hinweg ein personalisiertes Feedback.

Diese Rückmeldungen wurden in vier verschiedenen Feedbackformaten gegeben, um die relative Effektivität dieser Formate zu untersuchen. Studierende erhielten entweder Rückmeldungen, inwiefern sie in Relation zu Ihren KommilitonInnen abschnitten (normreferenziertes Feedback), inwiefern sie die Lernziele für diese Aufgabe erreichten (kriteriumsreferenziertes Feedback) oder eine Kombination dieser Formate (norm- und kriteriumsreferenziertes Feedback). Als Vergleichsgröße diente ein minimales Feedbackformat, welches mit den Rückmeldungen aus dem vorigen Semester gleichzusetzen war. Somit kann die relative Effektivität der verschiedenen personalisierten Feedbackformate –über das bisher vorhandene Angebot hinaus– wissenschaftlich festgestellt werden.

In der ersten Beiratssitzung wurden vom Beirat vier zentrale Fragen aufgeworfen, die wir in dieser zweiten Beiratssitzung wie folgt behandeln konnten:

Frage: Wie hoch wäre der erforderliche Aufwand für die Umsetzung von Aufgaben zur Erhebung von Lernprozess- und Verhaltensdaten von Studierenden für die Beiratsmitglieder, wenn sie diese an ihrem Arbeitsplatz nutzen möchten?

Antwort: Es besteht kein Zweifel, dass die Umsetzung der Aufgaben, des Feedbacks und der automatischen Bewertung für die Mitglieder des HIKOF-Projektes viel Zeit und Mühe erfordert, insbesondere beim ersten Mal, also der Pilotstudie. Sobald dies jedoch abgeschlossen ist, d.h. erste Erfahrungen gesammelt und Prozesse durchlaufen sind, wäre es unserer Einschätzung nach für die Beiratsmitglieder einfacher und zeiteffektiver, diese Technologien auch in ihren eigenen arbeitsbezogenen Kontexten umzusetzen.

Frage: Wie ist das Projekt datenschutzrechtlich geschützt?

Antwort: Das Projekt hat einen ausführlichen und strengen ethischen Genehmigungsprozess einschließlich Datenschutz und Privatsphäre am DIPF Leibniz-Institut für Bildungsinformation und Bildungsforschung durchlaufen, der genehmigt wurde. Im geschäftlichen und industriellen Kontext kann der Prozess der Gewährleistung des Datenschutzes eine größere Herausforderung darstellen. Die zur Erlangung des Datenschutzes verwendeten HIKOF-Dokumente werden den Beiratsmitgliedern zur Verfügung gestellt, um diesen Prozess für interessierte Personen transparenter zu machen.

Frage: Wie haben die Studierenden auf die in der Studie verwendeten Technologien reagiert? Wie hoch war die Annahmequote?

Antwort: Von ca. 1000 Studenten lehnte niemand die Teilnahme an der Studie ab, obwohl diese Möglichkeit natürlich im Vorhinein klar kommuniziert wurde. Somit stimmten alle Studierenden dem Einsatz von Technologien im Kurs zu, um ihr Lernverhalten zu erfassen und Daten zu verarbeiten, mit dem Ziel, die Lernerfahrungen und -ergebnisse der Studenten zu unterstützen und ihren Studienerfolg zu steigern. Somit kann für die Pilotstudie von einer 100% igen Akzeptanz ausgegangen werden.

Frage: Ist es möglich, eine spezielle Interessengruppe mit HIKOF-Mitgliedern zu gründen, um ein bestimmtes Thema zu bearbeiten (z. B. die Concept-Map-Aufgabe)?

Antwort: Aufgrund der Projektanforderungen an jedes HIKOF-Mitglied, in kurzer Zeit hochwirksame Ergebnisse zu liefern, würde dies die Ressourcen des Teams aktuell zu stark belasten. Bei Interesse unter den Beiratsmitgliedern könnten jedoch Kleingruppen untereinander gebildet werden, um dies zu ermöglichen.

*Die Beiratssitzungen finden während der Projektlaufzeit zweimal jährlich statt (typischerweise im Januar und Juli).