Wie KI Anerkennungsprozesse unterstützen kann

Jetzt ist ChatGPT bald ein Jahr alt und hat viele Schulen und Hochschulen überrollt. Was wurde nicht alles über Lehre, Prüfungen, Plagiate und Datenschutz geredet, doch irgendwie kam die Verwaltung bzw. Organisation der Hochschule dabei gefühlt zu kurz. Dabei kann KI gerade dort ihre Stärken ausspielen.

Das Umfeld und die Erfahrung

An der TH Lübeck beschäftigen wir uns seit Jahren mit 100% digitalen Kursen für das Online Studium z.B. für die Virtuelle Fachhochschule oder für das lebenslange Lernen u.a. mit MOOCs. Insgesamt haben wir hunderte von Kurstemplates und über 20.000 Kurse mit Metadaten wie Modulbeschreibungen, Taxonomien, Lernzielen usw. Die Erstellung und Verwaltung dieser Module ist in höchstem Grade automatisiert und wird durch ein ERP-System gesteuert. Das war bis zum letzten Jahr auch äußerst sinnvoll, aber jetzt ist ChatGPT gekommen und man muss die Prozesse neu überdenken. Was gestern noch Menschen und Code gemacht haben, kann heute eine KI bewerkstelligen und der Mensch hat “nur” noch eine kontrollierende Funktion.

In Lübeck haben wir uns zuerst Modulhandbücher angeschaut: “ChatGPT: Schreibe mir ein Modulhandbuch über das Modul “Informationsarchitektur” im Master Studiengang Medieninformatik drittes Semester.“

Die Ergebnisse waren beeindruckend und man konnte den Prompt auch variieren, z.B. die ECTS Punkte extra erwähnen oder die Kompetenzen einzeln aufführen. Gerade das letztere hat uns interessiert, da man Kompetenzen gut vergleichen kann, z.B. für die Anerkennung von Studierendenleistungen beim Hochschulwechsel oder bei einem Auslandsemester. An der TH Lübeck sind wir dabei in mehreren Projekten tätig, besonders spannend sind dabei PIM (Plattform für Inter*nationale Studierendenmobilität), der Digital Campus aber auch Wisy@KI und MyEduLife. Bei all diesen Projekten versuchen wir mehr oder weniger erfolgreich, aus unstrukturiertem Fließtext, geordnete standardisierte Strukturen zu erschaffen, die dann maschinell verarbeitet werden können. Das die Lösung dafür oft eine KI ist, haben wir anfangs nicht gedacht, aber die Projekte sind auch alle vor ChatGPT gestartet 🙂 Inzwischen müssen wir neu denken.

Spätestens bei der Kompetenzerfassung lag das Thema der “automatisierten” Anerkennung auf der Hand. Die HRK hat das auch erkannt und hat das MODUS Projekt ins Leben gerufen, wo es verschiedene Zukunftswerkstätte gibt und eine davon befasst sich mit KI in der Anerkennung, wo ich auch eingeladen worden bin. In diesen Werkstätten wird zwar viel diskutiert, aber sie sind nicht für eine Umsetzung gedacht, was meiner Meinung nach ein großer Fehler ist. Daher haben wir uns in Lübeck hingesetzt und einen rudimentären Prototypen gebaut, der einmal exemplarisch zeigen soll, was zukünftig möglich wäre.

Ziel

Ganz simpel betrachtet, sollte gezeigt werden, dass der Ansatz eine KI für die Anerkennung von Studierendenleistungen zu nutzen, sehr vielversprechend sein könnte. Es war nicht der Anspruch den Menschen im Prozess zu ersetzen, sondern ihn zu unterstützen. Der Prozess sollte formalisiert und zu standardisiert werden, damit er transparenter, einfacher, digitaler und damit hoffentlich auch gerechter wird. Dabei sollte der Aufwand der Umsetzung minimal sein, da Lübeck hierfür keine Projektmittel hat. Es sollte auch gezeigt werden, dass heutzutage Rapid Prototyping vielversprechender sein kann, als beispielsweise Diskussionsrunden mit Metaplanwänden und Klebepunkten 🙂

Technische Umsetzung

Der Prototyp wurde in drei Schritten umgesetzt. Der erste Schritt war eine Analyse und Strukturierung des externen Moduls, was anerkannt werden soll. Hierfür wurde die generative KI ChatGPT Plus Version 4 genutzt. Für eine Automatisierung wurde der folgende Prompt über die API übertragen:

Analysiere die gegebenen Modulbeschreibungen und fülle anschließend die Lücken in folgendem JSON sinnvoll aus. Der Workload sollte in Stunden pro Semester angegeben sein. Das Level bezieht sich auf das Bildungsniveau des Kurses und kann nur "Bachelor" oder "Master" enthalten. Wenn eine passende Information in der gegebenen Modulbeschreibung fehlt, soll das Attribut den Wert null bekommen. Achte darauf, dass das Ergebnis valides JSON ist.

{
    "title": "",
    "credits": "",
    "workload": "",
    "learninggoals": [],
    "assessmenttype": "",
    "level": ""
}

Im zweiten Schritt wurde eine lokale vektorbasierte Chroma Datenbank abgefragt, in der alle Module der TH Lübeck in einer einheitlichen Struktur liegen. Die KI kann ideal mit vektorbasierten Datenbanken und gleichen Strukturen arbeiten. Als Ergebnis kommt eine selektierbare Liste mit anrechenbaren Modulen, geordnet nach der höchsten Wahrscheinlichkeit, heraus.

Im dritten Schritt wird jetzt wieder ChatGPT Plus aufgefordert, genau ein lokales Modulhandbuch mit dem externen Modulhandbuch zu vergleichen. Dabei soll nach folgendem Prompt vorgegangen werden:

Ich bin als Assistent*in im Prüfungsausschuss einer Hochschule tätig. Meine Hauptaufgaben umfassen die Beantwortung von Fragen zu Modulen und die Überprüfung, ob ein externes Modul auf ein internes Modul angerechnet werden kann.

Folgende Kriterien werden bei der Prüfung der Anrechenbarkeit berücksichtigt:
- Lernziele
- ECTS-Punkte/Credits
- Arbeitsaufwand
- Bildungsniveau
- Prüfungsform

Bei der Bewertung werden diese Kriterien gleichwertig berücksichtigt.
Eine Ausnahme ist der Arbeitsaufwand. Dieser sollte nicht in die Bewertung einfließen, wenn die Informationen dazu nicht gut vergleichbar sind.
Beide Module sollten möglichst demselben Bildungsniveau (Bachelor oder Master) entsprechen.
Wenn das externe Modul mehr Credits aufweist als das interne Modul oder die Diskrepanz etwa 10 Prozent beträgt, ist dies kein Grund für eine Nichtanerkennung. Wenn das interne Modul jedoch signifikant mehr Credits hat als das externe Modul, kann höchstens eine teilweise Anerkennung erfolgen.
Das Kriterium der Prüfungsform sollte nicht berücksichtigt werden, wenn diese Informatione nicht für beide Module vorliegt und nicht vergleichbar ist.

Es gibt drei mögliche Ergebnisse für die Prüfung:
- Vollständige Anrechnung, wenn mindestens 80 Prozent der Lernziele übereinstimmen
- Teilweise Anrechnung, wenn mindestens 50 Prozent der Lernziele übereinstimmen
- Keine Anrechnung, wenn nur wenige oder keine Lernziele übereinstimmen

Die Abschnitte und Inhalte meiner Antworten strukturiere ich mit Markdown. Kriterien werden einzeln bewertet. Lernziele müssen nur bei Unterschieden aufgelistet werden.
Am Schluss der Prüfung folgt eine prägnante, hervorgehobene Zusammenfassung des Prüfungsergebnisses mit dem Ergebnis: Vollständige Anrechnung, Teilweise Anrechnung oder Keine Anrechnung.

Ergebnis

Der erste Eindruck ist sehr positiv. Obwohl nur eine extrem kurze Entwicklungszeit von nicht einmal einer Woche eingesetzt wurde, ist das Ergebnis sehr vielversprechend. Dabei sollte aber angemerkt sein, dass das Lübecker Team eine sehr hohe Erfahrung im Prozessdesign, bei Metadaten und Modulhandbüchern hat. Und wir haben auch umfangreiche Erfahrungen bei KI Anwendungen und beim Prototyping, was den Entwicklungsaufwand sicherlich stark minimiert hat. Allerdings ist die KI bisher sehr streng und es gibt kaum vollständige Anerkennung und die KI halluziniert auch öfters. Teilweise werden Module ganz und beim zweiten Versuch nur teilweise anerkannt. Das kann viele Gründe haben u.a. fehlt eine Rückmeldung ins System, damit es besser wird. Aber dies ist nur ein kleiner Prototyp und kein Projekt und natürlich kann und muss vieles noch besser werden

Was wir auch gelernt haben, Module sollten einzeln anerkannt werden und nicht ganze Modulkataloge bzw. ganze Studiengänge. Damit wäre die KI überfordert. Umso kleiner die Schritte, umso besser arbeitet die KI.

Und auch wenn die Ergebnisse der KI fraglich sind, so wird das Prüfungsamt erheblich unterstützt. Die Module werden in eine strukturierte Form umgewandelt, die sich besser vergleichen lässt. Dies hilft ungemein und kann enorm Zeit sparen und auch die Qualität erhöhen, was aber separat untersucht werden müsste. Dies gilt vor allem bei fremdsprachlichen Modulen.

Fazit

Es gibt zwei unterschiedliche Ergebnisse:

1. Der Ansatz künstliche Intelligenz bei Anerkennungsprozessen zu nutzen ist vielversprechend und sollte weiter verfolgt werden. Es sollte aber weitergedacht werden, denn auch Modulhandbücher, Kompetenzbeschreibungen und ganz allgemeine Metadaten können von der KI profitieren und helfen strukturierte Daten zu erstellen.
2. Der Ansatz eines Rapid Prototyping sollte bei zukünftigen Expertendiskussionen als Option mit einbezogen werden. In der heutigen Zeit können Clouddienste wie ChatGPT und Co wahre Wunder vollbringen, wenn man Developer und Data Specialists frühzeitig mit einbezieht.