Hintergrund

Während die Diskussion rund um KI im deutschen Bildungssystem bisher eher eine Randerscheinung war, hat sich dies seit der kürzlichen Veröffentlichung von ChatGPT und vergleichbaren generativen Transformern zu einem sehr intensiven Diskurs gewandelt mit einer hohen Eigendynamik. Einige Hochschulen haben bereits begonnen, KI-Dienste in ihr Serviceportfolio aufzunehmen und für Studierende anzubieten. Zugleich gibt es bereits erste Handreichungen zum Umgang mit ChatGPT für Studierende und Lehrende (Gimpel et al, 2023) sowie Rechtsgutachten zur Nutzung dieser Dienste (Hoeren, 2023) und Stellungnahmen und Einschätzungen aus der Wissenschaft, die auch erste ethische Dimensionen skizzieren (Kasneci et al., 2023).

Die Unterzeichnenden begrüßen die Nutzung von digitalen Technologien zur Verbesserung von Bildungschancen und zum Umgang mit heterogenen Gruppen von Lernenden. Zur gleichen Zeit zeigen die Unterzeichnenden sich überrascht über die Geschwindigkeit, mit der KI-Dienste Einzug halten in die Landschaft der Hochschulen ohne vorherige Prüfung der ethischen Rahmenbedingungen und der potenziellen Effekte des Einsatzes. Die Datenlage zu Effekten des Einsatzes KI-basierter Systeme im Bildungsbereich ist spärlich und es herrscht ein Paradigma der algorithmischen Optimierung auf Basis vorhandener Daten vor anstatt der kontrollierten Implementation mit evidenzbasierter Überprüfung auch nicht gewünschter Seiteneffekte (Zawacki-Richter, Marín, Bond, & Gouverneur, 2019).

Problemfelder

Zugleich gibt es zahlreichen Bedenken beim Einsatz von KI-basierten Systemen wie z.B.:

• Fragliche Konformität mit nationalen und europäischen Richtlinien zum Datenschutz bei der Nutzung von APIs aus außereuropäischen Rechtskontexten
• Nicht-Überprüfbarkeit und Nicht-Erklärbarkeit der Entscheidungsketten beim Einsatz neuronaler Netzwerke und dadurch eine diffuse Verantwortungslage
• Reproduktion und Verstärkung der datenbasierten Ungleichheiten durch KI-basierte Systeme
• Algorithmische Fairness und ein Nicht-Diskriminierungsgebot durch KI-basierte Systeme

Zudem stuft die EU-Kommission (Europäische Kommission, 2021) den Einsatz von Künstlicher Intelligenz im Bildungsbereich zum Zwecke der Beurteilung oder Bewertung als eine Hochrisiko-Technologie ein, da hiermit unvorhersehbare Folgen für die Bildungsbiographie mit verbunden sein können. Mit der Einstufung als Hochrisiko-Technologie ergeben sich besondere Rechenschafts- und Transparenzpflichten.

Aufruf

Aus diesem Grund fordern die Unterzeichnenden im Einklang mit den Richtlinien und Empfehlungen der Europäischen Kommission (2019) und der UNESCO-Kommission (2021):

• Die vorherige ethische Prüfung von KI-basierten Systemen, die im deutschen Bildungssystem zum Einsatz kommen sollen
• Die transparente und nachvollziehbare Information von Studierenden und Lehrenden bei der Nutzung dieser Systeme über Datenströme und Umgang mit den Daten sowie die Möglichkeit des Opt-Out
• Die deutliche Kennzeichnung von Verantwortlichkeiten bei der Implementation von KI-basierten Systemen
• Die Verminderung eines durch die Datenbasis gegebenen Verzerrungseffektes (Bias)
• Die präferierte Nutzung von offenen Sprachmodellen, die nicht in der Hand von Firmen mit kommerziellen Interessen liegen, sondern einem Open-Source-Gedanken folgen und transparent und nachvollziehbar sind
• Die Aufklärung der Nutzenden, dass diese über die Nutzung an der Optimierung des Sprachmodells mitwirken
• Die Sicherstellung des Vorrangs menschlichen Handelns und der menschlichen Aufsicht vor automatisierten Entscheidungsketten
• Die staatliche Förderung von Bildungsprogrammen zur Aufklärung über die Funktionsweisen von KI und Algorithmen
• Die Pilotierung von KI-basierten Systemen im Bildungsbereich vor der Implementation derartiger Dienste und Formate
• Die Auflegung eines Förderprogramms zu ethischen Dimensionen des Einsatzes KI-basierter Systeme im Bildungsbereich

 

Referenzen

Europäische Kommission (2019). Ethik-Leitlinien für eine vertrauenswürdige KI. Abrufbar unter https://op.europa.eu/de/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1

Europäische Kommission (2021). Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung Harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union. Retrieved from https://eur-lex.europa.eu/resource.html?uri=cellar:e0649735-a372-11eb-9585-01aa75ed71a1.0019.02/DOC_1&format=PDF

Gimpel, H., Hall, K., Decker, S., Eymann, T., Lämmermann, L., Mädche, A., Röglinger, M., Ruiner, C., Schoch, M., Schoop, M., Urbach, N., Vandirk, S. (2023). Unlocking the Power of Generative AI Models and Systems such as GPT-4 and ChatGPT for Higher Education: A Guide for Students and Lecturers. University of Hohenheim, March 20, 2023. 

Hoeren, T. (2023). Rechtsgutachten zum Umgang mit KI-Software im Hochschulbereich. In: Salden, P. & Leschke, J. (Hrsg.). Didaktische und rechtliche Perspektiven auf KI-gestütztes Schreiben in der Hochschulbildung. Zentrum für Wissenschaftsdidaktik der Ruhr-Universität Bochum.

Kasneci, E., Seßler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., ... & Kasneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 103, 102274. https://doi.org/10.1016/j.lindif.2023.102274

UNESCO (2021). Recommendations on the Ethics of Artificial Intelligence. Adopted 23rd of November 2021. Paris. https://unesdoc.unesco.org/ark:/48223/pf0000381137

Zawacki-Richter, O., Marín, V. I., Bond, M., & Gouverneur, F. (2019). Systematic review of research on artificial intelligence applications in higher education–where are the educators?. International Journal of Educational Technology in Higher Education, 16(1), 1-27. https://doi.org/10.1186/s41239-019-0171-0