⇧ [VIDÉO] Dieser Partnerinhalt könnte Ihnen auch gefallen
Die bisher fortschrittlichsten Sprachmodelle, wie etwa GPT-4 von OpenAI, werden so gut, dass es mittlerweile schwierig ist, sie schriftlich zu unterscheiden. GPT-4 erzielte kürzlich bei einem Test, bei dem es sich während eines fünfminütigen Gesprächs als Mensch ausgeben musste (Turing-Test), eine Punktzahl von 54 % (bestanden). Allerdings scheint die schnelle Entwicklung dieser Systeme für den Bildungsbereich sehr problematisch zu werden. Dies wurde gerade durch ein von Forschern der University of Reading durchgeführtes Experiment bewiesen, das darauf abzielte, heimlich Universitätsprüfungen zu infiltrieren, um sie von einer KI ablegen zu lassen.
Während der COVID-19-Pandemie sind viele Universitäten auf der ganzen Welt von beaufsichtigten Prüfungen vor Ort auf unbeaufsichtigte Prüfungen zu Hause umgestiegen. Auch wenn es heute keinen Lockdown mehr gibt, wird diese Praxis weiterhin praktiziert, und das ist es, was Lehrern und Forschern Sorgen bereitet.
Tatsächlich können Studierende mit immer effizienteren und zugänglicheren KI-Tools leicht betrügen, indem sie Arbeiten einreichen, die vollständig oder größtenteils von ihnen erstellt wurden. Vor allem, weil die Situation immer komplizierter geworden ist, da die Zuverlässigkeit der von KI erstellten Texterkennungstools abgenommen hat und diese meist wirkungslos geworden sind.
Ein realer Test
Um das Ausmaß des Problems für den Bildungssektor, insbesondere an Universitäten und Hochschulen, zu messen, führten Forscher einen „Infiltrationstest“ durch. Mit seinen Kollegen spielte Peter Scarfe, Professor und Forscher an der University of Reading, mit den Prüfungsmarkern der Einrichtung, um herauszufinden, ob sie in der Lage wären, von einer KI generierte Antworten von denen echter Studenten zu unterscheiden. Zu diesem Zweck nahmen sie an einer Psychologieprüfung in ihrer Einrichtung teil und gaben unter 33 falschen Studentennamen Antworten ab, die vollständig von GPT-4 (dem leistungsstärksten Sprachmodell von OpenAI) erstellt wurden.
« Viele Institutionen haben sich von traditionellen Prüfungen abgewendet, um die Bewertung inklusiver zu gestalten. Unsere Forschung zeigt, dass das Verständnis, wie sich KI auf die Integrität von Bildungsbewertungen auswirkt, von internationaler Bedeutung ist sagte Scarfe. Diese Blindstudie, die darauf abzielt, menschliche Pädagogen herauszufordern, KI-generierte Inhalte zu erkennen, ist die bislang größte ihrer Art.
Klare Ergebnisse
Die Ergebnisse der Studie, veröffentlicht in der Zeitschrift PLUS EINS am 26. Juni, sind endgültig. 94 % der von Chat GPT generierten Antworten, die für mehrere Psychologie-Grundstudienmodule eingereicht wurden, wurden nicht entlarvt (da sie von einer KI stammten). Noch überraschender ist, dass in 83,4 % der Fälle KI-Einsendungen bessere Noten erhielten als (zufällig ausgewählte) Studierende. Allerdings konnten Scarfe und sein Team nicht ausschließen, dass auch diese Studierenden KI zur Beantwortung der Fragen eingesetzt haben könnten.
Siehe auch
Diese Ergebnisse verdeutlichen somit zwei Hauptprobleme. Einerseits besteht eine hohe Wahrscheinlichkeit, dass Studierende unentdeckt mit KI schummeln. Andererseits bekommen sie möglicherweise bessere Noten als andere, die nicht geschummelt hätten. „ Die Veröffentlichung dieses realen Qualitätssicherungstests zeigt sehr deutlich, dass frei und offen verfügbare generative KI-Tools es Schülern ermöglichen, bei Take-Home-Prüfungen leicht zu schummeln, um bessere Noten zu erhalten, während ein solcher Betrug nicht erkennbar ist “, sagte Karen Yeung, Professorin an der Universität Birmingham, Spezialistin für Recht, Ethik und Informatik.
Um diese Probleme wirksam anzugehen, schlägt Scarfe lediglich eine Rückkehr zu persönlich beaufsichtigten Prüfungen vor. Professor Elizabeth McCrum, Vizekanzlerin für Bildung und Studentenerfahrung an der University of Reading, ist jedoch anderer Meinung. Sie sagte: ” Es ist klar, dass KI in vielen Aspekten unseres Lebens eine transformative Wirkung haben wird, einschließlich der Art und Weise, wie wir Schüler unterrichten und ihr Lernen bewerten. Zu den Lösungen gehört jedoch die Abkehr von veralteten Vorstellungen rund um die Bewertung und hin zu Ideen, die relevanter für die Fähigkeiten sind, die Studierende am Arbeitsplatz benötigen, einschließlich der Verwendung von KI “, schließt McCrum.
