Unterricht mit KI-Unterstützung: Arbeitsergebnisse bewerten lassen – Teil 2

Bewertung und inhaltliches Feedback durch eine KI

PEER bietet dies bereits sehr gut an. Schüler*innen können ihre handgeschriebenen oder getippten Text hochladen und erhalten ein differenziertes Feedback mit konkreten Verbesserungsvorschlägen. Dies könnte ich natürlich auch als Lehrkraft mit den abgegebenen Ergebnissen der SuS durchführen und ihnen dann die Rückmeldung von PEER weiterleiten. Das würde aber nur mir selbst Arbeit machen und für die SuS einen Zeitverlust zwischen Ergebnis und Feedback bedeuten, in der Summe würde also niemand profitieren. Wenn die SuS allerdings PEER intensiv genutzt haben um ihr Ergebnis zu verbessern, fällt mir die Bewertung vielleicht auch einfacher, wenn sie dann noch Sinn macht.

Wenn ich aber z.B. für eine Klausur einen Erwartungshorizont erstellt habe, könnte ich dann die Ergebnisse der SuS nicht auf dieser Basis durch z.B. ChatGPT auch mit Noten bewerten lassen?

Falls ich keinen eigenen Erwartungshorizont habe, kann ich ihn mir auch von ChatGPT erstellen lassen. ChatGPT bewertet aber auch ohne expliziten Erwartungshorizont. Man muss nur den Prompt passend formulieren, dann erhält man ein Text-Feedback und eine Note z.B. zwischen 0 und 15 Punkten. Aber: Das sollte man noch einmal genau prüfen!

Was empfiehlt denn ChatGPT?

Wie müsste ein Prompt formuliert sein, damit du eine Erörterung als Bestandteil einer Klausur bewerten könntest?

Um eine Erörterung als Bestandteil einer Klausur zu bewerten, sollte der Prompt klar und präzise formuliert sein. Ein guter Erörterungsprompt sollte die folgenden Elemente enthalten:

1. Die zentrale Frage oder das zu erörternde Thema: Der Prompt sollte das Hauptthema oder die zentrale Frage angeben, über die die Schülerinnen und Schüler erörtern sollen. Dies kann ein kontroverses Thema, ein Problem oder eine Fragestellung sein. Zum Beispiel: „Erörtern Sie die Vor- und Nachteile von Social Media für Jugendliche.“
2. Klare Anweisungen: Der Prompt sollte klare Anweisungen enthalten, wie die Erörterung strukturiert sein sollte. Dies könnte beinhalten, ob die Schülerinnen und Schüler eine einseitige Argumentation verfassen sollen oder eine Pro-und-Contra-Erörterung. Zum Beispiel: „Verfassen Sie eine Pro-und-Contra-Erörterung, in der Sie sowohl die Vor- als auch die Nachteile von Social Media für Jugendliche darlegen.“
3. Zielgruppe: Es kann hilfreich sein, die beabsichtigte Zielgruppe für die Erörterung anzugeben. Soll die Erörterung an Mitschülerinnen und Mitschüler gerichtet sein, an Eltern, Lehrer oder eine breitere Öffentlichkeit?
4. Eingrenzung des Umfangs: Der Prompt sollte den Umfang der Erörterung festlegen, beispielsweise die maximale Wortanzahl oder die Anzahl der zu behandelden Argumente oder Aspekte.
5. Datum und weitere Anweisungen: Wenn es spezielle Anforderungen an die Erörterung gibt, wie etwa das Zitieren von Quellen, sollte der Prompt dies deutlich machen. Ebenso sollte das Abgabedatum der Erörterung angegeben werden.

Ein Beispiel für einen solchen Prompt könnte lauten:

„Erörtern Sie in einer Pro-und-Contra-Erörterung mit maximal 500 Worten die Vor- und Nachteile von Social Media für Jugendliche. Ihre Erörterung richtet sich an Eltern und Lehrer. Verwenden Sie mindestens zwei glaubwürdige Quellen zur Untermauerung Ihrer Argumente. Die Abgabefrist ist der 15. November.“

Ein klar formulierter Prompt hilft den Schülerinnen und Schülern, das erwartete Ergebnis besser zu verstehen und ermöglicht es Lehrkräften, die Erörterung auf konsistente und faire Weise zu bewerten.

(chat.openai.com)

(Zur besseren Formulierung von Prompts bietet Jan Hartwig in seinem Blog eine Hilfe an: https://hartificial.de/susleitfadenchatgpt/)

---

Hier ist ein eigener Versuch anhand einer älteren Klausur:

Die Klausur im Fach Sozialwissenschaften besteht aus den drei Aufgabenteilen Darstellung, Analyse, Erörterung und dauerte damals 90 Minuten.

In ChatGPT (https://chat.openai.com) genutzter Prompt:

Ich möchte, dass du für mich eine Aufgabe aus einer Klausur der Jahrgangsstufe Q1 (12. Jahrgang) im Fach Sozialwissenschaften in NRW mit einem Feedback als Text und einer Bewertung mit Punkten (von 0-15) vornimmst. Ich gebe dir erst den vom Schüler zu untersuchenden Text, danach die Aufgabenstellung und dann die Lösung des Schülers.

Eingegeben wurden dann folgende Texte:

• Marcel Fratzscher: Die Lohn-Illusion; Spiegel-online, 14.08.2014
• Aufgabe: Erörtere Chancen und Risiken Marcel Fratzschers Forderung nach einer „stärkeren Lohndynamik“ in Bezug auf mögliche Auswirkungen auf die Arbeitslosenquote. 
• SuS-Text aus der Klausur:

Eine stärkere Lohndynamik bringt zahlreiche Chancen, aber auch Risiken, vor allem in Bezug auf die Arbeitslosenquote mit sich. Durch das Ansteigen der Löhne kommt es auch zu einer höheren Inflation. Allerdings wird durch eine höhere Nachfrage auch das Angebot erhöht, was neue Arbeitsplätze schafft, somit könnte also die Arbeitslosenquote verkleinert werden. Durch das Steigen von Gehältern könnte es für Unternehmen zu Problemen kommen. Dadurch, dass die Firmen den Mitarbeitern mehr zahlen müssen, kann es sein, dass Stellen gekürzt werden müssen, da die Unternehmen nicht alle Löhne zahlen können. Dies ist allerdings eher selten der Fall, da viele Firmen auch von der hohen Nachfrage und der guten Wirtschaft profitieren. Eine starke Lohndynamik bringt außerdem Wohlstand und erhöht die Binnennachfrage und das Wirtschaftswachstum. Eine starke Lohndynamik ist jedoch nicht ausreichend, um Wirtschaft voranzubringen. Zusammenfassend kann man sagen, dass eine starke Londynamik durchaus positiv für die Arbeiter und die Wirtschaft sein kann. Allerdings sollte man sich nicht komplett darauf verlassen. Des Weiteren sollte die Lohndynamik nicht zu groß sein.

(Dieser Text wurde von mir anhand der handschriftlichen Klausur per Mikrofon in der App Aiko ohne Korrekturen eingesprochen und transkribiert.)

Feedback von ChatGPT:

Vielen Dank für die bereitgestellte Lösung. Hier ist das Feedback und die Bewertung:

Feedback:

• Einleitung und Formulierung der Fragestellung: Die Einleitung ist recht allgemein gehalten und könnte präziser sein. Es ist wichtig, die Bedeutung des Themas zu betonen und eine klare Fragestellung zu formulieren. Dies könnte verbessert werden.
• Argumentation der Chancen und Risiken: Die Argumentation ist vorhanden, aber sie ist knapp und teilweise ungenau. Beispielsweise wird das Inflationsargument kurz erwähnt, aber nicht näher erläutert. Es fehlen auch Belege aus dem gegebenen Text.
• Nutzung von Belegen aus dem gegebenen Text: Der Text des Schülers bezieht sich nicht auf den gegebenen Text von Marcel Fratzscher. Es ist wichtig, Zitate oder Informationen aus dem Text zu verwenden, um die Argumentation zu stützen.
• Schlussfolgerung und Gesamteindruck: Die Schlussfolgerung fasst die Hauptpunkte zusammen, könnte aber stärker betonen, dass eine umfassendere Betrachtung erforderlich ist und dass die Lohndynamik allein keine Allheillösung ist.
• Klarer Schreibstil und Struktur: Der Schreibstil ist in Ordnung, aber die Struktur könnte verbessert werden. Die Argumente sind nicht ausführlich genug und die Verbindung zwischen den Sätzen ist manchmal schwach.

Bewertung:

• Einleitung und Formulierung der Fragestellung: 1 Punkt
• Argumentation der Chancen und Risiken: 2 Punkte
• Nutzung von Belegen aus dem gegebenen Text: 0 Punkte
• Schlussfolgerung und Gesamteindruck: 1 Punkt
• Klarer Schreibstil und Struktur: 1 Punkt
• Gesamtpunktzahl: 5 Punkte

Die vorgelegte Erörterung bietet einige Ansätze zur Diskussion der Chancen und Risiken der Lohndynamik in Bezug auf die Arbeitslosenquote, ist jedoch insgesamt knapp und ungenau. Es fehlt die Einbeziehung von Belegen aus dem gegebenen Text, was die Argumentation schwächt. Die Struktur könnte klarer sein, und die Schlussfolgerung könnte stärker betonen, dass eine umfassendere wirtschaftspolitische Strategie erforderlich ist.

Mit präziseren Angaben zu meinem Erwartungshorizont und vielleicht auch den Aufgabenstellungen und Ergebnissen zu den anderen zwei Aufgaben im Rahmen der insgesamt 90 Minuten Arbeitszeit, wäre vermutlich eine präzisere Bewertung durch ChatGPT möglich gewesen. Es zeigt aber, dass eine KI durchaus bewerten kann. Zumindest lässt es sich als Anregung/Hilfe/Orientierung … nutzen.

Fazit:

Bereits die Konvertierung der handschriftlichen Texte ist zu zeitaufwändig um „mal eben“ 10 oder 30 Klausuren bewerten zu lassen. Falls das Handling mit Prompts und SuS-Lösungen zeitökonomischer realisiert werden könnte, bliebe immer noch die Überprüfung der jeweiligen Feedbacks bzw. Bepunktungen, die Zeit kostet.
Es ist irgendwie möglich, aber (noch) nicht zuverlässig genug. Im Rahmen einer Hilfestellung, Orientierung oder eines Feedbacks durch und für den Schüler ist es sehr gut brauchbar. Wenn kein Text, sondern z.B. ein Bild der Kunstgeschichte, eine Karikatur, ein Foto eines Versuchsaufbaus von SuS zu bearbeiten ist, dann überfordert man die kostenlos nutzbar ChatGPT-Version. Aber in der bezahlten Version lassen sich bereits auch Bild-Dateien auswerten.