Generative Systeme - Große Sprachmodelle

Aus einer Idee einen Text zu machen – das schafft eine Künstliche Intelligenz in Sekundenschnelle. Aber wie funktioniert das eigentlich? Ralph erklärt, warum eine KI viel mehr zählt, als sie schreibt. Denn erst durch das Zählen von Wörtern, Buchstaben und deren Kombinationen sammelt sie Daten – und erkennt darin schließlich Muster. So „lernt“ die KI und kann mithilfe dieser Muster neue Texte zusammenzusetzen. Die wirken fast, als hätte sie ein Mensch geschrieben…

Um Schülerinnen und Schülern Grundprinzipien großer Sprachmodelle zu demonstrieren, haben wir eine unplugged Aktivität entwickelt und erprobt. Die Schülerinnen und Schüler trainieren ein einfaches Sprachmodell (Markov-Kette) anhand der ersten Sätze von Grimms Märchen. Anschließend arbeiten sie gemeinsam an der Generierung neuer Sätze. Das Arbeitsblatt enthält auch Aufgaben zur Reflexion. Die fertig generierten Sätze werden im Plenum vorgestellt. Zur Festigung gibt es eine Lückentextübung.

SoekiaGPT ist ein Textgenerator speziell für den Unterricht. Mit SoekiaGPT kannst Du hinter die Kulissen schauen und damit einige Grundprinzipien von Textgeneratoren wie ChatGPT kennenlernen. SoekiaGPT ist eine Lernumgebung und nimmt deshalb eine ganze Reihe von didaktischen Vereinfachungen vor. Aus diesen Gründen eignet sich SoekiaGPT nicht als Werkzeug zur Textgenerierung im Alltag. Mit SoekiaGPT kannst du aber einzelne Schritte eines Sprachmodells selbst durchspielen und verschiedene Parameter einstellen.

Auf der Seite werden zusätzlich eine Handreichung sowie ein Erklärvideo für Lehrer angeboten.

„Und dann?“

Um diese Frage geht es bei generativer künstlicher Intelligenz. Darum, was als nächstes kommen könnte: Das nächste Wort in einer Geschichte, der nächste Ton in einem Lied, der nächste Strich in einer Zeichnung. In diesem Beitrag zeige ich, wie man ein „Next Token Prediction“ System in Stil von ChatGPT in Snap! selber programmieren kann. Gibt man ihm ein paar Geschichten, dann lernt es, eigene Text zu schreiben. Gibt man ihm ein paar Kinderlieder, dann improvisiert es eigene Melodien, und zeichnet man ihm etwas vor, dann versucht es, selbst etwas zu kritzeln.

Man selbst lernt bei dieser Aktivität, Wörter, Musiknoten und Striche zu kodieren, in einem Datenmodell zu strukturieren, und kontextbezogen abzufragen. Das lässt sich mit zwei eigenen Funktionsblöcken, ein paar Schleifen, Variablen und Bedingungen bewerkstelligen.

Große Sprachmodelle (LLMs) sind die Grundlage moderner Anwendungen, aber gleichzeitig sind sie für Laien zu komplex, um sie zu verstehen.

Anhand des fiktiven Modells TINA stellen wir wichtige LLM-Konzepte wie Tokenisierung, Worteinbettung und Aufmerksamkeit vor. Indem wir TINAs „Trainingspfad“ vom allgemeinen Vortraining bis hin zu einem universellen KI-Assistenten verfolgen, präsentieren wir LLM-Konzepte auf zugängliche und ansprechende Weise.