Was ist generative KI? Eine umfassende Einführung

Was ist eigentlich generative KI? Auf meinem Blog versuche Antworten auf solche und weitere Fragen zu geben. Und zwar, weil mich das Thema interessiert und ich es unheimlich spannend finde. Dabei möchte ich aber keine oberflächlichen Antworten geben, sondern das ganze selbst zumindest bis zu einer gewissen Tiefe verstehen. Daher folg mir gerne beim Einstieg in dieses rabbithole und lass es uns gemeinsam herausfinden!

Was ist generative KI?

Generative KI gehört zu einem Teilbereich des maschinellen Lernens. Maschinelles Lernen befasst sich grundsätzlich mit der Frage, wie Muster in Daten erkannt werden können. Das Hauptziel des maschinellen Lernens ist es, Algorithmen zu entwickeln, die Muster aus Daten lernen und diese Muster nutzen, um Vorhersagen zu treffen, Klassifikationen vorzunehmen oder andere Aufgaben automatisiert zu bewältigen.

*Abb.: Schematische Darstellung von KI und seinen Teilbereichen Maschinelles Lernen und Deep Learning*

Generative KI als Teil des maschinellen Lernens bezeichnet dabei eine Art der Künstlichen Intelligenz, die neue Inhalte erschaffen kann, statt nur bestehende Daten zu analysieren. Dadurch unterscheidet sie sich von sogenannten diskriminativen Modellen, die Daten „nur“ analysieren und beschreiben. Da es immer schwierig ist, etwas im luftleeren Raum zu erklären, lass uns diese beiden Phänomene voneinander abgrenzen, um eine bessere Vorstellung davon zu bekommen, was generative KI ist.

Abgrenzung verschiedener Modelle – generative KI und diskriminative KI

Diskriminative Modelle lernen, Muster in vorhandenen Daten zu erkennen und darauf basierend Vorhersagen oder Klassifikationen zu treffen. Ein Beispiel dafür sind Klassifikationsmodelle wie Entscheidungsbäume oder Support Vector Machines (SVMs). Diese Modelle erkennen Unterschiede und Ähnlichkeiten in Daten (z. B. bei der Klassifizierung von E-Mails als „Spam“ oder „Nicht-Spam“) und treffen darauf basierend Entscheidungen, anstatt eigenständig neue Inhalte wie Texte, Bilder oder Musik zu erzeugen.

Generative Modelle hingegen analysieren und schätzen die Wahrscheinlichkeitsverteilung der Daten. Sie modellieren, wie oft bestimmte Merkmale zusammen auftreten. Die Berechnung der gemeinsamen Verteilung von Merkmalen hilft ihnen, die Beziehungen zwischen der Eingabe (z. B. Merkmale eines Gesichts) und de Ausgabe (z. B. das Gesamtbild) zu verstehen und neue, ähnliche Datenpunkte zu erstellen, die zu den ursprünglichen Mustern passen. Wie ist das genau zu verstehen?

Das Verhältnis von Eingabe und Ausgabe

Bei allen KI Modellen geht es immer um das Verhältnis von Eingabe und Ausgabedaten. Die Eingabe bezeichnet die Daten, die dem Modell zur Verfügung gestellt werden, z. B. Bilder, Texte , ein Datensatz in Excel, eine Verteilung oder andere Trainingsdaten. Die Ausgabe ist das, was das Modell nach Verarbeitung der Eingaben produziert, wie z. B. eine Vorhersage, eine Klassifizierung oder – in generativen Modellen – ein neu erzeugter Inhalt. Der Unterschied zwischen den Modellen liegt darin, wie sie die Beziehung zwischen Eingabe und Ausgabe verarbeiten und was sie letztlich erzeugen oder vorhersagen.

Generative Modelle modellieren die gesamte Datenverteilung und lernen, wie Eingaben und Ausgaben gemeinsam auftreten. Dadurch können sie neue Daten generieren, die realistisch erscheinen (z. B. neue Bilder oder Texte). Ein Beispiel wäre ein Modell, das Gesichter generiert, indem es die Wahrscheinlichkeitsverteilung von Gesichtsmerkmalen wie Augen, Nase und Mund gelernt hat. Sie sind dadurch rechenintensiver als andere Modelle.

Diskriminative Modelle lernen nur die Grenze zwischen verschiedenen Klassen zu erkennen, ohne die gesamte Datenverteilung zu modellieren. Ihr Ziel ist es, auf Basis der Eingaben eine Klassifikation oder Vorhersage zu treffen (z. B. ob eine E-Mail Spam ist oder nicht).

Arbeitsweise von KI-Modellen anhand von Eingabe und Ausgabe

Wie bereits erwähnt geht es immer um den Zusammenhang zwischen Eingabe und Ausgabe. Diskriminative Modelle arbeiten meistens mit Klassen, um die Eingabe in eine entsprechende Ausgabe zu zerlegen, bzw. die Eingabe zuzuordnen.

1. Eingabe (Input)

Die Eingabe sind die Daten oder Informationen, die einem KI-Modell zur Verfügung gestellt werden, um eine bestimmte Aufgabe zu erfüllen. Diese können vielfältig sein, zum Beispiel:

Text (z.B. E-Mails, Artikel)
Bilder (z.B. Fotos, Zeichnungen)
Audio (z.B. Sprachaufnahmen, Musik)
Numerische Daten (z.B. Messwerte, Finanzdaten)

2. Ausgabe (Output)

Die Ausgabe ist das Ergebnis, das das Modell nach Verarbeitung der Eingabedaten erzeugt. Die Art der Ausgabe hängt von der spezifischen Aufgabe und dem Modelltyp ab. Beispiele für Ausgaben sind:

Klassifikationen (z.B. „Spam“ oder „Nicht-Spam“)
Vorhersagen (z.B. Wetterprognosen, Aktienkurse)
Generierte Inhalte (z.B. neue Texte, Bilder, Musikstücke)
Kontinuierliche Werte (z.B. Temperatur, Preis)

3. Klassen

Klassen sind die verschiedenen Kategorien oder Labels, in die die Eingabedaten eingeteilt werden können, insbesondere bei Klassifikationsaufgaben. Jede Klasse repräsentiert eine mögliche Ausgabe. Zum Beispiel:

In der E-Mail-Spam-Erkennung könnten die Klassen „Spam“ und „Nicht-Spam“ sein.
Bei der Bildklassifikation könnten die Klassen „Katze“, „Hund“, „Vogel“ usw. sein.

An den Beispielen merkst du vielleicht schon, dass die Verarbeitung mittels Klassen eher für diskriminative Modelle zutrifft.

Zusammenhang zwischen Eingabe, Ausgabe und Klassen

Der Zusammenhang zwischen diesen drei Komponenten lässt sich besonders gut im Kontext von überwachtem maschinellen Lernen (Supervised Learning) erklären:

Training des Modells:
- Eingabe: Das Modell erhält Trainingsdaten, die aus Eingaben bestehen (z.B. Bilder von Katzen und Hunden).
- Ausgabe/Klassen: Jede Eingabe ist mit einer Klasse (z.B. „Katze“ oder „Hund“) versehen. Diese Klassen dienen als Labels, die dem Modell sagen, welche Kategorie die Eingabe gehört.
Lernprozess:
- Das Modell analysiert die Eingabedaten und deren zugehörige Klassen, um Muster und Zusammenhänge zu erkennen.
- Ziel ist es, eine Funktion zu lernen, die neue, unbekannte Eingaben korrekt einer Klasse zuzuordnen.
Anwendung des Modells:
- Eingabe: Eine neue, bisher nicht gesehene Eingabe wird dem Modell präsentiert.
- Ausgabe: Das Modell gibt eine Vorhersage ab, indem es die Eingabe einer der bekannten Klassen zuordnet.

Beispiel: E-Mail-Spam-Erkennung

Eingabe: Der Text einer eingehenden E-Mail.
Klassen: „Spam“ und „Nicht-Spam“.
Ausgabe: Das Modell klassifiziert die E-Mail entweder als „Spam“ oder „Nicht-Spam“.

Verarbeitung von Eingabe und Ausgabe in generativen Modellen

Lernen der Datenverteilung: Generative Modelle lernen die Wahrscheinlichkeitsverteilung von Daten. Das bedeutet, dass sie die Häufigkeit und Zusammenhänge der Merkmale in den Daten erfassen. Beispielsweise lernt ein Bildgenerierungsmodell, wie Farben, Formen und Strukturen in Bildern zusammenhängen.
Eingabe und Ausgabe: Anstatt nur eine Eingabe direkt einer Klasse zuzuordnen (wie bei diskriminativen Modellen), generieren generative Modelle neue Ausgaben, die der gelernten Verteilung entsprechen. Sie können auf einer gegebenen Eingabe basieren oder auch völlig neue Datenpunkte erzeugen, die die Verteilung der Trainingsdaten widerspiegeln.
Mit oder ohne Klassen:
- Unüberwachtes Lernen: Manche generativen Modelle arbeiten ohne Klassen, indem sie einfach die Verteilung der Daten lernen, ohne spezifische Labels. Hier geht es darum, realistische Daten zu erzeugen, die der Struktur des Trainingssatzes folgen.
- Überwachtes Lernen mit Klassen: In einigen Fällen arbeiten generative Modelle auch mit Labels oder Klassen. Zum Beispiel kann ein Modell wie ein bedingtes GAN (Conditional GAN) Bilder generieren, die zu bestimmten Klassen gehören (z. B. „Katze“ oder „Hund“). Die Klasse wird als Bedingung (oder „Prompt“) verwendet, um das Modell zu steuern, was erzeugt wird.
Erzeugung neuer Daten: Sobald das Modell trainiert ist, kann es neue Eingaben verarbeiten und dabei neue Ausgaben erzeugen, die sich an der Verteilung der gelernten Daten orientieren. Zum Beispiel könnte ein Modell, das auf Gesichter trainiert ist, völlig neue Gesichter generieren, die es vorher nie gesehen hat.

Kurzzusammenfassung zur Arbeitsweise der Modelle

Diskriminative Modelle:
- Fokus: Lernen, die Grenze zwischen den Klassen direkt zu bestimmen.
- Beispiel: Ein Modell, das entscheidet, ob eine E-Mail „Spam“ ist oder nicht, ohne die zugrunde liegende Verteilung der Daten zu modellieren.
Generative Modelle:
- Fokus: Lernen der gemeinsamen Verteilung von Eingaben und Klassen.
- Beispiel: Ein Modell, das nicht nur entscheidet, ob eine E-Mail „Spam“ ist, sondern auch neue E-Mails generieren kann, die wie „Spam“ aussehen.

Quellen: