LLMs vs. Generative AI
Generative KI ist ein Oberbegriff. LLMs sind ein spezifischer Modelltyp innerhalb dieser Gruppe. Um bessere Systeme zu bauen, müssen Sie die technischen Unterschiede verstehen.
LLMs nutzen Transformer, um das nächste Token vorherzusagen. Sie arbeiten durch autoregressive Prozesse.
Funktionsweise eines LLM:
- Das Modell nimmt einen Prompt entgegen.
- Es wandelt Text in Token um.
- Es berechnet die Wahrscheinlichkeit des nächsten Tokens.
- Es wiederholt diese Schleife, um Sätze zu bilden.
Diffusionsmodelle funktionieren anders. Sie erzeugen Bilder, indem sie Rauschen umkehren.
Funktionsweise eines Diffusionsmodells:
- Das System beginnt mit zufälligem Rauschen.
- Es entfernt das Rauschen Schritt für Schritt.
- Es folgt einem Muster, um ein Bild freizulegen.
- Es nutzt Prompts, um das Denoising zu steuern.
Ein kurzer Vergleich: • LLM: Nutzt autoregressive Transformer. Die Ausgabe sind Text-Token. • Diffusion: Nutzt iteratives Denoising. Die Ausgabe sind Pixel. • GAN: Nutzt Adversarial Training. Die Ausgabe sind synthetische Daten.
Die Grenzen zwischen diesen Modellen verschieben sich. Die meisten modernen Systeme nutzen mittlerweile Transformer-Backbones. Die Architektur wird kompositionell. Das bedeutet, dass verschiedene Modelltypen in einem einzigen System zusammenarbeiten werden.