𝗟𝗟𝗠𝘀 𝘃𝘀 𝗚𝗲𝗻𝗲𝗿𝗮𝘁𝗶𝘃𝗲 𝗔𝗜
Generative AI to szerokie pojęcie. LLM to konkretny typ modelu w tej grupie. Musisz zrozumieć różnice techniczne, aby budować lepsze systemy.
LLM wykorzystują Transformery do przewidywania kolejnego tokenu. Działają one poprzez procesy autoregresyjne.
Jak działa LLM:
- Model przyjmuje prompt.
- Przekształca tekst na tokeny.
- Oblicza prawdopodobieństwo wystąpienia kolejnego tokenu.
- Powtarza tę pętlę, aby tworzyć zdania.
Modele dyfuzyjne działają inaczej. Tworzą obrazy poprzez odwracanie szumu.
Jak działa model dyfuzyjny:
- System zaczyna od losowego szumu.
- Usuwa szum krok po kroku.
- Podąża za wzorcem, aby odsłonić obraz.
- Wykorzystuje prompty, aby kierować procesem odszumiania.
Szybkie porównanie: • LLM: Wykorzystuje autoregresyjne Transformery. Wynikiem są tokeny tekstowe. • Diffusion: Wykorzystuje iteracyjne odszumianie. Wynikiem są piksele. • GAN: Wykorzystuje uczenie kontradyktoryjne. Wynikiem są dane syntetyczne.
Granica między tymi modelami się zaciera. Większość nowoczesnych systemów wykorzystuje obecnie architektury oparte na Transformerach. Architektura staje się kompozycyjna. Oznacza to, że różne typy modeli będą współpracować w ramach jednego systemu.