LLM vs IA Generativa
L'IA generativa è un termine ampio. Gli LLM sono un tipo specifico di modello all'interno di questo gruppo. È necessario comprenderne le differenze tecniche per costruire sistemi migliori.
Gli LLM utilizzano i Transformer per prevedere il token successivo. Funzionano attraverso processi autoregressivi.
Come funziona un LLM:
- Il modello riceve un prompt.
- Converte il testo in token.
- Calcola la probabilità del token successivo.
- Ripete questo ciclo per formare frasi.
I modelli di diffusione funzionano in modo diverso. Creano immagini invertendo il rumore.
Come funziona un modello di diffusione:
- Il sistema parte da un rumore casuale.
- Rimuove il rumore passo dopo passo.
- Segue uno schema per rivelare un'immagine.
- Utilizza i prompt per guidare il denoising.
Un rapido confronto: • LLM: Utilizza Transformer autoregressivi. L'output è costituito da token di testo. • Diffusion: Utilizza il denoising iterativo. L'output è costituito da pixel. • GAN: Utilizza l'addestramento avversariale. L'output è costituito da dati sintetici.
Il confine tra questi modelli sta cambiando. La maggior parte dei sistemi moderni utilizza ora backbone basati su Transformer. L'architettura sta diventando compositiva. Ciò significa che diversi tipi di modelli lavoreranno insieme in un unico sistema.